Syntheyes Pro提供視頻攝像機跟蹤方案設置功能,可以在軟件上配置平面追蹤方案,可以設置幾何層次跟蹤,可以設置變形鏡頭,可以對相機校準,方案設置完畢就可以在軟件上運行自動跟蹤器,從而求解數據,為運動視頻拍攝提供方案優化,軟件支持選擇一個神經網絡來查找用于自動跟蹤的信號,在尋找特定特征類型時就可以啟動神經網絡,軟件界面提供豐富的配置內容,可以設置相機變焦鏡頭,可以設置相機固定位置,可以設置三腳架,可以定位場景角落,功能非常多,需要就可以下載使用!
1、圖像預處理器
預處理圖像以幫助跟蹤、修復顏色、糾正鏡頭失真或減少 RAM 消耗。
2、鏡頭校準
SynthEyes 擁有豐富的工具,可通過測試圖案進行鏡頭校準、求解期間計算失真以及使用校準數據。
3、對象分離
對于自動跟蹤,請使用粗略的動畫旋轉樣條線或綠屏鍵控來選擇要跟蹤的區域。
4、追蹤
廣泛的監督跟蹤功能集、高性能自動跟蹤、3D 平面跟蹤、AprilTags、清理和添加跟蹤器工具...
5、幾何層次跟蹤
非常強大且靈活的工具集,用于 3D 跟蹤移動部件的多級約束層次結構、直接跟蹤提供的網格或使用普通(受監督)跟蹤器。
6、解決
強大而靈活的解算器包括約束、路徑鎖定、相機/相機立體鎖定、鏡頭畸變、變焦、零權重跟蹤器、多級求解階段、光解算器......
7、360°虛擬現實
SynthEyes 可以處理 360° 球面等距柱狀圖像,以進行跟蹤、穩定和顯示。
8、視移系統
使用 ViewShift 進行復雜的對象移除、組合分割鏡頭、生成動畫紋理貼圖等等!
9、穩定化
適用于普通鏡頭和 360VR 鏡頭的集成穩定功能,包括創建用于導出的“物理”裝備。
10、坐標系設置
這些功能通過約束、階段、線條以及自動或手動放置,在 3D 環境中對整個場景進行定位、對齊和調整大小。
11、集重建
令人驚嘆的紋理提取系統從鏡頭中提取低噪聲紋理。從計算的 3D 跟蹤器位置創建網格。添加卡片以快速生成幾何圖形。
12、圖形編輯器
檢查跟蹤器或攝像機位置或速度曲線,或關鍵幀跟蹤視圖以進行覆蓋分析。始終可見的誤差曲線迷你視圖。
1、透視窗口
獨立于求解的攝像機來導航場景,將跟蹤器放置在導入的網格或激光雷達數據上,生成 3D 立體視圖,創建具有抗鋸齒和運動模糊功能的預覽影片。
2、圖像輸入/輸出
SynthEyes 可以讀取各種靜態圖像格式、電影文件,例如 ARRI、BRAW 和 RED。它還可以編寫用于預覽電影的各種圖像和電影格式。
3、網格輸入/輸出
SynthEyes 可以讀取和寫入各種網格和頂點緩存格式。
4、腳本編寫
通過 Synthia 指導助理,感受打字或口語自然語言控制的新一代強大功能和靈活性。使用 Synthia、Sizzle 或 python 腳本自動執行頻繁的任務。
5、工作流程/用戶界面
靈活的用戶界面功能,例如房間、視口布局、自由浮動的可配置工具欄、鍵盤映射、鏡頭預設、坐標軸方向、版本控制自動保存。藝術家間交流的注釋。
1、將Syntheyes Pro直接安裝到電腦,點擊install
2、軟件安裝完畢將補丁復制到軟件的安裝地址替換
3、打開軟件提示語言設置,直接選擇Chinese
4、支持導出多個、配置多重導出、出口商產出、文件信息、用戶數據文件夾、制作新的語言模板
5、支持立即更新紋理、解決時重做紋理、添加注釋、脊柱矯正、脊柱解決、編輯場景設置
6、顯示所有跟蹤器名稱、顯示監管名稱、顯示選定名稱、在視口中顯示名稱、使用替代顏色、帶中心點
7、老化時間:幀數、強制匹配框架、時間碼、時間戳、在相機視圖中、透視、在預覽電影中、在保存順序
8、支持平面追蹤PDF、幾何層次跟蹤PDF、變形鏡頭指南 PDF、相機校準PDF
多鏡頭跟蹤
SynthEyes具有強大的功能,可以同時加載、跟蹤、鏈接多個鏡頭,并聯合求解,以找到最佳跟蹤器、相機和(如果存在)對象位置。有了這一功能,您可以使用一個易于跟蹤的“概覽”鏡頭來確定可跟蹤特征的基本位置,然后以第一個鏡頭為向導,在視野狹窄、可跟蹤特征較少或其他復雜情況下跟蹤真實鏡頭。或者,您可以使用左右相機鏡頭來跟蹤3-D功能中的鏡頭。如果您不介意一些大型場景文件,可以將給定集合中的所有快照加載到單個場景文件中,并將它們一起跟蹤到一組公共點,這樣每個快照都可以共享該集合的相同公共三維幾何體。
注意:雖然立體聲是多鏡頭跟蹤的一種形式,但多鏡頭跟蹤不一定是立體聲的。立體拍攝要求兩只眼睛同步,具有相同的圖像大小、寬高比和長度(當然,必須只有兩只眼睛)。當鏡頭是立體的時,可以使用常規多鏡頭設置所不具備的特殊附加功能和工具。
在本節中,我們將演示如何使用一組數字劇照作為難以追蹤的拍攝路線圖:在這種情況下,三腳架拍攝是不可能進行三維恢復的。這樣的場景需要有監督的跟蹤,因為劇照的散拍性質。三腳架鏡頭可以自動跟蹤,但這沒有多大意義,因為你必須已經執行監督跟蹤才能匹配劇照,而且在三腳架鏡頭中添加更多跟蹤器也沒有多大好處。執行這個示例大約需要2個小時,為了說明更復雜的場景,這個示例非常復雜。
從數字劇照開始,這是用數字靜態相機拍攝的9張照片,每張2160乘1440。啟動SynthEyes并執行文件/添加調查快照。添加DCP_###.JPG圖像。
為每個球創建跟蹤器:六個在桿的頂部,六個在圓錐體頂部的地面附近。創建每個跟蹤器,并使用調查快照工作流在整個(九幀)快照中跟蹤它。可以使用控制拖動使高分辨率靜像上的最終定位更加容易。以一致的順序創建跟蹤器,例如,從左后到左前,然后從右后到右前。完成每條軌跡后,鎖定軌跡
手動跟蹤階段將需要不到一個小時的時間。生成的文件可作為multi1.sni使用
使用地面(圓錐體)跟蹤器設置坐標系。將左前跟蹤器設置為原點,將左后跟蹤器設置為X=0、Y=50、Z=0處的鎖定點,將右前跟蹤器設置為由XY平面跟蹤器
你現在可以解決這個鏡頭:切換到“解算器”面板并點擊Go!你應該為球的位置獲得一個令人滿意的解決方案,以及一個相當不穩定和間隔的相機路徑,因為相機是從一個地方走到另一個地方的。(multi2.sni)
到了第二槍的時候了。在“快照”菜單上,選擇“添加快照”(或“文件/導入/快照”)。選擇land2dv.avi快照。將“交錯”設置為“否”;這張照片是在漸進掃描模式下拍攝的佳能Optura Pi
將相機視圖全屏顯示,轉到跟蹤器面板,并開始使用亮點跟蹤器跟蹤此鏡頭中的相同球位置。將“關鍵點”微調器設置為8,因為在拍攝過程中曝光會大幅增加。這些球提供了低對比度,因此一些跟蹤器最容易在跟蹤器面板上的跟蹤器視圖窗口中進行控制。右后地平面球被左前地上球擋住,所以你不必追蹤右后球。按照與第一次拍攝相同的順序創建跟蹤器將是最容易的。(multi3.sni)
接下來,在兩組跟蹤器之間創建鏈接,告訴SynthEyes哪些跟蹤器正在跟蹤相同的功能。你將需要最少六(6)個鏈接之間的鏡頭。
“攝影機/攝影機”或“攝影機/視口匹配”切換到坐標系面板和四元視圖。在鏡頭中移動足夠遠,使所有跟蹤器都在幀中
若要指定鏈接,請從攝影機視圖中的AVI中選擇跟蹤器。轉到頂部視圖并放大以查找第一個快照中匹配的三維點,然后用ALT鍵單擊它(Mac:命令單擊)。在相機視圖中選擇下一個跟蹤器,并在頂部視圖中ALT單擊相應的點;重復,直到分配完所有。如果一致地創建跟蹤器,則可以按順序對其進行排序。
重要提示:要鏈接跟蹤器,必須打開顯示跟蹤器鏈接到的跟蹤器的“坐標系”面板(以便您可以看到發生了什么!)
可以使用三維視圖和攝影機視圖或兩個攝影機視圖執行此操作。兩個相機視圖的缺點是兩者都鏈接到同一個時間條。透視圖提供了一種繞過這一點的方法。。
相機/透視圖匹配
可以使用透視視圖和攝影機視圖同時顯示兩個快照。使用“攝影機和透視”視口布局,或修改“四邊形”布局以將其中一個視口替換為透視窗口。激活參考快照。在“透視”視圖的右鍵單擊菜單上,選擇“鎖定到當前攝影機”。在右鍵單擊“視圖”菜單中,選擇“在此幀上凍結”。(您可以使用透視圖中的A、s、d、F、句點或逗號鍵來調整它凍結在哪個幀上。)此外,還可以啟用“視圖”菜單上的“僅顯示鎖定的跟蹤器”,以確保只顯示該攝影機中的跟蹤器,這樣以后就不會有多個已解決的跟蹤器堆疊在一起。
使用工具欄按鈕或快照菜單更改用戶界面以激活主快照
按名稱匹配
另一種方法是給每個跟蹤器一個有意義的名稱。在這種情況下,單擊“目標點”按鈕會很有幫助:它會顯示一個可供選擇的跟蹤器列表。
更微妙的方法是使用匹配的名稱,然后使用“按名稱跟蹤/交叉鏈接”菜單項。具有完全相同的名稱會使事情變得混亂,因此cross-link命令會忽略每個名稱的第一個字符。然后,您可以將跟蹤器命名為lWindowBL和rWindowBL,并使它們自動鏈接。設置多個匹配的跟蹤器后,選擇視頻剪輯上的跟蹤器,然后選擇“按名稱交叉鏈接”菜單項。將創建從選定跟蹤器到參考快照上匹配跟蹤器的鏈接。
筆記“按名稱交叉鏈接”不會鏈接到解算模式設置為“禁用”的攝影機/對象,以便在需要時控制可能的鏈接目標。必須臨時更改解算模式才能鏈接到禁用的對象。
關于鏈接的詳細信息:具有鏈接的快照應該只鏈接到單個其他快照,而不應該鏈接到其他快照。可以將多個快照鏈接到單個參照。
準備解決
完成鏈接后,切換到“解算器”面板。將解算器模式更改為“間接”,因為此攝影機的解決方案將基于最初從第一個鏡頭獲得的解決方案。(multi4.sni)請確保此時“約束”處于禁用狀態。
點擊Go!SynthEyes將聯合求解兩個鏡頭,即找到與兩個鏡頭最匹配的點位置。每個跟蹤器仍將有自己的位置;連接在一起的跟蹤器將彼此非常接近。
在本例中,您應該能夠看到第二個(三腳架)鏡頭是從第二個靜止鏡頭的大致位置拍攝的。即使位置相同,相機之間的差異和被跟蹤的確切特征也會導致不完美的匹配。然而,對于效果插入,像素位置將令人滿意地匹配。最終結果是multi5.sni。
ViewShift
ViewShift是一個靈活的效果引擎,其中至少包含部分3D重建的鏡頭可以從其他視點重新拍攝。您可以將其用于以下任務:
?從場景中移除對象?組合分割鏡頭
?創建較小的對象放置更改
?選擇性時間偏移(不需要子幀插值)
?動畫UV紋理貼圖提取(即序列)
大多數時候,ViewShift不會為您生成“最終”結果;您可能會將其與下游合成應用程序一起使用,以結合各種效果。ViewShift可以為您生成元素,并為它們進行快速預覽。你可能還需要做一些油漆工作。
ViewShift是一個工具:它執行某些算法,你可以根據情況使用,它不是一個只做一兩件事而不做其他事情的黑盒。我們確信SynthEyes用戶會想出一些瘋狂的方法來使用ViewShift。
雖然高級用戶可以在其他3D應用程序中進行ViewShift效果,但ViewShift中的總體功能集,包括照明匹配和多種重新計時模式等便利設施,應該可以擴展所有級別的用戶在合理的時間內可以完成的任務。
ViewShift基礎知識
ViewShift的基本思想是,你已經完成了一個3D軌跡,在場景中有一些3D網格(稱之為“反射器”),并將(源)鏡頭的圖像投影到它們上;然后,您可以從不同的有利位置從第二臺(觀看)相機“重新拍攝”反射器網格。該觀察相機可能完全在不同的鏡頭中,也可能是同一鏡頭中不同幀上的同一源相機。這是一個組合相機映射投影和渲染。然后可以將ViewShifted渲染合成到查看攝影機的快照中。
提示:當源鏡頭和查看鏡頭不同時,它們應該共享一個坐標系,可以在每個鏡頭中使用相同的設置,也可以使用鏈接跟蹤器和間接求解模式。
提示:ViewShift會注意“背面”和“反轉法線”設置。背面是不可見的,除非網格的“背面”復選框(位于“三維”面板上)處于啟用狀態,從而使正面和背面都可見。
注意:ViewShift只能與攝影機軌跡和使用的網格一樣好。
下面是一個簡單的物體移除示例,我們希望從鏡頭中移除其中一輛汽車:
有一個大平面,這就是這個例子的反射器。這里它只是一個平面,但反射器可以是任何3D網格,例如重建的地形模型。
提示:ViewShift不需要反射器網格的UV紋理貼圖——因為它是集成的,所以它比在3D包中嘗試將等效網格拼接在一起更直接。
在任何ViewShift中,都有幾個大問題:
?哪些像素來自源鏡頭?
?查看快照中將使用哪些像素?
?源鏡頭的哪一幀將用于為任何給定的觀看相機幀提供像素?
然后還有其他問題需要考慮。因此,如果打開ViewShift控制面板(“快照”菜單上的ViewShift),它看起來如下所示:
盡管有很多控件,但基本原理應該非常清楚,比如頂部的查看相機和源相機,以及輸出文件和壓縮
我們將在以下部分中處理更復雜的問題和控制
輸出模式輸出模式選擇器有四個選項:
?使用alpha
?背景之上(如上所示)
?UVMap失真圖[不在SynthEyes簡介中]
?紋理圖[不在SynthEyes簡介中]
使用alpha。在這種模式下,只有實際渲染的像素(待討論)出現在輸出圖像中,并具有適當的alpha通道。這是饋送下游合成應用程序的典型模式
背景之上。在這里,渲染的像素實際上是在原始查看快照上合成的。如果情況允許,可以將其用于預覽和期末考試。
紋理貼圖。[不在SynthEyes簡介中]使用此模式生成動畫紋理貼圖,而不是進行正常的ViewShift處理。對于該模式,應該只有一個反射鏡網格,并且必須具有UV貼圖。使用紋理寬度和高度控件設置紋理大小
源幀定時模式
ViewShift需要回答以下問題:我們應該為哪些幀生成結果,以及源快照中的哪個幀應該用于輸出快照的每個幀(如Viewing Camera中所示)。為了能夠處理各種場景,根據源模式選擇器的控制,有許多可能的答案具有一定的復雜性。
注意:ViewShift將像素從單個源幀移到目標幀:它不會混合不同幀的像素,這可能會導致條紋(有時在靜態紋理提取中會出現這種情況)。
與所有模式一樣,有兩個“開始幀”和“結束幀”字段,一個用于“查看”快照,另一個用于源。每個都有一個用于限制輸出(源)幀的復選框,以及兩個用于設置“開始”和“結束”幀的按鈕
如果“限制輸出幀”復選框處于禁用狀態,則將為輸出快照的整個長度生成輸出。如果復選框處于啟用狀態,則將僅從“開始幀”到“結束幀”(包括“開始幀和結束幀”)生成輸出。單擊“設置開始幀”或“設置結束幀”按鈕將從快照的當前幀設置該值,并啟用“限制輸出幀”復選框。
“受限源幀”復選框和控件的工作原理類似,只是這些值只是由源模式確定的可能使用的幀的范圍,而不是使用它們的絕對聲明或要求
以下是所有源模式:
?相同
?1:1
?縮放
?絕對
?相對
?距離
?方向相同
?錯位引導
?以下不接合
我們將在下面的小節中討論大多數模式,但在介紹了有關如何控制ViewShift的更多預備知識后,我們將把Disjoint模式留到后面的小節
基本計時模式
前六種模式是確定性的,僅基于為源和查看快照指定的幀范圍。我們將在這里討論這些。
相同的源和目標使用相同的幀。
1:1。在整個拍攝過程中,源的開始幀用于輸出的開始幀,源開始幀之后的幀用于輸出開始幀之后,等等。任何幀都不會超過源的“結束幀”。
按比例縮放。從源快照按比例繪制幀:對于進入輸出幀范圍25%的幀,則會將幀繪制到源幀范圍的25%。
完全的已設置動畫的“幀”控制微調器直接控制每個輸出幀使用哪個源幀。最初可以手動設置動畫,但相似和不相交的重疊模式也可以將其結果寫入該軌跡,這樣您就可以切換到絕對模式,并在需要時調整或擴展這些結果
注意:“幀控制”值始終為零,即0表示拍攝序列或電影的第一幀,而不考慮“從1開始”或“匹配幀數”處理。這是因為在下一個模式中,它也被用作相對幀數。。。
相對的源幀是輸出幀偏移“幀”控制微調器的值(恒定或已設置動畫、正或負)。通常用于創建簡單的時移效果
重要的是要注意,只有“相同”或“1:1”模式才能保持原始拍攝時間,并且應盡可能用于插入(分割拍攝)。其他模式適用于刪除,而不是插入太多,因為它們可以改變源快照的時間,使其加速或減慢。更重要的是,抖動效應可能會出現,尤其是當源和輸出時序僅略有不同,并且時序要求重復或丟棄幀時
距離模式
距離模式適用于具有相當穩定的攝影機平移的鏡頭,無論是單鏡頭還是組合分割鏡頭。它查看源攝影機和查看攝影機的路徑,并選擇與“距離”微調器匹配的源幀(可以根據查看幀設置動畫)。
結合分割拍攝,距離模式允許您使用類似于查看視角的源視角,以最大限度地減少視角差異
重要提示:在源攝影機和查看攝影機不同的情況下,拆分拍攝都應該使用一個共同的坐標系,以便攝影機路徑相似。否則,這種模式就沒有意義了。排列它們可以通過在兩個鏡頭中以相同的方式設置坐標系來完成,使用兩者中都存在的跟蹤器;或者通過使用鏈接和自動/間接求解模式(或者可能從種子點/間接)
使用單次拍攝時,“距離”模式是一種簡單的方法,可以確保移除的源像素不包含要移除的對象。(然而,該要求可通過Disjoint模式直接解決。)
如果距離為零,則此模式會選擇源幀,在該源幀中,源攝影機在三維坐標中“物理上”最接近查看攝影機。只有當源相機和查看相機不同時,才使用零距離,否則您還可以使用同幀模式!
如果距離為正,則會選擇一個源幀,其中源攝影機至少在查看攝影機前面那么遠。這里,“在前面”意味著源幀在拍攝中比兩者最接近的幀晚。當源攝像機和查看攝像機相同或不同時,可以使用此模式。
如果距離為負,則會選擇源攝影機至少在查看攝影機后面那么遠的源幀。這里,“落后”意味著源幀在快照中比兩者最接近的幀更早。
距離模式最初會查找距離第一個觀察幀最近的源幀。隨后,它在前一個源幀周圍的30幀窗口中查找與每個后續觀看幀最近的源幀。然后,它在較早或較晚的距離處查找幀。這種策略可以防止它在鏡頭內瘋狂跳躍,盡管在某些情況下可能會出現問題。
使用“距離”模式運行快照后,所使用的幀編號將寫入“幀”控制軌跡。您可以檢查這些值以檢查操作,如有必要,可以編輯它們,然后切換到絕對模式。
提醒:如果使用“距離”模式進行分割拍攝,則源拍攝的時間將不是恒定的,并且可能包含加速、減速、跳躍或下降,具體取決于相機的運動
三腳架鏡頭的相同方向
雖然“距離”模式可以處理正常的平移鏡頭,但對于攝影機不移動的三腳架(節點)鏡頭來說,它顯然是無用的。“同一方向”模式對三腳架拍攝執行類似的功能,試圖找到源攝影機與查看攝影機在同一方向上觀看的幀。此模式主要用于必須匹配才能插入或刪除對象的分割拍攝。(對于相同的源和查看快照,相當于“同幀”模式。)
重要提示:您應該將兩個三腳架鏡頭對準同一個公共坐標系。這可以通過在兩個鏡頭中以相同的方式設置坐標系來實現,使用兩個跟蹤器;通過使用鏈接和三腳架/間接求解模式;或者通過使用3D面板的“整體”模式進行一些手動調整來暫時調整
同向模式最初找到與第一個觀看幀匹配的最佳源幀。隨后,它在?前一個源幀周圍的30幀窗口。這種策略可以防止它在鏡頭內瘋狂跳躍
“同一方向”考慮實際重疊量,而不僅僅是同一方向:通過考慮重疊,還考慮了相對滾動。請注意,沒有什么可以與“距離”模式在“同一方向”上的距離相媲美。
在使用“相同方向”模式運行快照后,使用的幀號將寫入幀控制軌跡。您可以檢查這些值以檢查操作,如有必要,可以編輯它們,然后切換到絕對模式。
提醒:如果您使用“距離”模式進行分割拍攝,則源拍攝的時間將不是恒定的,并且可能包含加速、減速、跳躍或下降,具體取決于相機的運動。
使用樣條線控制ViewShift可以使用SynthEye的動畫樣條線(在“旋轉”面板上)作為控制ViewShift的一種方法
?查看樣條線限制像素僅移動到查看圖像的包含區域內,通常用于刪除;
?源樣條線限制像素只能來自源鏡頭的包含區域,通常用于提取像素進行分割拍攝;
?垃圾樣條線防止像素在源或視圖快照的區域內傳輸,用于網格或其他樣條線的小修復。
例如,當從示例拍攝中移除汽車時,我們使用隨汽車移動的觀察樣條線——像素僅在該樣條線內從源(之前或之后的幾幀)傳輸,以擦除汽車
如果有多個查看樣條曲線,則如果像素位于任何查看樣條線內,則像素將被傳輸,類似地,如果它們位于任何源樣條線或任何垃圾樣條線中
必須通過使用源樣條曲線、使用查看樣條曲線和使用垃圾樣條曲線復選框(默認情況下全部禁用)告知ViewShift是否使用每種類型的樣條曲線。這些設置不僅決定了是否檢查樣條曲線,還決定了當源和查看攝影機相同時,樣條曲線是否應被解釋為源樣條曲線或查看樣條曲線(下文將詳細介紹這種情況)
每個鏡頭都有一個用于自動跟蹤的大型默認樣條線(圍繞整個圖像)。為了防止干擾ViewShift,必須在快照開始時將其刪除或禁用。
創建新樣條線時,請確保將樣條線的對象選擇器適當地設置為攝影機(Camera01等)或垃圾——默認情況下,新的樣條線是垃圾。
提示:如果您可以創建一個跟蹤感興趣的功能的跟蹤器,例如在汽車上,請使用“將跟蹤器導入CP”按鈕來加快創建樣條曲線的速度;然后可以將其導入樣條曲線的中心點,以使整個樣條曲線移動。然后根據需要在鏡頭長度上調整角。
如果您有一個ViewShift,想要同時使用(不同的)源樣條線和查看樣條線,并且源和查看攝影機是相同的,下面是要做的…創建一個虛擬移動對象(禁用其解算模式),將要用作源的樣條線指定給該移動對象,并將源攝影機(/對象)設置為移動對象。(ViewShift將使用移動對象的源攝影機進行其余處理。)
網友評論