AI 動態運鏡:為什麼 AI 生成的鏡頭會「飄」
4. 視角蠕變(FOV Creep):焦段偷偷改變
第四種症狀更隱蔽:畫面構圖沒什麼變,但透視感在變。原本看起來像 50mm 的鏡頭,播到後面變成廣角感,邊緣開始有輕微桶狀變形,建築物的垂直線從平行變成有收斂。
這就是「焦段漂移」。它之所以難發現,是因為大多數人只注意主體,而 FOV 變化對主體的影響相對小,對背景的影響卻很大。如果你在做產品展示或建築漫遊,這種蠕變會讓整段素材報廢,因為觀眾會下意識覺得「空間怪怪的」,卻說不出哪裡怪。
5. 物件閃爍與形態不穩(Flickering & Morphing)
最後一種是細節層面的不穩定:手臂的邊緣忽粗忽細、車輪的輻條數量在跳、文字招牌上的字在變形、人物臉部在幾幀之間「換了一個人」。這種現象嚴格來說不算運鏡問題,但它會強化「飄」的整體觀感,因為觀眾會覺得整顆畫面「不穩」。
當這五種症狀疊加,就是你熟悉的「AI 味」——畫面很美,但就是假。而這五種症狀的成因,其實都指向同一個根源:AI 不是一台攝影機,它是一個機率預測器。
二、為什麼會飄?拆解 AI 影片生成的底層邏輯
要真正解決問題,得先接受一個事實:現階段主流 AI 影片模型(不論是擴散模型、時空注意力架構,還是基於 Transformer 的序列生成)都沒有內建「三維攝影機」這個概念。它們做的事情,本質上是在「潛空間裡猜下一個畫面長什麼樣」。
2-1 它不是攝影機,是「猜下一格畫面」的機器
傳統 3D 動畫裡,攝影機是一個有座標、有旋轉、有焦距、有運動曲線的物件。你設定關鍵幀,它就照著走,數學上保證每一幀都精準。而 AI 影片模型的工作方式是:給定第一幀(或第一段潛變數)加上文字條件,去預測「接下來的畫面應該長什麼樣」,而且這個預測是逐段、逐幀、在潛空間中反覆擴散去噪完成的。
重點在「反覆猜」。每一幀都是重新猜出來的,模型沒有一個持續存在的「世界模型」在腦中維持空間結構。它只有一個學到的分佈:在這個提示詞、這個上下文下,下一張圖合理的樣子是什麼。既然每一幀都是獨立猜測後再對齊,累積誤差就會變成漂移。
打個比方:你在黑暗中用手電筒照牆上的圖畫,每照一次就憑記憶畫一筆。畫一筆看不出偏差,畫一百筆之後,整張圖就歪了。AI 影片就是這樣一幀一幀「續畫」出來的東西。
2-2 時序一致性(Temporal Consistency):擴散模型的先天難題
擴散模型原本是為「單張圖片」設計的。它的強項是生成高品質的靜態影格,弱點是完全沒有時間的概念。後來為了做影片,研究者加入了各種時序模組(3D 卷積、時空注意力、光流約束等),讓相鄰幀能「互相參考」。
但這裡有個關鍵取捨:參考得太強,畫面會僵死;參考得太弱,畫面會飄。
所以你會發現,越是「大動作+高細節」的提示詞,飄得越嚴重。因為模型被兩股力量拉扯:它既要保持畫面好看,又要保持時間連貫,而這兩件事在算力有限的情況下是矛盾的。這也是為什麼同一組提示詞,生成 3 秒的版本比 10 秒的版本穩定得多——時間越長,誤差累積越多。
2-3 訓練資料裡的「攝影機偏見」
模型是從海量影片中學來的。問題是,網路上的影片素材有強烈的分佈偏誤:
大量素材是手機手持拍攝——所以模型預設會加一點「手持感」。
大量素材用了數位防手震——所以模型學到的「穩定」其實是「被演算法修正過的穩定」,邊緣會有輕微的蠕動。
大量素材是社群短影音——大量使用數位變焦、推鏡、環繞運鏡,而且常常是「人工後製」的假運鏡。
換句話說,模型並不是從「真實攝影機物理」學習運鏡,而是從「人類剪出來的成品」學習運鏡。成品裡充滿了裁切、變焦、穩定、加速、轉場,這些都是非物理的運動。模型照單全收,於是生成出來的鏡頭就會有那種「說不上哪裡怪」的浮動感。
更別說訓練資料裡幾乎沒有「標註好的攝影機參數」。沒有人會告訴模型「這顆鏡頭是 35mm、f/2.8、用滑軌以每分鐘 30 公分前進」。模型只能從像素變化去反推運動,而這種反推天生就有歧義——同一個像素流,可能是鏡頭前進,也可能是場景在放大。
2-4 文字編碼器不懂「pan」和「dolly」的差別
這是很多人忽略的一環。你寫「鏡頭緩慢推進」,模型收到的不是一個幾何指令,而是一段文字的語意向量。而在訓練資料裡,「推進」這個詞可能對應到好幾種不同的視覺表現:可能是真的前進,可能是變焦拉近,可能是主體變大,也可能是裁切放大。
模型學到的是一個模糊的、平均化的運動概念。你寫「pan right」,它可能給你輕微的旋轉+位移+變焦三合一;你寫「dolly in」,它可能給你不動鏡頭但主體放大的錯覺。這不是模型笨,而是文字本身資訊量不足——一個英文單詞沒辦法精確定義三維空間中的六自由度運動。
這也是為什麼專業人士會用「攝影機語言」而不是「自然語言」來下提示詞。用詞越精確、越接近攝影術語,模型的輸出就越接近你想要的運動。
2-5 首幀條件與潛空間壓縮的副作用
現在很多工具支援「首幀鎖定」或「首尾幀插值」。這確實能大幅降低漂移,因為模型有了明確的起點和終點。但同時也帶來新問題:它會把運動壓縮成「從 A 到 B 的最短路徑」。
如果你給的首幀和尾幀差異太大(例如視角差了 90 度),模型不會給你一個漂亮的環繞運鏡,而會用「溶解」、「變形」、「滑動」的方式硬 interpolate 過去,結果就是畫面像在融化。這時「飄」變成了「糊」,一樣不能用。
另外,影片模型為了效率,幾乎都在壓縮後的潛空間裡運算,解析度遠低於最終輸出。潛空間的粒度很粗,等於模型是在「低解析度的地圖」上規劃路徑,然後再放大成高解析度畫面。路徑本身就粗糙,放大後自然會有細微的浮動與不精準。
三、各家工具「飄」的方式不太一樣:實測對照
不同模型因為架構與訓練資料不同,飄的「個性」也完全不同。了解這一點,你才能針對手上工具調整策略。以下是我這段時間的主觀觀察整理,供大家參考(模型迭代很快,實際表現請以你使用的版本為準)。
工具類型
常見「飄」的表現
相對優勢
建議應對
Runway 系列
細節閃爍明顯、長鏡頭後段易漂移,運鏡語意較聽話但幅度偏保守
運鏡指令辨識度高、支援多種控制幀
縮短單段時長、搭配首幀鎖定與分段生成
Pika 系列
風格化強,容易出現「呼吸感」與輕微變形,大動作時主體邊緣不穩
風格表現佳、適合短鏡頭與概念片段
避免複雜運鏡、用簡單主體+單一運動
Kling 系列
物理感較好但長鏡頭末端仍會漂移,人物走動時背景捲動感偶爾出現
人物動作與物理模擬較自然
把長鏡頭拆成 5 秒以內的段落再剪接
Luma 系列
鏡頭運動幅度大、速度快時較容易失控,視角蠕變較明顯
大範圍運鏡與空間感表現突出
降低運動速度提示、明確指定焦段與視角
Hailuo 系列
主體一致性佳,但細節區域(文字、手指、細線)易閃爍
人物與表情穩定度高
避開文字與精細結構、後期補強
開源模型(本地部署)
可透過參數與 LoRA 大幅改善,但預設狀態下時序一致性最弱
可控性最高、可自訂運動模組
需要一定技術門檻,建議先做小規模測試
3-1 為什麼「大動作」幾乎必飄
不管用哪一家,只要你要求「快速環繞」、「大幅度升降」、「高速追車」,飄的機率都會直線上升。原因很簡單:大動作意味著相鄰幀之間的像素差異極大,模型必須「憑空補出」大量從未見過的中間畫面。這些被補出來的畫面沒有真實參照,只能靠機率分佈猜,誤差自然放大。
所以有一個很實用的原則:運動幅度要跟畫面資訊量成反比。畫面越複雜(人多、細節多、紋理密),運動就該越小;畫面越簡單(單一主體、乾淨背景),才適合大運鏡。
3-2 「固定鏡頭」反而是最難的指令
很多人以為寫「static camera, locked off, no movement」就能得到穩定畫面,結果發現還是會飄。這是因為「不要動」對生成模型來說,是一個否定式約束,而模型對否定條件的處理能力一向很弱。
更好的做法是給它一個正向的、可參照的穩定錨點:例如「tripod shot」、「on a heavy tripod with a long lens」、「perfectly symmetrical composition」、「horizon line locked at lower third」。讓模型有具體的東西可以「抓住」,比單純叫它「不要動」有效得多。
四、實戰降飄:八個真正有效的做法
以下方法是我自己反覆測試後留下的,按「投報率」排序。前四項是提示詞與生成階段的調整,後四項是流程與後期的補救。
4-1 用「攝影機語言」寫提示詞,而不是形容詞
這是最關鍵的一步。把「鏡頭很穩地往前推」改成明確的攝影術語。建議建立自己的提示詞模板,順序固定為:鏡頭類型 → 運動方式 → 運動速度 → 焦段 → 構圖 → 主體動作 → 環境細節 → 畫質。
錯誤示範:「電影感,鏡頭慢慢靠近女生,氣氛很美。」
正確示範:「Slow dolly-in on a 50mm lens, camera on a fluid-head tripod, subject stays centered in frame, subtle parallax on background, shallow depth of field, no handheld shake.」
差別在於:後者給了模型「器材(tripod、fluid head)」、「焦段(50mm)」、「構圖約束(subject centered)」、「運動類型(dolly-in 而非 zoom)」這些具體可推理的條件。即使模型不完全理解,這些詞在訓練資料中的關聯性也會把它推向正確方向。
4-2 控制速度:把「快」換成「慢」,把「動」換成「微動」
AI 模型對「速度」的理解非常粗糙。你寫「fast」,它可能給你模糊、變形、跳格。最穩妥的做法是預設「慢」,然後用後期加速。
需要大幅度運鏡?把它拆成兩段慢速運鏡,中間用剪接點銜接,觀眾不會注意到。
這個技巧聽起來很土,但實務上非常好用。很多廣告案的「華麗環繞鏡頭」,其實是兩段慢速生成+關鍵幀插值+後期變速拼出來的。
4-3 分段生成+首尾幀接力:對抗誤差累積
既然誤差會隨時間累積,那就不要讓它累積。做法是把一個長鏡頭切成多段,每段 3~5 秒,然後用「上一段最後一幀」作為「下一段的第一幀」來接力生成。
這樣做有兩個好處:一是每一段的誤差都被重置,不會滾雪球;二是你可以在每個接點手動微調——如果第一段結尾畫面已經歪了,你可以直接修圖(把主體移回中間、校正水平線)再餵給下一段,等於強制校正。
進階做法是做「首尾幀插值」:給定一個明確的開始畫面和結束畫面,讓模型去補中間。這時要特別注意,首尾兩幀的差異不要太大,建議控制在「視角差 15 度以內、位移不超過畫面寬度的三分之一」。差異太大,模型就會用變形硬凹。
4-4 控制資訊量:畫面越乾淨,運鏡越穩
前面提過,運動幅度要跟資訊量成反比。所以降飄的另一個方向,是主動降低畫面複雜度:
避免同時出現「多個主體+複雜背景+大量細節紋理」。
避免畫面裡有文字、招牌、細小幾何圖形(這些是閃爍重災區)。
用景深把背景虛化,不只美觀,也能減少模型需要維持一致的細節量。
色調與光線盡量單純,硬光比複雜環境光更容易穩定。
很多時候,飄不是因為運鏡太難,而是因為畫面「太滿」。模型忙不過來,只好犧牲空間一致性。
4-5 後期穩定:用追蹤與變形把畫面拉回來
生成完之後,其實還有很大的補救空間。多數剪輯與合成軟體都有「穩定」或「平面追蹤」功能,可以:
我的習慣是:生成時追求「構圖對、運動方向對」,把細節穩定性交給後期。不要期待一次生成完美素材,那會浪費太多時間在抽卡。
4-6 混用實拍素材作為錨點
如果專案允許,最有效的降飄方式是「AI + 實拍」混合。例如:實拍一段空景作為背景,AI 只負責生成主體並合成上去;或者用實拍素材做「首幀」,讓 AI 從真實畫面出發。
這樣做的好處是,空間結構與運鏡邏輯由真實攝影機保證,AI 只需要處理它擅長的部分(風格、材質、想像力)。很多得獎的 AI 短片其實都是這種混血流程,只是觀眾看不出來。
4-7 建立自己的「穩定提示詞庫」與測試流程
這聽起來很工程師,但非常值得。把每次成功的提示詞、參數、種子碼記錄下來,建立自己的資料庫。當你要生成某種類型的鏡頭時,直接從資料庫裡找最接近的組合微調,而不是從零開始抽卡。
建議每次測試只改一個變數:這次只改鏡頭速度,下次只改焦段,再下次只改主體位置。這樣你才能累積「哪個詞真的有用」的經驗,而不是靠感覺亂試。
4-8 接受它的極限:設定「可用標準」而不是「完美標準」
最後一點,也是最實用的一點:不要追求零漂移,要追求「在成片裡看不出來」。
觀眾看的是 3 秒一顆的剪輯節奏,不是逐幀分析。輕微的呼吸感在配上音樂、音效、剪接點之後,常常是完全無感的。很多創作者卡關,是因為用工程師的標準要求藝術品,結果永遠出不了片。
我的建議是:先粗剪,把生成的鏡頭放進時間軸,配上音樂看一次。你會發現很多你以為很糟的漂移,在節奏裡根本不存在。真正需要修的,只有那些「會讓觀眾出戲」的鏡頭。
五、有時候「飄」其實是優點:把它變成風格
講了這麼多降飄方法,最後要提醒一件反向思考的事:「飄」本身不是罪。它只是「不符合物理攝影機」而已,但不代表「不好看」。在某些語境裡,AI 的浮動感反而是資產。
5-1 夢境、回憶、意識流:飄是加分項
夢境場景如果太穩、太物理正確,反而會失去夢的特質。AI 那種「空間微微不合理、邊界微微融化、光線微微過曝」的質感,非常適合回憶片段、潛意識、藥物幻覺、超現實敘事。很多實驗短片導演刻意保留這些瑕疵,因為它們是「非人為」的,有一種機器夢境的獨特詩意。
5-2 手持紀錄片質感:把抖動轉成真實感
如果你做的是偽紀錄片、Vlog 風格、街頭訪談,那輕微的呼吸感反而是好事。真正的手持攝影本來就不穩,過度穩定的畫面會顯得「太商業」。這種時候,你不需要對抗「飄」,而是要引導它變成有慣性的抖動——例如在提示詞裡加入「handheld, shoulder rig, natural breathing, slight sway」,讓它飄得更像人。
5-3 音樂錄影帶與抽象視覺:不穩定即節奏
在 MV 或抽象視覺裡,畫面與音樂的關係比物理正確更重要。運鏡的浮動、變形、閃爍,可以對應鼓點、對應情緒起伏。這種時候,AI 的不穩定性反而是難以用傳統 3D 複製的獨特質感。
關鍵在於「控制」。同樣是飄,如果是你刻意設計的飄,那是風格;如果是不受控的飄,那就是瑕疵。差別就在你有沒有掌握前面那些方法。
六、把「飄」納入製程:我的實際工作流
分享一下我現在做 AI 鏡頭的標準流程,讓大家有個參照:
一次只生成 3~5 秒:不追求一次到位,接受多次抽卡。
用首幀鎖定+慢速提示詞:把可控性拉到最高。
生成後先看「運動方向對不對」:方向錯了就重來,細節問題留給後期。
進剪輯前先做輕度穩定與裁切:把明顯的漂移修掉。
建立素材庫與提示詞庫:每次成功的組合都存下來,下次直接調用。
這套流程的核心邏輯是:把「穩定性」拆成「生成時的方向控制」與「後期的細節修正」兩件事。不要在生成階段追求完美,那只會讓你陷入無止境的抽卡地獄。
七、常見問題 FAQ
Q1:為什麼我寫了「static camera」,畫面還是在動?
因為模型對否定式與靜態指令的處理能力很弱,而且訓練資料裡「完全靜止」的鏡頭相對稀少。建議改用正向錨點,例如「locked-off tripod shot, heavy tripod, long lens, symmetrical composition, horizon line fixed」,並搭配首幀鎖定與後期穩定。
Q2:是不是生成時長越短越穩?
基本上是。誤差會隨時間累積,3~5 秒通常是穩定性與可用性的甜蜜點。如果需要長鏡頭,建議分段生成再用剪接或首尾幀接力串起來。
Q3:為什麼人物走動時,背景會往後滑?
這是「主體與背景解耦」,根源在於模型把「主體運動」與「攝影機運動」混為一談。解法是明確分離兩者:提示詞裡清楚說明「camera locked, subject walks toward camera」,並且讓主體與背景之間有明確的參照物(例如地磚、門框、柱子),幫助模型維持空間關係。
Q4:用首尾幀插值是不是就不會飄了?
不一定。首尾幀能有效降低漂移,但如果兩幀差異太大,模型會用變形、溶解的方式硬補,結果更糟。建議首尾視角差控制在 15 度以內,並且兩幀的光線、色調、構圖要盡量一致。
Q5:後期穩定會不會讓畫面變糊?
會,程度取決於你補償的幅度。建議先追蹤再反向補償,只修正「低頻漂移」,不要試圖修正高頻抖動,後者容易被誤判成主體運動。另外,輕微放大裁切(5%~8%)通常比激進的穩定演算法更自然。
Q6:有沒有哪個模型真的完全不飄?
目前沒有。每個模型都在「穩定性」與「創造力/動態表現」之間做取捨。與其找完美工具,不如建立一套「能穩定產出可用素材」的流程,那才是真正能省時間的東西。
結語:飄是 AI 的胎記,不是它的判決書
回到最初的問題:為什麼 AI 生成的鏡頭會飄?因為它從來就不是一台攝影機,而是一台在潛空間裡不斷猜測「下一格畫面」的機率機器。它沒有三維座標,沒有焦距,沒有慣性,只有學到的像素分佈與模糊的運動概念。每一次生成,都是一次在黑暗中續畫的過程,誤差自然會累積成漂移、抖動、解耦與蠕變。
但這不代表我們只能被動接受。理解原理之後,你會發現降飄其實是一連串「小決策」的總和:用攝影機語言寫提示詞、控制運動速度、分段生成、降低畫面資訊量、後期補償、建立自己的提示詞庫。這些方法單獨看都不神奇,組合起來卻能讓可用率從三成拉到八成以上。
更重要的是,不要忘了「飄」也可能是你的武器。在這個所有畫面都追求穩定的時代,一點點不合理的浮動、一點點空間的融化,反而可能是最有人味的東西——只要那是你選擇的,而不是你被迫接受的。
希望這篇整理對雅寶社區的創作者朋友有幫助。如果你有自己的降飄秘訣,或某家工具的實測心得,歡迎在樓下補充。這個領域每三個月就翻一次天,大家一起把經驗留下來,比什麼教學都值錢。
我們下篇文章見。
```
💬 想說點什麼?
歡迎到留言板分享你的想法、心得或疑問。
💬 前往留言板 →