AI 影片風格遷移：為什麼同一個 Prompt 換模型就變調
二、同一個 Prompt，五個模型五種宇宙：變調的六大技術根源
接下來這一節比較硬，但值得看。理解了根源，你才知道哪些變調可以補救、哪些只能換模型。以下六個因素，基本上涵蓋了 90% 以上的「風格跑掉」成因。
根源一：文字編碼器不同，語意落差從第一秒就開始
這是影響最大、也最被低估的一環。不同影片模型使用的文字編碼器差異極大：有的是 CLIP 系列，有的是 T5 系列，有的用多模態大型語言模型（MLLM）當編碼器，開源模型如 Wan 系列則採用 umT5 這類支援多語的架構。這帶出三個實務問題。
第一是長度上限。CLIP 類編碼器常見的限制是 77 個 token。你若寫了一段 150 字的 prompt，後半段很可能根本沒被讀進去。這就是為什麼有些人發現「前面寫的風格詞有效、後面寫的細節全被忽略」，還以為模型在偷懶，其實是 tokenizer 幫你截斷了。反觀 T5 或 MLLM 編碼器，能吃下數百 token 的長描述，所以同一個長 prompt 在 A 模型被砍半、在 B 模型被完整理解，結果當然不同。
第二是語言支援。如果你的 prompt 是中文，而模型的編碼器以英文語料為主，中文詞會被切成零碎的 subword，語意會被磨掉一層。像是「氛圍感」「質感」「冷調」這類中文創作圈慣用詞，在英文為主的 embedding 裡幾乎沒有對應座標，模型只能用鄰近概念去猜。這也是為什麼同樣一段中文 prompt，在中文語料吃得多的模型（例如中國廠商訓練的模型）上表現通常更「對味」，而在歐美模型上容易被重新詮釋成另一種氣質。
第三是句法理解能力。MLLM 類編碼器能理解「雖然……但是……」「不要……只要……」這種複雜句構；CLIP 類編碼器基本上是詞袋式理解，否定詞與條件句經常失效。你寫「不要卡通感」，結果畫面更卡通，這不是玄學，是編碼器根本沒處理那個否定。
根源二：訓練資料分佈，決定了模型的「美學偏見」
每個模型的訓練資料集，就是一張它的世界觀地圖。有的模型吃大量電影預告片與廣告素材，出來的東西天生帶有商業質感；有的模型吃大量短影音與生活紀錄，畫面就比較「素」；有的模型資料裡動畫與遊戲 CG 佔比高，你寫實景它也給你一點二次元味。
這件事在靜態圖生成時就很明顯，到了影片更嚴重，因為影片資料的授權、清理、標註成本高得多，各家能拿到的資料組成差異更大。所以當你抱怨「這個模型的畫面總有一股說不出的 AI 味」，那股味道其實就是它的資料分佈在說話：特定的光影習慣、特定的皮膚質感、特定的鏡頭運動頻率。
更關鍵的是，很多模型在訓練後還會經過一輪美學對齊（用美學評分模型做偏好優化）。這一步會把模型往「多數人覺得好看」的方向推。問題是「多數人覺得好看」通常等於「安全、飽和、乾淨、戲劇化打光」。這也是為什麼你想要的那些不完美的、粗顆粒的、低反差的風格，在受過強力美學對齊的模型上特別難做出來——它會一直想幫你「修漂亮」。
根源三：VAE 與潛空間壓縮，風格在壓縮時就被犧牲了
影片模型為了節省算力，不會直接在像素上運作，而是先把影片壓進潛空間（latent space）。這個壓縮通常同時發生在空間與時間兩個維度，空間壓 8 倍、時間壓 4 倍是常見設定。壓得越兇，模型跑得越快，但代價是細節流失。
而「風格」有很大一部分正是藏在細節裡：底片顆粒、皮膚毛孔、布料纖維、鏡頭鍍膜的微妙色散。這些高頻資訊在壓縮階段就被丟掉了，解碼回來時模型只能用它學到的平均值去填補。不同模型的 VAE 壓縮策略不同，填補的「平均值」也不同，於是同一個 prompt 出來的質感就有明顯落差：有的偏銳利數位感，有的偏柔焦類比感。
這也解釋了一個實務現象：為什麼有些模型你怎麼加「35mm film grain」都沒用。不是 prompt 無效，是那個資訊在 latent 裡根本沒有位置可以被保存。
根源四：時序建模架構不同，運動風格天生就不一樣
目前主流影片生成架構大致可分為擴散式 UNet 與 Diffusion Transformer（DiT）兩大路線，再細分為時空注意力要怎麼安排、時間維度是分開處理還是聯合處理。這些架構選擇會直接影響模型「怎麼動」。
架構偏保守的模型，為了避免畫面崩壞，會傾向壓低運動幅度，出來的結果穩定但「死板」；架構激進的模型動態感強，但容易出現主體變形、物理不合理。你寫「緩慢推進的特寫」，在保守模型上會得到一個幾乎靜止的鏡頭，在激進模型上會變成快速衝刺。你以為是 prompt 沒寫清楚，其實是模型對「緩慢」的刻度跟你不一樣。
另外，部分模型引入了運動強度分級（motion bucket）這類設計，會依你给的動態描述或參數決定要走哪一檔。檔位設計不同，輸出的運動質感就不同。這也是為什麼跨模型遷移時，「運鏡描述」幾乎一定要重寫。
根源五：取樣策略與引導係數，決定模型「多聽話」
Classifier-Free Guidance（CFG）是控制模型服從 prompt 程度的關鍵參數。CFG 高，模型更貼文字但畫面容易僵硬、過飽和；CFG 低，畫面自然但容易偏離描述。問題是每個模型的 CFG 尺度定義不一樣，A 模型的 7 可能等於 B 模型的 4。
更麻煩的是，現在很多模型為了加速，採用了蒸餾技術（把多步取樣壓成少步），蒸餾後的模型對 CFG 的反應會被壓平，甚至固定成單一值。這類模型對 prompt 的敏感度天生就低，你怎麼微調文字，它都給你一個「大概差不多」的結果。這不是它不尊重你，是它的取樣路徑已經被壓縮過了。
所以跨模型比較時，如果沒有把 CFG、步數、解析度、種子這些參數對齊，你看到的差異有一部分其實是參數差異，不是模型差異。這一點在寫評測或做客戶提案時特別重要。
根源六：對「風格」這個詞的語意理解，根本不在同一個頻道
最後一個根源最玄，但也最真實。當你寫「王家衛風格」，有的模型抓到的是「霓虹、慢快門、抽格」，有的抓到的是「旗袍、香港街景」，有的抓到的是「曖昧的運鏡與留白」。三者都是合理詮釋，但出來的畫面天差地遠。
這背後是模型對抽象概念的文化錨定不同。風格詞其實是一組壓縮過的文化符碼，而每個模型的訓練語料來自不同語言圈、不同網站、不同標註習慣，解壓縮出來的內容自然不同。這也是為什麼我會建議：不要用風格名稱下指令，要用風格的視覺特徵下指令。把「王家衛」翻譯成「低照度霓虹、手持微晃、慢速快門拖影、主體偏畫面一側、大量前景遮擋」，這樣任何模型都比較有機會給你接近的東西。這一段會在第四節展開。
三、實測對照：同一段 Prompt 在主流影片模型的表現差異
下面這一段，是把上面六個根源落到實務觀察。以下描述的傾向，是綜合筆者與社群創作者長期測試後的主觀整理，並非官方規格，不同版本、不同參數下都會變動，請當成方向參考而不是鐵律。
測試設計與變數控制
要做有意義的跨模型比較，至少要把這些變數控制住：統一片段長度（多數模型支援 5 秒最穩定）、統一解析度與比例、統一是否使用參考圖、記錄各自的 CFG 與步數、固定種子（若支援）、同一段 prompt 不做任何模型特化改寫。
實務上最常犯的錯誤，是拿「已經為 A 模型調過的 prompt」直接丟進 B 模型，然後宣稱 B 模型比較差。這樣比出來的其實是「prompt 遷移成本」，不是模型能力。真正公平的比較應該跑兩輪：第一輪用中性 prompt，第二輪用各模型最佳化後的 prompt，再比較兩輪的差距。差距越小，代表這個模型的 prompt 容忍度越高、跨模型遷移成本越低。
各模型風格傾向速查表
下表整理常見模型在「未特化 prompt」情況下的預設傾向。再次提醒，這是傾向描述，不是排名。
模型類型
外觀層預設傾向
運動層預設傾向
對長 prompt 的容忍度
跨模型遷移時常見的變調
歐美系大型研究模型（如 Sora 類架構）
乾淨、對比適中、偏電影感
運鏡自信、物理合理、敢做大場面
高（訓練時常用長描述重述）
會自動「腦補」細節，短 prompt 容易被過度擴寫，偏離原意
歐美系商業創作工具（如 Runway Gen 系列）
偏廣告質感、銳利、可控性高
對鏡頭運動詞响应精準，適合分鏡控制
風格偏「商業乾淨」，要粗礪質感需要額外對抗
亞洲系中文友善模型（如可靈、海螺等）
人像質感細膩、色調偏電視劇感
動作偏穩、幅度保守、人物表演自然
高（中文語意理解佳）
轉到歐美模型時，中文風格詞會失效，畫面變「洋味」
夢核系快速生成工具（如 Luma 類）
柔焦、夢感、對比偏低
運鏡幅度大、容易「飄」、物理較鬆散
中低
要寫實紀實風格時特別難壓，容易過度浪漫化
開源模型（如 Wan、HunyuanVideo 等）
取決於社群微調版本，變異極大
取決於版本，可透過 LoRA 深度客製
中至高（部分用多語編碼器）
換一個社群權重就等於換一個模型，風格完全不連續
常見「變調」症狀與診斷對照
實務上，你可以用「症狀」反推是哪一層出了問題，這比盲目改 prompt 有效率得多。
你觀察到的症狀
最可能的根源
優先處理方式
風格詞完全沒反應，畫面像沒讀 prompt
文字編碼器長度上限或語言支援不足
把關鍵風格詞移到最前面、改用英文視覺特徵詞
否定句失效（寫「不要 X」結果更 X）
詞袋式編碼器不處理否定
改寫成正面描述，直接指定你要的元素
畫面很漂亮但味道不對，偏「AI 感」
美學對齊把它往安全審美推
降低 CFG、加入不完美描述、後製加質感
顆粒感、質感怎麼寫都做不出來
VAE 壓縮把高頻細節吃掉
改在後製階段加，別在生成階段硬拚
運鏡完全不是你要的速度
時序架構與運動檔位設計不同
拆成更小的運動描述，並用該模型慣用詞彙重寫
同一段 prompt 每次差很多
取樣隨機性高、CFG 偏低
固定種子、提高 CFG、減少描述中的矛盾指令
四、讓風格聽話的實戰方法論
理解原理之後，接下來是能不能用的問題。以下四個方法，是我認為在跨模型工作流裡投報率最高的。
方法一：把 prompt 從「形容詞堆疊」改寫成「結構化描述」
新手最常見的寫法是「電影感、唯美、高質感、大師級、8K、超高細節」。這種寫法對模型來說資訊量極低，因為這些詞在訓練資料裡與太多畫面共現，鑑別度早就被磨平了。真正有效的寫法是把風格拆成可觀測的視覺元素。
我習慣用五段式結構：主體與動作 → 環境與光線 → 鏡頭與運動 → 材質與質感 → 情绪與參考座標。例如不要寫「唯美日系」，改寫成「一名穿米色針織衫的女性站在午後窗邊，側逆光，空氣中有細微塵埃，35mm 定焦中景，鏡頭極緩慢向右平移，低對比、輕微底片顆粒、膚色偏暖，安静而略帶悵惘」。同樣的概念，後者對任何模型的鑑別度都高得多，因為它給的是可對應到視覺特徵的線索，而不是文化壓縮包。
另外，長 prompt 要把最重要的風格詞放在前三分之一，尤其是使用 CLIP 類編碼器的模型。這是低成本高回報的小技巧。
方法二：建立「風格錨點」，做跨模型的翻譯而不是複製
跨模型工作時，不要複製 prompt，要翻譯 prompt。具體做法是為每個專案準備一張「風格錨點表」：左邊寫你真正要的視覺特徵，右邊寫各模型的對應說法。
比如你要「低照度霓虹夜景」，在偏商業乾淨的模型上，你可能要寫「夜晚、霓虹招牌、低照度、高對比、青橙色調、輕微光暈」，並且把 CFG 壓低一點避免過曝；在偏夢核的模型上，你反而要加「寫實、紀實攝影、避免柔焦」來對抗它的預設倾向。同一件事，在不同模型上是「加法」也可能是「減法」。這種對抗式寫法，說穿了就是先把該模型的美學偏見列出來，再決定要順著它還是壓著它。
建議每個常用模型都留一份自己的「偏好筆記」：它預設愛做什麼、討厭什麼詞、什麼參數區間最穩。累積三個月，你的跨模型成功率會提升得非常明顯。
方法三：用參考圖、首尾幀與控制工具把風格鎖死
文字是最弱的控制手段之一，只是最方便。當風格精度要求高時，應該往上疊加更強的控制層。順序大致是：純文字 → 文字 + 參考圖（image-to-video）→ 文字 + 首幀（必要時加尾幀）→ 再加上姿態、深度、線稿等結構控制 → 最後才是用 LoRA 或微調做深度客製。
其中「首幀」的影響力極大，因為它同時鎖定了色調、構圖、光線與美學基準，模型後續的運動都會在這個框架裡發生。很多「換模型就變調」的問題，只要改成首幀驅動就會消失大半，因為風格已經被影像本身定義好了，模型沒有太多自由發揮的空間。這也是為什麼專業工作流越來越偏向「先出關鍵幀、再讓模型補運動」，而不是純文字生成。
方法四：承認生成階段的極限，用後製把最後一哩路補完
這一點可能有點反直覺，但很重要：不是所有風格問題都該在生成階段解決。顆粒、光暈、色調分離、輕微的鏡頭呼吸感，這些在後製軟體裡處理，比在 prompt 裡跟模型搏鬥便宜太多，效果也更穩定。
實務上我會建議把工作流切成三段：生成階段只負責「構圖、主體、運動、大致光線」，這四件事模型做得最好；風格化階段用調色、顆粒、光暈、變形來補；最後再用一點點隨機性（例如輕微的雜訊擾動或手持模擬）把 AI 的「過度乾淨」壓下去。這樣做的好處是，你不再依賴單一模型的風格能力，工作流本身就有穩定性，換模型時也不會整組崩掉。
五、常見問題 FAQ
Q：為什麼同一個 prompt 在網路上別人跑得出來，我跑就不一樣？
先確認版本、參數、種子、是否有參考圖、是否為訂閱等級差異。模型改版對風格的影響非常大，同一家服務隔一季換版本，輸出氣質就變了。另外，很多人分享的作品其實經過後製或多次重跑挑選，直接對比會失真。
Q：中文 prompt 一定比英文差嗎？
不一定，取決於模型的編碼器語料。中文友善的模型用中文寫反而更精準；以英文語料為主的模型，建議把關鍵風格詞用英文寫，其餘描述可以用中文，混寫通常效果不錯。真正該避免的是把中文慣用的抽象美感詞直接丟給英文模型。
Q：CFG 越高是不是越聽話？
在一定範圍內是，但超過某個點之後畫面會開始僵硬、過飽和、細節崩壞，而且風格會往「安全審美」集中，反而更難做出獨特質感。多數模型建議從中等值開始上下試，不要一開始就拉到滿。
Q：要怎麼知道變調是模型的問題還是我的 prompt 的問題？
做一個對照實驗：用一句極簡 prompt（例如「一個人走在街上」）跑一次。如果極簡 prompt 出來的風格你就不喜歡，那是模型的美學偏見，prompt 再怎麼改都只能微調；如果極簡 prompt 還行、複雜 prompt 才跑掉，那問題在描述方式或 token 長度。這個測試五分鐘就能做完，卻能省下好幾小時的瞎試。
Q：多模型並行会不会比較好？
會，但要建立流程。比較務實的做法是：用同一個首幀，分別丟進兩三個模型跑短片段，挑出運動與構圖最接近的那個，再用它的結果回去做更精細的控制。把多模型當成「分鏡試鏡」而不是「同時量產」，效率會高很多。
六、結語：風格不是寫出來的，是協商出來的
回到最初的問題：為什麼同一個 prompt 換模型就變調？因為 prompt 從來不是風格的載體，它只是一組觸發條件。真正決定畫面長相的，是模型在這組條件下，沿著自己的資料分佈、架構偏好與美學對齊，走出來的那條路。你換了模型，等於換了一整條路徑，結果當然不同。
理解這件事之後，創作心態會踏實很多。你不再追求「一句打天下」的萬能 prompt，而是開始建立自己的模型地圖：知道每個模型的脾氣、知道哪些風格該用文字、哪些該用首幀、哪些該留給後製。這種能力，比任何 prompt 模板都更耐用，因為它不會隨版本更新而失效。
AI 影片工具還會繼續迭代，明年此時的主流模型大概又是另一批。但「理解工具之間的差異，並據此調整工作流」這件事，會一直是創作者真正的護城河。希望這篇整理對你有幫助，也歡迎在社群裡分享你自己的跨模型實測結果，讓這張地圖越來越完整。
💬 想說點什麼？
歡迎到留言板分享你的想法、心得或疑問。
💬 前往留言板 →