AI 的世界模型：為什麼它懂物理直覺
自監督學習在這裡扮演核心角色。模型不需要人類標註「這顆球正在下落」，只需要觀看大量影片，並試圖預測下一幀，就能被迫學會忽略雜訊、抓住動態。類似的機制也出現在對比學習與遮罩建模中：模型必須從部分觀察推斷整體，從而建立起對物件恆存性與空間連續性的理解。當然，這種學習並不總是可靠。模型可能只學到表面的統計相關，而沒有真正掌握因果結構，這正是後續章節要討論的爭議所在。
值得一提的是，近年來「以物體為中心」的表徵學習逐漸受到重視。這類方法試圖讓模型自動把場景分解成一個個物件，並分別追蹤它們的屬性與互動。這種做法更接近人類的認知方式，也讓模型在預測時更容易泛化到新的組合情境。當 AI 能辨識出「這是一個可推動的箱子」而不只是「一塊棕色像素」，它對物理的理解就更向前一步。
二、為什麼物理直覺是 AI 的下一個關鍵門檻
過去幾年，AI 在語言、圖像、語音等領域接連取得突破，許多人因此認為通用人工智慧指日可待。然而，只要讓這些模型走出文字與圖片的舒適圈，進入需要與真實世界互動的場景，弱點便立刻浮現。物理直覺之所以關鍵，在於它是連接「理解」與「行動」的橋樑。
純語言模型的極限：知道名詞，卻不懂因果
大型語言模型的本質是文字接龍。它透過海量文本學會詞與詞之間的統計關聯，因此能流暢地回答「玻璃杯掉到地上會怎樣」這類問題。但這種能力有一個致命弱點：它依賴的是語言中反覆出現的敘述模式，而不是對物理機制的模擬。換句話說，模型知道「玻璃杯」與「碎裂」經常一起出現，卻不真正理解重力、碰撞與材料強度之間的因果鏈。
這種落差在標準測試中一覽無遺。研究者在 Physion、CLEVRER、PHYRE 等物理推理基準上測試各類模型，發現即使是頂尖的多模態系統，在預測物體碰撞後軌跡、判斷支撐結構是否穩定、推斷不可見區域的狀態等任務上，表現仍明顯落後於人類。更麻煩的是，模型往往能給出聽起來合理的解釋，卻在實際預測時出錯——這意味著它的「解釋」可能只是事後編造的語言，而非來自內在模擬。
認知科學稱這個問題為「接地問題」：符號必須與真實世界的經驗連結，才有意義。語言模型活在符號世界裡，它的物理知識是二手、間接、經過語言過濾的。要讓 AI 真正懂物理，就必須讓它從感官資料與互動經驗中，自行建構世界的運作模型。
物理直覺的三個層次：預測、干預與反事實
我們可以用三個層次來衡量 AI 的物理直覺。第一層是預測：給定當前場景，判斷接下來會發生什麼。例如看到疊高的積木被風吹，預測它會往哪邊倒。第二層是干預：如果主動採取某個動作，世界會如何改變。例如「如果我從左邊推這個箱子，它會撞到什麼」。第三層是反事實推理：如果當初做了不同選擇，結果會怎樣。例如「如果剛才沒有拉住繩子，杯子是不是就掉了」。
這三個層次恰好對應因果推論理論中的「因果階梯」。多數現有模型停留在第一層，靠觀察資料進行關聯性預測；少數模型能在第二層運作，透過強化學習或互動資料學習動作後果；至於第三層，則需要模型具備某種結構化的因果表徵，目前仍是開放難題。真正「懂物理」的 AI，必須能在這三層之間自如切換，而這正是世界模型研究的終極目標。
從應用角度來看，這三層能力缺一不可。自動駕駛不只要預測前車會不會煞車，還得評估「如果我現在變換車道」的後果，並在事後檢討「如果早零點五秒煞車是否能避免事故」。工業機器人、醫療機器人、災難救援機器人，也都需要同樣層次的推理。這也是為什麼學界與產業界近年來把世界模型視為通往具身智慧的核心拼圖。
三、主流技術路線：AI 如何建構世界模型
目前建構世界模型的路線大致可分為三大類：以影片預測為核心的生成式方法、結合物理引擎與神經網路的混合式方法，以及在強化學習框架下學習環境模型的方法。三者各有優勢，也各自面臨不同挑戰。
影片預測：從時間序列裡學會因果
影片是物理世界最豐富的紀錄。每一段影片都隱含了物體如何移動、碰撞、變形、交互的資訊。因此，最直覺的世界模型訓練方式，就是讓模型觀看大量影片，並試圖預測接下來會發生什麼。早期的做法是預測下一幀的像素，後來的系統則逐漸轉向預測時空片段或潛在表徵。OpenAI 的 Sora 便是這條路線的代表之一，它使用擴散模型與時空 transformer，能生成長達一分鐘、具備一定物理一致性的影片。
這類方法的優勢在於資料規模幾乎不受限制，且完全自監督。模型不需要人類標註物理定律，就能從資料中歸納出「東西通常往下掉」「液體會流動」「硬物碰撞會反彈」等規律。然而，像素級預測的代價極高：模型容易把注意力放在紋理、光影等外觀細節，而非真正的物理動態。更麻煩的是誤差累積——預測越長，畫面越容易飄移、變形，最終失去物理合理性。因此，如何在抽象表徵空間中預測、如何維持長時序的一致性，仍是活躍的研究課題。
生成式模擬與可微分物理：把物理定律寫進損失函數
另一條路線是把物理知識直接放進模型。可微分物理引擎讓物理模擬的每一步都能計算梯度，因此可以與神經網路端到端共同訓練。這類系統能精確模擬剛體、流體、布料等行為，並透過神經網路處理難以用公式描述的部分，例如材質參數估計或感測器雜訊。混合式做法則更常見：用物理引擎處理主要動態，用神經網路填補真實與模擬之間的落差。
這條路線的優點是可解釋、可控、資料效率高。工程師可以明確指定重力方向、摩擦係數、碰撞規則，模型不必從零開始猜。缺點則是難以涵蓋真實世界的複雜度。真實場景充滿不規則形狀、柔性物體、多體交互與感測器誤差，純物理引擎往往力有未逮。此外，可微分物理的計算成本不低，且在某些情境下梯度不穩定。因此，如何讓物理先驗與資料驅動方法互補，是目前工程實務上的關鍵課題。
模型式強化學習：在「想像」中學會行動
第三條路線來自強化學習社群。傳統的無模型強化學習需要與環境互動數百萬次才能學會一項技能，樣本效率極低。模型式強化學習則先學習一個環境模型，再讓智慧體在這個「想像世界」中練習。DeepMind 的 Dreamer 系列便是代表，它能在潛在空間中進行長程規劃，並在多種任務上達到驚人的樣本效率。MuZero 則更進一步，不重建環境外觀，只學習對規劃有用的隱式模型，從而在圍棋、西洋棋與 Atari 遊戲上達到超人表現。
這類方法的核心挑戰是「模型誤差累積」。想像中的世界再逼真，終究與真實世界有落差；智慧體若過度相信模型，可能在現實中做出危險動作。因此，研究者發展出多種技巧，例如在不確定性高的區域降低規劃信心、定期用真實互動校正模型、或結合無模型方法作為備援。儘管如此，如何在探索與利用之間取得平衡，仍是模型式強化學習的長期難題。
四、代表性案例：從 Sora 到機器人基礎模型
理論之外，近年已有不少具體案例展示世界模型的潛力。這些案例橫跨影片生成、遊戲、機器人與自動駕駛，也讓人們得以檢驗「AI 懂物理」究竟是真本事，還是行銷話術。
影片生成模型是最受矚目的一類。Sora 問世時，OpenAI 將其描述為「世界模擬器」，因為它能生成具備物體恆存性、簡單碰撞與鏡頭運動的影片。後續的 Genie 系列則更進一步，能從單張圖片生成可互動的虛擬環境，讓使用者即時操作。這類系統展示了模型從影片中學到時空規律的能力，但也暴露了弱點：遇到複雜物理交互、長時間動態或罕見情境時，生成結果往往出現物體穿模、憑空消失、違反重力等錯誤。
機器人基礎模型是另一個重要戰場。RT-2、OpenVLA、π0 等系統試圖把視覺語言模型與機器人控制結合，讓機器人能聽懂指令並執行動作。然而，機器人面對的物理世界遠比文字複雜：抓取要考慮摩擦與重心，移動要考慮地形與慣性，操作要考慮物體的可變形性。因此，研究者開始把世界模型引入機器人系統，讓機器人能在行動前先在內部模擬後果，從而提高成功率與安全性。
自動駕駛則是大規模驗證世界模型的場域。Wayve 的 GAIA 系列、Tesla 的神經網路模擬器等，都試圖從大量行車影片中學習其他車輛與行人的行為模式，並預測未來數秒的場景演變。這類系統的價值不僅在於預測，更在於生成罕見情境——例如突然衝出的行人、掉落貨物、極端天氣——用來補足真實資料的不足。
空間智慧則是另一條值得關注的支線。電腦視覺先驅李飛飛近年創立 World Labs，主張 AI 的下一個前沿是理解與生成三維空間，而不只是處理二維圖片或文字。她認為，真正的空間智慧需要模型理解物件的位置、尺度、遮擋關係與可操作性，這正是物理直覺的基礎。這類觀點與世界模型研究相互呼應，也讓「從影片到三維場景」成為熱門發展方向。
空間智慧：World Labs 等團隊，聚焦三維場景理解與生成。
五、世界模型的極限與爭議
儘管進展迅速，世界模型仍面臨根本性質疑。最核心的問題是：模型看起來懂物理，是真的理解了，還是只是學會了某種統計捷徑？這個問題不僅關乎技術，也關乎我們如何定義「理解」。以下從三個面向剖析當前限制。
模擬不等於理解：捷徑學習與偽因果
機器學習領域有一個著名現象叫「捷徑學習」：模型會抓住資料中容易學、但與目標無關的線索。例如，一個被訓練來判斷「物體是否會掉落」的模型，可能不是因為理解了重力，而是因為注意到某些背景紋理或光照模式。當測試場景改變，模型便立刻失效。這種現象在物理推理任務中屢見不鮮，也讓研究者警惕：高準確率未必代表真理解。
更微妙的是「偽因果」。模型可能學到「按下開關後燈亮」的關聯，卻不知道開關與燈之間的電路機制。在一般情境下，這種關聯式知識足以應付；但一旦遇到停電、線路故障或並聯開關，模型就會做出錯誤預測。真正的物理直覺需要區分「相關」與「因果」，而這正是當前世界模型最薄弱的一環。因果推論需要干預與反事實資料，但這類資料在真實世界中難以大量取得。
資料偏誤與物理常識的長尾問題
第二個限制來自資料分布。網路上的影片與圖像高度集中在少數場景：城市街道、室內家居、常見物體。模型在這些場景中表現良好，卻可能在長尾情境中嚴重失準。例如，極端天氣下的路面摩擦、非牛頓流體的行為、罕見材質的碰撞聲響，這些情境在訓練資料中稀少，模型自然難以學會。人類可以靠少量經驗類推，機器卻往往需要大量相似樣本。
這種「樣本效率」落差，是當前 AI 與生物智慧最明顯的差距之一。嬰兒只需幾次嘗試就能學會堆積木，機器人卻可能需要在模擬環境中練習數百萬次。研究者嘗試用課程學習、資料增強、模擬到真實的遷移等方法來緩解，但根本問題仍未解決：如何讓模型從少量互動中歸納出可泛化的物理規律。
評估難題：我們怎麼知道 AI 真的懂？
第三個限制是評估。我們可以用基準測試衡量模型預測軌跡的準確率，卻很難衡量它是否「理解」物理。一個模型可能通過所有測試，卻只是記住了訓練資料的模式；另一個模型可能偶爾出錯，卻展現出可遷移的推理能力。這種矛盾讓研究者開始設計更嚴格的測試，例如要求模型在全新的物件組合、反直覺情境或需要主動干預的任務中展現能力。
此外，生成式模型的評估尤其困難。一段影片看起來合理，不代表物理正確；它可能只是視覺上討喜。研究者因此發展出物理一致性指標，例如檢查物件是否憑空出現、質量是否守恆、碰撞前後動量是否合理。然而，這些指標仍難以捕捉所有細節，也無法完全取代人類判斷。評估方法的進展，某種程度上決定了世界模型研究的發展方向。
六、未來展望：當 AI 真的「懂」物理之後
儘管挑戰重重，世界模型的前景依然令人振奮。若 AI 真能建立可靠的世界模型，其影響將遠超出實驗室，滲透到每一個需要與實體世界互動的產業。以下是幾個值得關注的發展方向。
第一，具身智慧的實現。機器人長期受限於環境適應能力，只能在高度結構化的工廠中工作。有了世界模型，機器人可以在腦中模擬不同動作的後果，從而適應家庭、醫院、災難現場等非結構化環境。這不僅需要視覺與語言能力，更需要對物理互動的深刻理解。
第二，自動駕駛的安全躍升。自動駕駛的核心難題不是辨識物體，而是預測行為與評估風險。世界模型能讓車輛在內部模擬多種未來情境，從而做出更穩健的決策。同時，它也能生成罕見但關鍵的測試案例，加速系統驗證。
第三，科學模擬與發現。物理、化學、生物領域充滿複雜動態系統，傳統模擬成本高昂。若能訓練出準確的世界模型，科學家便能在虛擬環境中快速測試假設，加速材料設計、藥物開發與氣候模擬。
第四，遊戲與虛擬內容的革新。可互動的世界模型將讓遊戲不再受限於預先設計的關卡，而是能即時生成符合物理規律的環境與事件。這對娛樂、教育與訓練模擬都有巨大潛力。
當然，我們也必須正視風險。世界模型若被過度信任，可能導致系統在真實世界中做出危險決策；生成式模型若被濫用，也可能製造難以分辨真假的影片。因此，如何驗證模型、如何設定安全邊界、如何確保人類保有最終控制權，都是未來必須嚴肅面對的課題。
總結來說，AI 的世界模型之所以能懂物理直覺，並不是因為它背下了牛頓定律，而是因為它學會了在內心中模擬世界的運作。這種能力來自大量資料、精妙的架構設計，以及對預測與規劃的持續追求。它仍有諸多限制，離真正的人類式理解還有一段落差，但方向已經清晰。當機器開始能在行動前「先想一想」，我們與智慧機器之間的關係，也將進入一個全新的階段。