AI 幻覺的來源：為什麼模型會憑空編造事實
這也解釋了為什麼模型在面對不存在的事物時，往往不會停下來說「我不知道」。對人類而言，「不知道」是一個明確的認知狀態；對語言模型而言，「不知道」並不是一個在訓練中被充分獎勵的輸出模式。相反地，訓練資料中的問答、百科、教學文章，幾乎都以「提供答案」為常態。模型因此學到了一種隱含偏誤：與其承認無知，不如給出一個流暢的回答。
二、從統計預測到語言生成：幻覺的技術根源
要理解幻覺，必須先理解大型語言模型到底在做什麼。當前主流模型多為自迴歸（autoregressive）架構，其核心訓練目標是「給定前面的詞，預測下一個詞」。模型在大量文本上學習詞與詞之間的共現規律，透過數千億參數壓縮語言資料中的模式。這個過程聽起來與「理解世界」相似，但本質上更接近「學習如何接話」。幻覺正是這種接話能力在知識邊界外的自然延伸。
2.1 下一詞預測的本質：機率而非真理
語言模型的輸出是一個機率分布：對於詞彙表中的每一個 token，模型都會給出一個分數，代表它接在前文之後的相對可能性。解碼器再根據這個分布，選擇下一個 token。整個生成過程可以形式化為最大化條件機率，也就是讓整段回答的聯合機率盡可能高。問題在於，「機率高」不等於「事實正確」。訓練語料中充滿了語言的慣性：傳記通常以「出生於」開頭，論文引用通常以「等人於某年提出」開頭，法律條文通常有固定的句式。模型學會了這些模板，卻未必學會模板背後的事實約束。
舉例來說，當模型被要求介紹一位虛構的學者時，它可能生成「曾任教於某大學、發表過某篇論文、獲得某項獎項」的標準敘事。這些細節在語言層面完全合理，因為它們符合學術傳記的常見結構；但它們的事實基礎為零。模型並不是在回憶一個真實人物，而是在填補一個語言模板的空格。這就像是根據「履歷表應該長什麼樣子」來偽造一份履歷，格式滿分，內容全假。
更微妙的是，模型在訓練中學到的不只是表面句式，還包括「哪些詞彙傾向一起出現」的深層關聯。例如「愛因斯坦」與「相對論」高度共現，「圖靈」與「計算機科學」高度共現。這種關聯網路讓模型能夠在許多常見問題上給出正確答案，但也讓它在面對罕見組合時，傾向用鄰近的高頻概念進行「類比填空」。當你問一個冷門獎項的歷屆得主，模型可能把鄰近領域的知名學者填入名單，因為這些名字在類似語境中出現的機率較高。
2.2 訓練資料的縫隙與長尾知識
語言模型的知識來自訓練語料，而訓練語料存在三個結構性問題：覆蓋不全、品質不一、時效有限。首先，人類知識的分布極度不均。熱門人物、主流事件、英語世界的內容在網路上佔據壓倒性比例；冷門語言、地方性知識、專業領域的細節則相對稀缺。模型在「長尾」區域的知識密度極低，卻仍被要求給出回答，幻覺便由此而生。
其次，訓練語料本身充滿錯誤與矛盾。網路上的百科條目可能過時，論壇發言可能帶有偏見，新聞報導可能出現事實錯誤。模型沒有可靠的事實查核機制，它會把這些相互矛盾的陳述一併吸收，並在生成時根據上下文「選一個看起來最順的」。這意味著，即使模型忠實地反映了訓練資料，它仍可能輸出錯誤內容。幻覺不一定是模型「發明」了什麼，有時它只是「重複」了資料中的錯誤，並以更自信的語氣包裝。
第三，知識有截止日期。模型的參數在訓練完成後便固定，無法自動更新。當使用者詢問訓練截止之後發生的事件，模型有兩條路可走：一是承認自己不知道，二是根據舊有模式推測。遺憾的是，由於訓練資料中「追問時事」的對話往往以「提供資訊」結尾，模型傾向選擇後者。它可能把舊事件的時間線往後平移，或把不相關的新名詞拼接進舊框架，生成一段「看起來像新聞」的內容。
2.3 有損壓縮與細節流失
從資訊理論的角度看，模型是對訓練資料的一種有損壓縮。數千億參數聽起來龐大，但相對於整個人類文本的規模，仍是極度精簡的摘要。模型必須遺忘大部分細節，只保留它認為有助於預測下一詞的規律。這種壓縮對於語言風格、常識推理、一般性問答通常足夠，但對於精確事實——尤其是數字、日期、人名、引用——則力有未逮。
這解釋了一個常見現象：模型能正確描述某個歷史事件的大意，卻在關鍵年份上出錯；能總結一篇論文的主题，卻虛構出作者的姓名。細節在壓縮過程中被平滑掉了，而生成過程又會用語言慣性把平滑後的缺口補上。換句話說，幻覺往往不是因為模型「記錯了」，而是因為模型「根本沒記住那個細節，卻仍被要求回答」。這就像是讀了一本被大幅改寫的摘要版百科，然後被要求背出原始條目的註腳。
三、模型「不知道卻假裝知道」：校準與不確定性的缺失
如果模型能準確表達「我不確定」，幻覺的危害將大幅降低。使用者可以根據不確定程度決定是否採信，或進一步查證。然而，當前的大型語言模型普遍存在「校準不良」（miscalibration）的問題：它們輸出的信心程度，與實際正確率之間缺乏穩定對應。模型可能對錯誤答案給出堅定語氣，也可能對正確答案使用模糊措辭。這種錯配，是幻覺之所以危險的關鍵放大器。
3.1 過度自信的語言模型
校準問題的根源，部分來自訓練目標與人類回饋機制。模型在預訓練階段學習的是語言分布的形狀，而不是「自己答對的機率」。在微調與人類回饋（RLHF）階段，標註者通常偏好「有幫助、完整、果斷」的回答，而非「充滿免責聲明、不斷說不確定」的回應。這種偏好被模型吸收後，便形成一種系統性偏誤：使用肯定句、少用保留語、直接給結論的回答，更容易獲得高分。
此外，模型在生成時並沒有內建「知識邊界探測器」。它無法可靠地區分「我學過這個」與「我根據模式推測這個」。對人類而言，回憶與想像涉及不同的認知歷程；對模型而言，兩者都是同一套參數的前向計算。當輸入落在訓練分布之內，輸出可能正確；當輸入落在分布之外，輸出可能錯誤，但計算過程並無本質差異。模型沒有「不確定」這個內部狀態可供讀取，它只能生成「不確定」這幾個字，而是否生成，取決於語言脈絡，而非真實的知識狀態。
研究顯示，模型在面對罕見實體、精確數值、多跳推理與時間敏感問題時，幻覺率顯著上升。這些情境的共同特徵是：正確答案需要外部事實支撐，而語言模式本身不足以決定答案。當模型被問到「某位冷門學者的博士論文題目是什麼」，語言模式只能提供「博士論文通常是關於某個專業主題」這種結構性線索，無法提供具體題目。於是模型便用一個聽起來合理的題目填空，並以肯定語氣輸出。
3.2 幻覺的典型觸發情境
實務上，有幾類提問特別容易誘發幻覺，值得使用者在日常工作中警惕：
值得注意的是，這些情境並不是模型「故意」說謊，而是它的生成機制在這些條件下更容易偏離事實。理解觸發條件，可以幫助使用者在提問時主動降低風險，例如要求模型標註不確定性、提供來源、或將問題拆解為可驗證的小步驟。
四、檢索、工具與人類回饋：我們能怎麼減少幻覺？
既然幻覺根植於模型的統計本質，是否意味著我們只能被動接受？並非如此。過去幾年，學界與產業界發展出多種緩解策略，從訓練階段、推論階段到使用者介面，形成多層防線。這些方法無法完全消除幻覺，但能顯著降低其發生率與危害。理解它們的原理與限制，有助於我們在實務中做出合理期待。
4.1 檢索增強生成與外部知識
檢索增強生成（Retrieval-Augmented Generation, RAG）是目前最廣泛採用的緩解方案之一。其基本思路是：不要求模型僅憑參數回答，而是先從外部知識庫檢索相關文件，再讓模型根據檢索結果生成答案。這樣一來，事實性資訊由外部來源提供，模型負責理解、整合與表述，幻覺的空間便縮小了。
然而，RAG 並非萬靈丹。首先，檢索品質決定成敗：如果檢索不到相關文件，模型仍可能回到參數記憶中編造。其次，模型可能誤讀或誤用檢索內容，例如把不同文件的資訊拼接成錯誤結論，或忽略文件中的限定條件。第三，檢索到的文件本身可能過時或有誤。換句話說，RAG 把部分事實責任轉移給外部知識庫，但沒有消除模型在「理解與整合」階段的出錯可能。實務上，好的 RAG 系統需要搭配來源引用、段落錨定與衝突偵測，才能有效降低幻覺。
與 RAG 相輔相成的是工具呼叫（tool use）。當問題涉及計算、即時資料、程式執行或資料庫查詢時，讓模型呼叫外部工具，而不是憑記憶回答，可以大幅降低數值幻覺與時效性幻覺。例如，要求模型計算複雜算式時，讓它生成程式碼並執行，比直接輸出答案可靠得多。工具呼叫的核心精神是：把「需要精確答案」的任務，交給擅長精確計算的系統，模型只負責理解意圖與組織結果。
4.2 不確定性表達與驗證機制
除了外部知識，訓練模型「誠實表達不確定」也是重要方向。研究人員嘗試透過獎勵機制，鼓勵模型在缺乏把握時說「我不確定」或「建議查證」，而不是強行給出答案。這種做法在概念上簡單，實作上卻有難度：過度保守會讓模型變得處處免責、降低可用性；過度自信則回到原點。如何在「有用」與「誠實」之間取得平衡，仍是活躍的研究課題。
在推論階段，有幾種常見的驗證技巧。其一是「自我一致性」（self-consistency）：讓模型對同一問題生成多條推理路徑，若結論不一致，則提示可能存在不確定性。其二是「思維鏈」（chain-of-thought）與「先推理後回答」：要求模型顯式列出推理步驟，讓錯誤環節更容易被發現。其三是「引用要求」：要求模型為每個事實陳述標註來源，若無法標註，則應降低語氣強度。這些技巧不能保證正確，但能提高錯誤被察覺的機率。
對使用者而言，最實用的驗證機制其實是「分解與交叉檢查」。把複雜問題拆成多個可獨立驗證的子問題，逐一確認每個環節，比直接接受一個完整答案可靠。對於關鍵決策，則應養成「要求來源、手動查證、比對多個模型」的習慣。這些做法聽起來繁瑣，但考慮到幻覺的隱蔽性，它們往往是區分「可用」與「危險」的關鍵。
4.3 使用者的提問方式也很關鍵
幻覺不是模型單方面的問題，提問方式也會顯著影響結果。以下幾個實務建議，可以幫助使用者降低幻覺風險：
這些建議的核心精神，是把 AI 視為「需要監督的協作者」，而非「全知的 oracle」。模型擅長語言組織、模式整理、初稿生成；人類擅長事實查核、價值判斷、責任承擔。兩者分工，才能讓 AI 的生產力優勢真正落地，而不至於被幻覺反噬。
五、結語：幻覺是語言模型的結構性副產品
回顧全文，AI 幻覺的來源可以歸結為幾個相互交織的因素：自迴歸模型以機率最大化為目標，而非以事實正確為目標；訓練資料存在覆蓋不全、品質不一、時效有限的結構性缺陷；有損壓縮導致精確細節流失；解碼策略與人類回饋機制鼓勵流暢與果斷，卻未必鼓勵誠實；模型缺乏可靠的內在不确定性訊號，無法準確區分「記得」與「推測」。這些因素共同構成了幻覺的溫床，也解釋了為什麼單一緩解手段——無論是 RAG、工具呼叫還是人類回饋——都只能降低發生率，而難以徹底根除。
與其期待一個「零幻覺」的模型，不如建立一套與幻覺共存的實務規範：對關鍵事實要求來源、對精確數值進行查證、對高風險領域保留人工審核、對模型的自信語氣保持適度懷疑。同時，我們也應理解，幻覺並非單純的缺陷，而是語言模型「創造性生成」能力的陰暗面。同一個機制讓模型能夠摘要、改寫、類比、發想，也讓它在知識邊界外填補空白。與其把幻覺視為必須消滅的 bug，不如把它視為一種需要被管理的風險——就像我們不會因為交通事故而廢除汽車，而是透過交通規則、安全帶與駕駛訓練來降低風險。
對於個人使用者，這意味著培養「AI 素養」：知道模型擅長什麼、不擅長什麼、在什麼情境下容易出錯、如何設計提問與驗證流程。對於組織而言，這意味著建立使用規範、導入檢索與工具、設計人工覆核環節，並在文化上鼓勵「查證」而非「盲信」。當我們越理解幻覺的來源，就越能讓 AI 在可控的範圍內發揮價值。畢竟，真正的智慧不在於永遠答對，而在於知道自己何時可能答錯，並願意被檢驗。
AI 幻覺不會消失，但可以被理解、被預期、被管理。這篇文章的目的，不是要說服你遠離 AI，而是希望你在使用它時，多一份清醒，少一份盲從。當你下一次看到模型給出一個完美得令人起疑的答案時，不妨問自己：這是它真的知道，還是它只是很會接話？