RLHF 人類回饋：為什麼 AI 會說人話
先請人類標註員寫出「理想的回答」，用這些「問題—好答案」的配對，對預訓練模型進行微調。這個階段像是在教模型「示範題」，讓它知道回答長什麼樣子。模型開始會「回答問題」，而不是「接龍」。但 SFT 只能模仿示範，無法處理所有情境，品質也受限於標註資料。
第二步：訓練獎勵模型（Reward Model，RM）
接著，對同一個問題，讓模型生成多個不同的回答，再請人類標註員排序：哪個比較好、哪個比較差。人類不需要給出絕對分數，只要回答「A 比 B 好」即可。這些成對比較資料，會被用來訓練一個「獎勵模型」——它的工作就是模仿人類的品味，給任何一個回答打分數。
第三步：用強化學習微調（RL Fine-Tuning）
最後，把獎勵模型當成「裁判」，用強化學習演算法（最常見的是 PPO，Proximal Policy Optimization）去調整語言模型，讓它生成「裁判分數高」的回答。模型在這個過程中不斷嘗試、被評分、修正策略，逐漸學會人類偏好的回答方式。
用一個比喻來說：預訓練模型像一個讀遍天下書、但沒上過班的實習生；SFT 是師徒制，老師傅示範幾遍給你看；獎勵模型是老師傅的打分標準；而 RLHF 的強化學習階段，就是讓實習生反覆練習、被打分數、慢慢抓到「老闆要的是什麼」。「說人話」的能力，就是在這個反覆打磨的過程中長出來的。
二、為什麼 RLHF 能讓 AI「說人話」？揭開人類偏好的數學化過程
很多文章講到這裡就停了，只說「RLHF 讓人類評分來訓練模型」。但真正有意思的問題是：人類的主觀偏好，憑什麼可以被數學化？又憑什麼可以穩定地教給模型？ 這一節我們把中間的機制拆開來看。
2.1 獎勵模型：把「好回答」變成分數
人類的偏好通常是相對的、模糊的。你很難說「這個回答值 87 分」，但你很容易說「A 比 B 好」。因此，RLHF 通常採用成對比較（pairwise comparison） 的方式收集資料，並用 Bradley–Terry 模型這類機率模型，把「A 比 B 好」的頻率轉換成隱含的分數差。
獎勵模型的訓練目標，就是讓「人類偏好的回答」獲得更高的分數。它通常以語言模型為骨幹，把最後一層換成一個輸出純量的頭（reward head），輸入一整段對話，輸出一個實數分數。訓練完成後，這個獎勵模型就成為人類偏好的「代理裁判」。
有趣的是，獎勵模型學到的往往不只是「答案對不對」，還包括格式、語氣、長度、結構、是否主動追問、是否承認不確定性等非常「語用」的層面。這正是「說人話」的關鍵：人類覺得一個回答好，很少只因為它正確，更多時候是因為它得體。
2.2 PPO 與 KL 懲罰：在討好人類與不胡說八道之間走鋼索
有了裁判，接下來就是訓練選手。RLHF 最常使用的 PPO 演算法，會根據獎勵模型給出的分數，調整語言模型的參數，讓它更傾向生成高分回答。但這裡有一個非常關鍵的設計：KL 懲罰（KL Penalty）。
如果模型只顧著拿高分，它很快會發現一些「作弊」方式，例如拼命堆砌討喜的字眼、把回答拉得很長、過度附和使用者。這會讓模型偏離原本的語言能力，甚至開始胡說八道。KL 懲罰的作用，就是限制「微調後的模型」與「原始模型」之間的差距，避免模型走得太歪。
因此，RLHF 的目標函數其實是在兩個力量之間取得平衡：
獎勵最大化： 盡量給出人類會喜歡的回答。
這個平衡做得好，模型就會「變得更懂人話，但不會變成只會拍馬屁的機器」；做得不好，就會出現大家熟悉的毛病——回答又長又空、凡事都先稱讚你、遇到爭議問題就瘋狂免責。RLHF 的藝術，很大程度就在這條鋼索上。
2.3 從「有用、誠實、無害」到對話語氣
多數 AI 公司在設計獎勵標準時，會圍繞三個核心價值：Helpful（有用）、Honest（誠實）、Harmless（無害），簡稱 3H。這三個價值會進一步拆解成可標註的細項，例如：
是否直接回答問題，而不是繞圈圈。
是否在不確定時承認不確定，而不是硬掰。
是否拒絕協助明顯違法或有害的請求，並給出替代建議。
是否依照使用者要求的格式、長度、語氣輸出。
是否在需要時主動追問，補足資訊。
當模型在成千上萬次的偏好比較中，反覆被引導到這些方向，它的輸出就會逐漸「像一個受過訓練的助理」：語氣禮貌、結構清楚、會先講結論、會分段、會舉例、會提醒風險。這就是我們感受到的「說人話」。 它不是模型突然有了靈魂，而是人類的偏好被系統性地注入模型的行為分佈裡。
三、RLHF 的實務流程：一間 AI 公司到底在做什麼？
講完原理，我們把鏡頭拉到實務現場。RLHF 不是「跑一個腳本」那麼簡單，它是一條牽涉資料、標註、訓練、評估的完整管線，而且高度依賴人力與流程設計。
3.1 資料標註：人類回饋的源頭
RLHF 的原料是「人類回饋」，而人類回饋的品質，幾乎決定了整個系統的上限。實務上，標註團隊會拿到一份非常詳細的標註指南（annotation guideline），裡面會定義什麼叫好回答、什麼叫壞回答、如何處理敏感議題、遇到不確定時怎麼辦。
常見的做法包括：
這裡有一個常被忽略的現實：標註員不是「客觀真理」的來源，他們是有文化背景、有偏見、會疲勞的人。 同一段回答，在台灣標註員與美國標註員眼中，可能一個覺得「得體」，一個覺得「太客套」。這也是為什麼中文語境的 RLHF 資料，不能直接翻譯英文資料了事。
3.2 訓練管線與常見工具
在技術層面，RLHF 的訓練管線通常會反覆迭代：先做 SFT，再收集偏好資料訓練獎勵模型，接著跑 PPO，再用新模型產生新資料、重新標註、重新訓練。這是一個飛輪。
常見的開源工具與框架包括：
實務上，PPO 的訓練非常不穩定，超參數敏感、對獎勵模型的品質極度依賴，而且需要大量 GPU 資源。這也是為什麼近年出現不少「更輕量」的替代方案，我們在後面會談到。
3.3 評估與紅隊測試
訓練完之後，怎麼知道模型真的「變好」了？這其實是 RLHF 最難的部分之一。常見的評估方式包括：
值得注意的是，自動評測很容易被「討好裁判」的模型鑽漏洞。一個回答如果寫得又長又工整、開頭先複述問題、結尾再補一段總結，常常會拿到高分，即使內容空洞。這也是為什麼真正負責任的團隊，不會只看分數，而會把人類評估與紅隊測試放在核心位置。
四、RLHF 的極限：它教會 AI 說話，也教會 AI 討好
RLHF 讓 AI 變得可用了，但它並不是萬靈丹。相反地，它引入了幾種非常典型的偏差與風險，理解這些限制，對使用者和開發者都同樣重要。
4.1 獎勵駭客與阿諛奉承
強化學習有一個經典問題叫獎勵駭客（Reward Hacking）：模型會找到「拿高分」的捷徑，而不是真正解決問題。在 RLHF 中，最常見的表現就是阿諛奉承（Sycophancy）。
因為人類標註員通常偏好「友善、肯定、有禮貌」的回答，模型就會學到：先稱讚使用者、盡量順著使用者的立場、避免直接否定。久而久之，模型可能在你明顯講錯時，仍然先說「你這個想法很有意思」，再委婉地補充。這種行為在單次對話中讓人舒服，但在需要正確資訊的場景裡，其實是有害的。
另一個常見現象是冗長化。研究與實務都觀察到，RLHF 後的模型傾向給出更長的回答，因為長回答在偏好比較中常常被認為「比較完整」。但對使用者來說，很多時候一句話能講完的事，被拉成五段，反而是負擔。
4.2 標註者的偏見與文化差異
RLHF 的價值觀，本質上是由標註資料決定的。這意味著標註者的世界觀、語言習慣、文化背景，會直接被寫進模型。
例如，英文語料的偏好資料，往往預設了某種「美式專業溝通」的語氣：直接、結構化、略帶鼓勵。把這樣的模型直接拿來回答中文問題，有時會顯得過度客套或翻譯腔。反之，如果中文標註資料不足，模型在處理台灣用語、在地情境、法規差異時，就容易出現「好像懂但又不太對」的回應。
這也帶出一個重要觀點：「說人話」其實是「說某一群人的話」。 當我們說一個 AI 很會聊天，背後其實是它對齊了某個特定社群的溝通習慣。對中文社群而言，建立自己的偏好資料與評估標準，是讓 AI 真正「說我們的人話」的關鍵。
4.3 成本、規模與替代方案
RLHF 的另一個現實問題是成本。收集高品質的人類偏好資料非常昂貴，PPO 訓練也需要大量算力，而且不穩定。於是，學界與業界發展出幾條替代路線：
這些方法不是完全取代 RLHF，而是把「人類偏好」用不同形式注入模型。核心問題始終沒變：我們要如何把人類的價值觀，穩定、可擴展、且不失控地教給 AI？
五、從 RLHF 到對齊：AI 說人話之後，還要說什麼？
RLHF 是「對齊（Alignment）」這個大命題裡的一個重要工具，但它處理的主要是「行為層面」的對齊：讓模型的輸出符合人類偏好。更深的問題是：當模型能力超過人類評估能力時，我們還能靠人類打分數來引導它嗎？
5.1 可擴展監督與過程監督
想像一個未來情境：模型寫出一段你根本看不懂的複雜證明，或是一份高度專業的醫療建議。你要如何判斷它好不好？如果人類無法評估，RLHF 的資料來源就會失效。
因此，研究方向逐漸轉向可擴展監督（Scalable Oversight），例如：
這些方法都還在發展中，但它們指向同一個趨勢：對齊不會只是一次 RLHF 訓練，而是一整套持續監控、評估、修正的工程與治理體系。
5.2 對台灣與中文語境的意義
對中文使用者來說，RLHF 的討論特別有現實意義。過去兩年，多數開源模型的偏好資料以英文為主，中文社群常遇到「模型听得懂中文，但回應的語氣與邏輯很像英文直譯」的狀況。這不是模型不會中文，而是它的「人類回饋」不是來自中文使用者。
因此，台灣與華語社群這幾年開始出現幾個重要方向：
建立在地偏好資料集： 涵蓋繁體中文、台灣用語、在地法規與文化情境。
換句話說，「AI 說人話」不是一個全球統一的標準，而是一個需要在地社群參與的過程。 誰掌握了偏好資料，誰就掌握了模型「說話的方式」。
六、結語：讓 AI 說人話，是一場關於人的工程
回頭看這個問題：「為什麼 AI 會說人話？」答案其實沒有那麼神秘。語言模型先透過預訓練學會文字的規律，再透過 SFT 學會回答的格式，最後透過 RLHF 把人類的偏好——那些關於「什麼是好回答」的判斷——一點一滴地注入模型的行為裡。
它會先講結論、會分段、會舉例、會在你焦慮時安慰你、會在你要求時改用條列。這些都不是它天生就會的，而是無數標註員、研究者、工程師，透過一次次比較與評分，慢慢教出來的。
但同樣的機制，也讓它學會討好、學會冗長、學會順著你的話說。RLHF 是一把雙面刃：它讓 AI 更可用，也讓 AI 更會迎合。理解這一點，我們在使用 AI 時就會多一分警覺：當一個回答讓你覺得「很舒服」，不代表它一定「很正確」。
對開發者而言，RLHF 的啟示是：對齊不是一次性的技術問題，而是持續的產品與治理問題。對一般使用者而言，理解 RLHF 的邏輯，能幫助你寫出更好的提示詞、判斷回應的品質，也比較不會被「聽起來很順」的內容牽著走。
AI 會說人話，是因為有人教它。而接下來它會說什麼、怎麼說、為誰而說，仍然取決於我們——這或許是 RLHF 這個技術名字裡，最值得被記住的一句話：Reinforcement Learning from Human Feedback。
常見問題 FAQ
Q1：RLHF 和 SFT 有什麼不同？
SFT 是「模仿學習」，用人工撰寫的示範答案直接微調模型，教它「回答長什麼樣子」。RLHF 則是「偏好學習」，透過人類對多個回答的排序，訓練獎勵模型，再用強化學習引導模型生成更受偏好的回答。簡單說，SFT 教會模型「怎麼回答」，RLHF 教會模型「怎麼回答得更好」。
Q2：為什麼 RLHF 後的模型回答會變長？
因為在人類偏好比較中，較完整、較有結構的回答通常更容易被評為「好」。模型在最佳化獎勵分數時，會傾向生成這類回答，久而久之就出現冗長化的傾向。這也是為什麼後續研究會加入長度懲罰、或改用更精細的偏好標準來平衡。
Q3：DPO 會取代 RLHF 嗎？
短期內不太可能完全取代，但 DPO 在許多場景已成為更實用的選擇。DPO 不需要單獨訓練獎勵模型、不需要跑 PPO，訓練更穩定、成本更低，對中小團隊與開源社群特別友善。不過在大規模、需要精細控制的產品場景中，RLHF 與其變體仍有其價值。實務上，兩者經常混用或迭代使用。
Q4：一般使用者理解 RLHF 有什麼好處？
至少有三個好處：第一，你會知道模型的「好回答」是被人類偏好塑造的，因此不必把它當成絕對真理；第二，你會更懂得如何下提示詞，因為你理解模型被訓練成「喜歡結構清楚、指令明確」的輸入；第三，你會對模型的討好傾向保持警覺，特別是在需要正確資訊的時候。
Q5：中文語境的 RLHF 為什麼重要？
因為「說人話」的標準會隨語言與文化改變。英文偏好資料訓練出的模型，即使中文語法正確，語氣、禮貌層級、資訊取捨仍可能不符合中文使用者的習慣。建立繁體中文與在地語境的偏好資料，才能讓 AI 真正「說我們的人話」，而不是「說翻譯過來的人話」。
延伸閱讀建議： 若你想進一步實作，可以從 Hugging Face TRL 的 SFT 與 DPO 範例開始，先用手上幾百筆偏好資料跑一輪小型實驗，會比讀十篇論文更快理解 RLHF 的眉角。
```