AI 的 A/B 測試：為什麼兩個版本要比較
「兩個版本要比較」聽起來像廢話，但在實務現場，跳過比較直接上線的案例比比皆是。以下五個理由，說明為什麼 AI 產品特別不能省略這一步。
理由一：模型輸出具有不確定性，直覺判斷不可靠
AI 系統的輸出不是固定函數，而是機率分布。同一個問題，模型可能今天回答得鉅細靡遺，明天卻簡短帶過；溫度參數稍微調整，語氣就從嚴謹變成活潑。這意味著工程師在本地測試時看到的幾十個案例，很可能無法代表線上數萬名使用者遇到的狀況。更危險的是確認偏誤：當團隊成員已經投入心力改寫提示詞，自然會特別注意新版本表現好的例子，忽略表現差的案例。
A/B 測試用隨機分流與事先定義的指標，對抗這種選擇性注意。它不保證你不會犯錯，但它會讓錯誤以數字的形式暴露出來，而不是藏在幾句「我覺得還不錯」裡。
理由二：提示詞工程需要實證，而不是文字美感競賽
提示詞（prompt）是 AI 產品中最常被修改、也最容易被低估的元件。團隊經常花好幾個小時討論「你是一位專業的客服助理」還是「你是負責回答問題的客服專員」比較好，卻沒有設計實驗去驗證哪一種寫法真的提升了解決率。問題在於，提示詞的效果高度依賴模型版本、任務類型與使用者輸入分布，網路上流傳的「萬用提示詞」未必適用於你的場景。
把提示詞當成產品變數來管理，是比較健康的做法。每一次修改都應該有假設、有評估指標、有對照組。哪怕只是一個系統指令的調整，只要它會影響使用者體驗，就值得用小型實驗來確認。這樣做的好處不只是找到更好的提示詞，更是累積團隊對模型行為的知識。
理由三：避免「感覺變好」的假象與決策偏誤
人類對 AI 的評價很容易受到表面因素影響。回答變長，會被認為更詳細；語氣變禮貌，會被認為更專業；排版變漂亮，會被認為更可靠。這些偏誤在產品會議裡尤其明顯，因為展示者通常會挑選最精采的案例。如果沒有對照組，與會者很難判斷「這個版本」到底是普遍變好，還是剛好舉了一個好例子。
A/B 測試提供的是一套共同語言：兩組在使用者層級指標上的差異、信賴區間、是否達到統計顯著。它讓討論從「我覺得」轉向「資料顯示」，也讓反對意見有具體的切入點，例如質疑指標選擇、質疑樣本代表性、質疑實驗期間的外部事件。這些質疑是健康的，因為它們會讓下一次實驗設計得更好。
理由四：商業指標才是最終裁判
離線評分再漂亮，也不等於商業價值。一個在基準測試集上準確率提升 5% 的模型，可能因為延遲增加 300 毫秒而導致使用者中途放棄；一個回答更完整的客服機器人，可能因為回覆太長而讓使用者懶得讀完，反而增加轉接人工的比率。這些現象只有在真實使用者環境中才會出現。
因此，AI 的 A/B 測試必須把商業指標納入設計，例如任務完成率、人工轉接率、使用者滿意度、留存率、每次互動成本、平均處理時間等。技術指標與商業指標之間不一定同向，而產品決策通常應該以商業指標為優先，再用技術指標來解釋原因。這種「雙層指標」的設計，是 AI 實驗有別於傳統前端實驗的重要特徵。
理由五：風險控制與回滾機制
AI 功能一旦出錯，影響往往比按鈕顏色實驗嚴重得多。模型可能產生幻覺、洩漏敏感資訊、給出有害建議，或在特定族群上表現歧異。A/B 測試的一項附帶好處，是它天然提供了「小範圍曝光」的機制：新版本只先讓一小部分使用者接觸，同時監控錯誤率、安全事件與客訴量。一旦出現異常，可以迅速把實驗流量調回對照組，把損害控制在一定範圍內。
這種「先實驗、再全量」的節奏，也是許多 AI 產品團隊建立信任的方式。對高風險場景（醫療、金融、法律諮詢），甚至應該設計多階段放量，例如先 1%、再 5%、再 20%，每一階段都確認關鍵指標沒有惡化。這不是官僚，而是對使用者負責。
三、AI A/B 測試的常見類型與實作場景
AI 產品的實驗對象非常多元，以下整理四種最常見的類型，並說明各自的設計重點。
類型一：提示詞版本比較
這是最容易入門、也最常被使用的實驗。做法是把使用者隨機分成兩組，A 組使用現行系統提示詞，B 組使用新版提示詞，其餘模型、參數、檢索流程保持不變。評估指標可以包括任務完成率、回答被採納率、使用者按讚率、平均對話輪數、轉接人工率等。
設計時要注意「提示詞以外的變數」是否真的固定。例如新版提示詞可能讓回答變長，而回答變長又會影響延遲與成本，這時候就要在分析時把延遲與成本一起看，而不是只看滿意度。另外，提示詞實驗的效應往往不大，需要足夠樣本才能偵測到差異；如果團隊資源有限，可以先做離線配對評估，再用小型線上實驗確認方向。
類型二：模型版本與參數比較
當供應商推出新模型，或團隊自行微調出一個新版本，就需要比較新舊模型在真實場景的表現。這類實驗的挑戰在於「模型」是一個整體，包含能力、延遲、價格、安全政策等面向，很難只用一個指標判斷優劣。實務上可以設定主要指標（例如任務完成率）與護欄指標（例如延遲不得增加超過 15%、成本不得上升超過 20%），只有在護欄沒有被突破的前提下，才考慮採用新模型。
參數比較也類似。溫度、top-p、最大輸出長度、系統指令長度等，都會影響輸出品質與成本。這類實驗適合用較小的流量快速迭代，但要注意不要同時改動太多參數，否則即使結果變好，也無法歸因。
類型三：RAG 檢索策略比較
檢索增強生成（RAG）系統的品質，很大程度取決於檢索階段。常見的實驗包括：不同嵌入模型、不同切塊大小、是否加入關鍵字檢索、是否使用重排序模型、檢索文件數量從 3 篇改成 8 篇等。這類實驗的評估比較困難，因為使用者看到的是最終答案，而不是檢索結果。
一種做法是同時收集「離線檢索指標」與「線上使用者指標」。離線指標包括召回率、平均倒數排名、答案是否引用正確來源；線上指標則包括答案正確率（可透過抽樣人工標註）、使用者追問率、按讚率。兩者一起看，才能判斷問題出在檢索還是生成。例如線上追問率上升，但離線召回率也上升，可能代表檢索到太多文件，反而讓模型分心。
類型四：使用者介面與互動流程比較
AI 功能的好壞，不只在模型本身，也在互動設計。同樣的模型，放在「一問一答」的對話框裡，與放在「先選意圖再回答」的流程裡，使用者體驗可能天差地遠。常見的實驗包括：是否顯示引用來源、是否提供「重新生成」按鈕、是否在回答前顯示思考步驟、是否把長回答折叠、是否提供範例問題。
這類實驗比較接近傳統 A/B 測試，但要注意 AI 的延遲特性。如果新介面讓使用者更願意追問，總請求數可能上升，進而拉高平均延遲與成本。因此，除了點擊率與滿意度，也要監控系統層級指標，避免局部優化造成整體惡化。
四、如何設計一場有效的 AI A/B 測試
知道「為什麼要比較」之後，下一個問題是「怎麼比較才有說服力」。以下五個步驟，構成一個可操作的實驗流程。
步驟一：定義單一且可量化的目標
一場實驗最好只回答一個主要問題。如果目標是「讓客服機器人更好」，這個目標太模糊，無法驗證。比較好的寫法是：「新版提示詞能否把一週內的人工轉接率從 22% 降到 18% 以下？」這樣的假設有方向、有幅度、有時間範圍，也方便計算樣本量。
當然，現實中通常還是有次要指標，例如使用者滿意度、平均回應時間。這些次要指標應該事先列出，但不要拿來當作「主要指標不顯著時的另一個說法」。如果主要指標沒有達到預期，誠實地報告，比事後挑選有利指標更能建立團隊信任。
步驟二：決定評估指標（離線與線上）
AI 實驗的指標通常分兩層。離線層包括自動化評分（例如用更強的模型當評審、語意相似度、關鍵字命中率）與人工標註（正確性、有用性、安全性）。線上層則包括行為指標（點擊、採納、追問、放棄）與商業指標（轉換、留存、成本）。
建議在實驗前就建立「指標樹」：北極星指標是什麼？驅動它的次級指標是什麼？護欄指標有哪些？例如北極星是任務完成率，次級指標是首次回答正確率與追問次數，護欄指標是延遲、成本與安全事件率。這樣在解讀結果時，才不會見樹不見林。
步驟三：樣本分流與隨機化
分流單位（ randomization unit）的選擇很重要。以使用者為單位分流，可以避免同一個人在兩組之間跳來跳去，適合長期體驗類的實驗；以對話或請求為單位分流，樣本量累積快，但可能出現「同一個使用者體驗到兩種版本」的干擾。若產品具有強烈的使用者層級網路效應（例如多人協作），還需要考慮群集隨機化。
隨機化本身也要檢查。常見的錯誤包括：分流邏輯有偏差（例如按使用者 ID 尾數分流，但 ID 與註冊時間相關）、實驗期間先後曝光不均（新版本先上線的時間剛好是流量低谷）、或快取導致部分使用者實際看到舊版本。這些問題會讓兩組在實驗前就不可比，後續統計再精緻也沒有意義。
步驟四：統計檢定與樣本量估算
樣本量取決於三個因素：基準指標數值、最小可偵測效應、顯著水準與檢定力。假設基準轉換率是 20%，你希望偵測到 2 個百分點的提升，在顯著水準 5%、檢定力 80% 的條件下，每組可能需要數千到上萬個樣本。如果流量不足，與其硬跑一個檢定力不夠的實驗，不如考慮更靈敏的設計，例如配對分析、CUPED 變異數縮減、或改用序貫檢定。
另外，AI 實驗常遇到「指標變異很大」的問題，因為少數極端案例會拉動平均值。這時候可以考慮使用穩健統計量、對數轉換、或把極端值單獨分析。重點是分析方法要在實驗前決定，而不是看到資料分布後才臨時更改。
步驟五：解讀結果與避免常見陷阱
實驗結束後，除了看 p 值，更要看效應大小與信賴區間，並檢查是否有異質性效應：新版本是否對某類使用者特別有效、對另一類使用者特別無效？如果是，與其全量上線，不如考慮分群投放或個人化策略。
常見陷阱包括：多重比較未校正（同時測十個指標，總有一個顯著）、提前停止（看到顯著就收工）、忽略新奇效應（使用者剛看到新功能會多用幾次，不代表長期有效）、以及把相關當因果。這些陷阱不會因為加了「AI」兩個字就消失，反而因為 AI 系統的複雜性而更容易發生。
五、AI A/B 測試的挑戰與限制
A/B 測試不是萬靈丹。在 AI 場景中，它有一些結構性的限制，團隊必須理解，才不會過度依賴單一實驗結果。
挑戰一：評估成本與延遲
AI 實驗的每一次曝光都伴隨推論成本。如果實驗組需要呼叫更貴的模型，或觸發多次檢索與重排序，實驗期間的帳單可能相當可觀。此外，某些指標（例如答案正確率）需要人工標註，標註成本高、週期長，使得大規模實驗難以頻繁進行。
實務上的折衷是「離線先篩、線上後驗」：先用固定測試集與自動評分排除明顯較差的版本，只把少數候選版本送進線上實驗。自動評分雖然不完全可靠，但對於排序候選版本已經足夠有用。
挑戰二：使用者體驗的干擾與倫理問題
把使用者隨機分到較差的版本，倫理上是否可接受？對低風險場景（例如文案語氣），這通常不是問題；但對高風險場景（例如醫療建議），就不應該用隨機實驗來「測試」可能有害的版本。這時候應該採用離線評估、專家審查、或 shadow mode（影子模式，讓新版本在背景運行但不影響使用者），先確認安全性，再進行小規模線上實驗。
此外，AI 實驗也可能涉及隱私與資料使用問題。實驗期間收集的對話資料、標註結果，都應該符合組織的資料治理規範，並向使用者清楚說明。
挑戰三：非平穩性與模型漂移
AI 系統所處的環境會變。使用者行為會變、競爭對手的產品會變、模型供應商會更新底層模型、甚至季節性因素都會影響指標。這意味著一場實驗的結果，可能無法直接外推到三個月後。團隊應該把 A/B 測試視為持續性的流程，而不是一次性的專案；同時建立監控機制，定期檢查已上線版本的表現是否偏離實驗時的預期。
還有一個更微妙的問題：AI 模型本身可能因為使用者的回饋而改變。例如推薦系統會根據點擊行為調整排序，而排序又會影響未來的點擊資料。這種回饋循環會讓實驗組與對照組逐漸失去可比性，需要在設計時特別注意。
六、實務建議與工具生態
如果你正在雅寶社區 · 頂客論壇的專案裡推動 AI 實驗，以下是一些可立即採用的建議。
建立最小可行的實驗流程
不需要一開始就導入昂貴的實驗平台。可以從一個簡單的分流服務、一份實驗登記表、一套固定的指標計算腳本開始。重點是養成三個習慣：實驗前寫下假設與主要指標、實驗中不偷看結果做決策、實驗後留下書面結論與後續行動。這三個習慣帶來的效益，往往比工具本身更大。
當實驗數量增加後，再逐步導入實驗平台，處理分流、互斥、分層、序貫檢定與自動化報告。工具是用來降低人為錯誤的，不是用來取代實驗設計的思考。
培養實驗文化與跨團隊協作
AI 實驗很少是單一團隊能完成的。產品經理定義目標與商業指標，資料科學家設計實驗與分析，工程師實作分流與監控，領域專家協助定義品質標準，法務與資安協助評估風險。跨團隊協作的關鍵，是讓大家對「什麼算成功」有共同定義，並且願意接受「實驗結果不如預期」也是一種有價值的結果。
在論壇或內部社群分享實驗案例，也是很好的做法。成功的案例可以複製方法，失敗的案例可以避免重蹈覆轍。久而久之，團隊會從「憑感覺改版」轉向「用資料迭代」，這正是 AI 產品能否持續進步的分水嶺。
結語：比較，是對使用者與團隊的雙重負責
回到最初的問題：為什麼兩個版本要比較？因為 AI 系統的複雜度遠超過人類直覺能掌握的範圍。當你改了一個提示詞、換了一個模型、調整了一個參數，影響可能出現在你意想不到的地方。A/B 測試不是為了證明誰對誰錯，而是為了在不確定的環境中，建立一套可重複、可檢驗的決策流程。
它讓團隊在推出新版本之前，先確認它真的比較好；在推出之後，仍持續監控是否如預期。它讓使用者不必成為實驗的白老鼠，也讓產品決策有憑有據。對 AI 產品而言，版本比較不是額外的負擔，而是專業的表現。
下次當你在雅寶社區 · 頂客論壇看到有人問「這個 AI 改版到底有沒有比較好」，你可以回答：先別急著感覺，設計一場實驗吧。因為在 AI 的世界裡，兩個版本要比較，從來不是因為不信任直覺，而是因為我們值得更可靠的答案。