OpenAI 的 o1 模型在 2024 年測試中,數學解題從 13% 跳到 83%
把百分比還原成題數,感受會更直接。
GPT-4o 的 13.4%,乘上 15 題,大約是 2 題。也就是說,當時最強的通用模型,面對 AIME 等級的題目,大概只能穩穩拿下兩題,其餘的十三題會在中途推錯、算錯,或是在答案格式上失手。這個成績其實已經不算太差——多數人類高中生在這份考卷上也是這個水準甚至更低——但距離「真的會解題」還有一大段。
o1 的 83.3%,乘上 15 題,大約是 12.5 題。這代表模型不只答題數大幅提升,更重要的是它能在多數題目上完成「多步驟、無外援、需自我檢查」的完整推理流程。
值得注意的是,OpenAI 公布的 o1-preview 成績是 56.7%,而正式版 o1 是 83.3%。也就是說,在短短幾個月內,同一個技術路線又往上推了近 27 個百分點。這種在單一基準上連續兩段跳躍的現象,在 2021 年之後的大型模型發展史中相當罕見。
模型
AIME 2024 正確率
約略答對題數(滿分 15 題)
GPT-4o
13.4%
約 2 題
o1-preview(2024 年 9 月)
56.7%
約 8.5 題
o1 正式版(2024 年底)
83.3%
約 12.5 題
這裡要先誠實地補一個技術細節:83.3% 這個數字,是在「多次採樣後取共識」的評測設定下得出的,並非單次生成就達標。單次生成的分數會低一些。這點非常重要,因為它意味著成績的一部分來自「讓模型多試幾次再挑答案」,而不完全是「模型一次就想到對的解法」。關於這部分的爭議,我們會在第五節詳細討論。
二、o1 的關鍵改變:把「思考」訓練進模型裡
那麼,o1 到底做了什麼,能在短時間內產生這種跳躍?答案可以濃縮成一句話:它被訓練成「先想再說」,而且「想多久」是可以調整的。
聽起來很簡單,但要把這句話落實到訓練流程裡,牽涉到兩個層次的方法論改變:一個是思維鏈的內化,另一個是測試時運算的規模化。
思維鏈不是新發明,但「內化」它是
「思維鏈提示」(Chain-of-Thought prompting)在 2022 年就已經被提出。做法很直白:你在提示裡加上一句「請一步一步思考」,模型就會在輸出中展開中間推理步驟,正確率也確實會提升。這個技巧在 2022 到 2023 年被廣泛使用,幾乎成了標準配備。
但它有三個天生限制。第一,它依賴使用者「記得」下這個指令;第二,模型展開的推理步驟長度有限,題目一難就不夠用;第三,也是最關鍵的——模型並沒有被訓練成「必須」這樣做。它只是在模仿訓練資料中那些「有解題過程」的文字樣式,而不是真的在執行一套可靠的推理程序。所以它經常會寫出「看起來像推理、實際上是事後合理化」的段落。
o1 的做法,是把這個流程從「提示技巧」變成「訓練目標」。OpenAI 在技術說明中提到的核心方法是:用大規模強化學習,訓練模型自行產生長篇的內部推理鏈,並且針對「最終答案正確」給予獎勵。
這裡的關鍵在於「沒有給它標準解題步驟」。研究團隊不是拿人類的解題過程去監督它,而是讓模型自己去嘗試各種思路,只要最後答案對,就把這條思路的路徑強化。這種做法(類似「以結果為導向的獎勵」)讓模型發展出一些人類不一定會用、但有效的解題策略:它會自己拆解問題、嘗試不同切入角度、發現走錯路之後回頭重來、甚至會在推理過程中主動檢查計算。
你在使用 o1 時看不到這些過程——這些「思考 token」被系統隱藏起來了,只會看到最後的答案。這點在當時引起了不少討論,因為使用者無法檢視模型的中間步驟,也就無法判斷它是真的推理,還是碰巧答對。
測試時運算:把算力從訓練階段搬到推理現場
第二個改變,是整個 AI 產業在 2024 年最重要的觀念轉向之一:測試時運算(test-time compute)。
過去十年,AI 的進步邏輯幾乎是單一的:把模型變大、把訓練資料變多、把訓練算力堆高。這套邏輯被稱為「訓練時擴展」(training-time scaling),也確實帶來了 GPT-3 到 GPT-4 的躍進。但這條路在 2024 年遇到了明顯的瓶頸:資料快用完了、成本高得驚人、而且邊際效益遞減。
o1 開的是一條新路:與其在訓練階段把所有知識壓進模型,不如讓模型在推理階段「多花一點算力去想」。 面對難題時,模型可以生成數千甚至上萬個推理 token,嘗試多條路徑,進行自我驗證,最後才輸出答案。OpenAI 公布的資料顯示,o1 的表現會隨著「思考時間」增加而穩定上升——這是一條過去在通用模型上很少看到的曲線。
這個轉向的意義遠超數學。它意味著「智慧」可以被拆解成兩個維度:一個是「你懂多少」,另一個是「你願意想多久」。前者靠訓練,後者靠推理時的算力配置。而後者是可以按需購買的——難題多花錢多想,簡單題少想一點省成本。
這也是為什麼 o1 系列從一開始就分成兩個版本:o1-preview 主打深度推理,o1-mini 則是體積更小、成本更低、針對數學與程式設計最佳化的版本。這種「同一家族、不同算力配置」的產品線設計,本身就是測試時運算思維的體現。
三、數學之外的成績單,與推理能力帶來的新風險
如果 o1 只是在 AIME 上表現好,那它頂多是個「數學競賽專用模型」。但事實是,同一套推理能力,在其他需要多步驟思考的領域也同步發酵。
程式競賽、博士級問答與科學推理
OpenAI 在發表時同步公布了一組對照數據,橫跨程式設計與科學問答兩個領域:
這三個結果放在一起看,會發現一個共同點:它們都不是「查得到答案」的題型,而是「必須現場推理」的題型。GPQA 的題目設計初衷,就是讓使用者無法靠搜尋引擎找到答案;Codeforces 的題目則要求你在有限時間內設計出正確且有效率的演算法。
換句話說,o1 的進步並不是「背了更多東西」,而是「把已知的東西組織起來解決新問題」的能力變強了。這正是長期以來,業界認為大型語言模型最欠缺的那一塊。
把它和 2024 年 7 月 DeepMind 的 AlphaProof、AlphaGeometry 2 放在一起看,會更清楚整個領域的走向:那套系統在國際數學奧林匹亞(IMO 2024)中拿到 28 分,相當於銀牌水準,但它走的是「形式化證明」路線——必須先把題目翻譯成 Lean 4 這種機器可驗證的語言。o1 走的則是自然語言推理路線,不需要形式化,適用範圍更廣,但可驗證性較低。兩條路線各有取捨,卻同時在 2024 年開花,這不是巧合。
越會推理的模型,安全評估越難做
推理能力提升帶來的第二個連鎖效應,發生在安全領域——而且方向有點反直覺。
一般人的直覺是:模型越聰明,就越能理解規則、越不容易出錯。但實際情況更複雜。當模型有能力進行長鏈推理時,它也可能在推理過程中「繞過」原本應該遵守的限制。OpenAI 在 o1 的系統卡(system card)中特別提到,這類模型在面對越獄攻擊(jailbreak)時展現出更高的穩健性,因為它能夠在內部推理中辨識出「這個請求的意圖有問題」。
但同時,長推理鏈也帶來了新的風險:模型的思考過程不透明。使用者只看到最終輸出,看不到它中間考慮過什麼。這讓「為什麼模型給了這個答案」變得難以追溯。OpenAI 提出的應對方式之一,是把思維鏈本身當成監控對象——讓另一個機制去閱讀模型的推理過程,偵測是否有不當意圖的蛛絲馬跡。這是一個很新的思路:把過去藏在黑箱裡的東西,變成安全監控的第一線。
還有一個更根本的問題:當模型開始具備「規劃」與「多步執行」的能力,它能做的事情就從「回答問題」擴展到「完成任務」。寫一段程式不難,但要自主規劃一整套攻擊流程、或在多個工具之間協同操作,難度是另一個量級。這意味著安全評估的方法論也必須跟著升級——不能只看單次問答的輸出,而要看它在長流程中的行為軌跡。
四、對產業與一般使用者的實際意義
講完了技術,回到現實面:這組數字對實際使用的人來說,到底意味著什麼?
誰會直接受益?教育、科研與軟體工程
第一批感受到差異的,是「需要多步驟思考」的工作場景。
教育領域是最直觀的。過去的 AI 家教有個致命傷:它能給你答案,但常常給不出「為什麼」,或者給出的解題步驟是錯的、跳步的、甚至自我矛盾的。o1 這類模型在數學題上的表現,讓「一步一步帶你解」這件事第一次變得可信。對補教業、線上學習平台、甚至學校的差異化教學來說,這是一個可以直接落地的變化。
科學研究與工程分析是第二個場景。研究人員每天面對的不是「查資料」,而是「在多個假設之間權衡、設計實驗、檢查資料是否合理」。這正是多步推理擅長的事。把它用在文獻比對、資料清理腳本撰寫、實驗流程設計的初稿上,能省下大量時間。
軟體工程則是目前商業價值最明確的一塊。o1 在 Codeforces 上的表現,反映的是它能在腦中「乾跑」程式碼的能力——這對除錯、重構、理解陌生專案特別有用。它能讀懂一段複雜的邏輯,指出哪裡可能出錯,並提出修改方案,而不是只會照著範例填空。
把這些場景放在一起,會得到一個共同結論:受影響最大的,不是「重複性高的工作」,而是「需要連續判斷的工作」。 這和過去幾波 AI 浪潮的衝擊方向不太一樣,值得相關從業者留意。
成本、延遲,以及「過度思考」的副作用
但天下沒有白吃的午餐。o1 的推理能力,是用兩個代價換來的。
第一個代價是延遲。因為模型必須先生成大量隱藏的思考 token,才能輸出答案,回應時間從過去的一兩秒,變成十幾秒甚至更久。對於需要即時互動的應用(客服、語音助理、搜尋建議),這是很難接受的。這也是為什麼 OpenAI 同時推出 o1-mini——它針對數學與程式設計最佳化,思考量較少、速度快、成本低,適合大量重複的推理任務。
第二個代價是成本。思考用的 token 雖然隱藏,但一樣要計費(以輸出 token 計價),而且數量可觀。當時 o1-preview 的定價大約是每百萬輸入 token 15 美元、每百萬輸出 token 60 美元,是 GPT-4o 的好幾倍。對開發者來說,這代表「用哪個模型」變成一個需要精算的商業決策,而不是無腦選最強的。
第三個副作用,是「過度思考」。有些問題根本不需要長推理——「幫我把這段話改得更簡潔」、「這個字怎麼拼」——但模型一樣會啟動推理流程,花掉不必要的時間與費用。實務上,開發者往往需要在前面加一層路由機制:簡單題走小模型,複雜題才丟給大模型。這也讓「模型選擇」本身變成一門工程學問。
比較項目
GPT-4o
o1-preview
o1-mini
回應速度
慢(需長推理)
中等
相對成本
中低
數學與程式推理
一般
強(針對性最佳化)
廣泛知識問答
較弱
五、83% 之後:還沒解決的四個疑問
講到這裡,我們幾乎都在談 o1 有多強。但一個負責任的分析,必須把鏡頭轉向另一邊。83.3% 這個數字,其實還牽著好幾個沒有被完全回答的問題。
基準測試可信嗎?樣本數與污染問題
第一個問題很技術,但非常重要:AIME 一次只有 15 題。
15 題意味著每答對或答錯一題,分數就會劇烈變動約 6.7 個百分點。如果模型在某次評測中剛好多解對一題、少解對一題,分數就會在 76.6% 到 90% 之間大幅擺盪。因此,任何單次評測的 AIME 分數都應被視為「帶有相當寬廣誤差範圍」的估計值,而不是精確的能力刻度。83.3% 和 13.4% 之間的差距固然巨大,但「83%」這個數字本身不宜被當成小數點後的精確指標來引用。
第二個問題是資料污染。AIME 的題目在考試結束後會公開,公開後就會流入網路。如果模型在訓練階段曾經讀過這些題目與詳解,那它在評測時的分數就不能完全等同於「真的會解」。這也是近兩年所有基準測試共同面臨的困境。
不過,這裡有一個相對有力的反駁論點:AIME 2024 的題目是在模型訓練資料截止之後才公開的,而且 OpenAI 也強調評測設計上有相應的防護機制。這讓「完全靠背答案」的可能性降低不少。再加上同期 GPQA、Codeforces 等基準也同步大幅進步,而這些基準的題目更難被單純記憶,整體證據仍然指向「能力真的提升了」。
但這也提醒我們一件事:在看任何「某模型在某基準上超越人類」的新聞時,第一步永遠是問「樣本有多大、評測設定是什麼、有沒有取多次共識」。 這些細節往往比那個漂亮的百分比更有意義。
會解競賽題,離「會做數學」還有多遠?
第二個更根本的問題是:AIME 高分,等於會做數學嗎?
答案是:不完全等於,但也不是沒有關係。
AIME 測試的是「在有限時間內,用初等數學工具解決設計精巧的問題」。它考驗的是推理的靈活性、計算的準確度、對題型套路的熟悉度。這些確實是數學能力的重要組成,但數學研究真正需要的是另一組東西:提出好問題的能力、判斷哪個方向值得投入的品味、建構新理論的創造力,以及在長時間無回饋的狀態下堅持下去的耐心。
目前的推理模型,在「已知答案存在、且可在數小時內解出」的問題上表現亮眼;但在「連問題該怎麼問都還不清楚」的開放式情境中,仍然力有未逮。這也是為什麼學界對這類進展的態度普遍是「審慎樂觀」——它是一個強大的工具,但還不是一個研究者。
還有一個常被忽略的限制:這類模型在解題時,偶爾會出現「推理過程看起來很合理、但中間某一步其實是錯的,只是最後碰巧湊出正確答案」的情況。這種「對答案、錯過程」的現象,在需要嚴謹性的數學場景中是潛在風險。它提醒使用者:不要把模型的輸出當成定理,要把它當成一個很認真的解題夥伴所提供的草稿。
六、結語:2024 年是一條分水嶺
回頭看 2024 年,AI 領域發生了很多事,但 o1 的出現,可能是最具結構性意義的一件。
它的意義不在於「某個基準被刷到 83%」,而在於它證明了三件事。第一,推理能力是可以被訓練的,不需要仰賴提示技巧或外部工具;第二,算力可以從訓練階段搬到推理階段,這為 AI 的規模化開了一條新路,也改變了整個產業的成本結構;第三,「願意想久一點」本身就是一種智慧,這句話過去只存在於人類的自我描述裡,現在變成了可以工程化的參數。
對一般使用者來說,最實際的變化是:你終於可以把一些「需要想一下」的任務交給 AI,而不只是「需要查一下」的任務。但要記得搭配正確的期待——它是個會算、會推理、會自我檢查的助手,但仍然會犯錯,仍然需要你驗證關鍵結論。
對產業來說,接下來的競爭重點,會從「誰的模型更大」轉向「誰能更有效率地分配推理算力」。這是一場關於成本控制、延遲管理與任務路由的工程競賽,而不只是演算法的競賽。
而對所有關注 AI 的人來說,13% 到 83% 這組數字值得記住的原因很簡單:它標記了一個轉折點——從這一年開始,我們評估 AI 的方式,不再只是問「它知道多少」,而是開始問「它願意為了一個問題,想得多深」。
重點整理
```
💬 想說點什麼?
歡迎到留言板分享你的想法、心得或疑問。
💬 前往留言板 →