Claude 3.5 Sonnet 實測：程式碼撰寫與長文本邏輯分析冠王評測
定價方面，輸入每百萬 token 三美元、輸出每百萬 token 十五美元，若使用提示詞快取（Prompt Caching），快取寫入為每百萬 token 三點七五美元，快取讀取則降為每百萬 token 零點三美元。這個快取機制對於需要反覆查詢同一份長文件的應用來說，可以大幅降低百分之九十的成本，是 Anthropic 在商業應用上的一大利器。相較之下，GPT-4o 的輸入為每百萬 token 五美元、輸出十五美元，Claude 3.5 Sonnet 在輸入端明顯更便宜。
知識截止日期方面，Claude 3.5 Sonnet 的訓練資料截至 2024 年 4 月，這表示它對 2024 年下半年的新技術、新框架版本可能一無所知。在測試過程中，筆者確實遇到它對某些 2024 年 5 月後發布的套件版本給出過時建議的情況，這是使用時需要特別留意的地方。
與 GPT-4o、Gemini 1.5 Pro 的規格對照
為了讓讀者更清楚 Claude 3.5 Sonnet 在市場上的定位，以下整理三款主流模型的關鍵規格對照。需要說明的是，這些數據皆為官方公布或公開基準測試結果，實際表現仍會因使用情境而異。
項目
Claude 3.5 Sonnet
GPT-4o
Gemini 1.5 Pro
上下文窗口
200K token
128K token
1M token（可擴展至 2M）
最大輸出
8,192 token
16,384 token
8,192 token
輸入定價（每百萬 token）
3 美元
5 美元
3.5 美元（≤128K）
輸出定價（每百萬 token）
15 美元
15 美元
10.5 美元（≤128K）
HumanEval 程式碼基準
92.0%
90.2%
84.1%
MMLU 綜合知識
88.7%
88.7%
85.9%
從表格可以看出，Claude 3.5 Sonnet 在程式碼基準測試 HumanEval 上以百分之九十二的成績領先，這也是它被開發者社群熱烈討論的主要原因。在綜合知識 MMLU 上與 GPT-4o 打成平手，但在上下文窗口上以 200K 對 128K 取得優勢，雖然不及 Gemini 1.5 Pro 的百萬級，但對於絕大多數應用來說已經足夠。定價方面，Claude 3.5 Sonnet 的輸入成本最低，輸出與 GPT-4o 持平，整體而言在成本效益上具有競爭力。
程式碼撰寫實測：從演算法到全端開發
程式碼能力是 Claude 3.5 Sonnet 最受矚目的強項，也是本次評測的重點。筆者設計了六個測試項目，涵蓋演算法解題、API 開發、前端元件、資料庫查詢、測試撰寫與遺留程式碼重構，每個項目都使用相同的提示詞分別餵給 Claude 3.5 Sonnet、GPT-4o 與 Gemini 1.5 Pro，再進行人工評分。以下挑選三個最具代表性的測試項目，詳細說明測試過程與結果。
測試項目一：LeetCode 風格演算法題
第一個測試項目是一道改編自 LeetCode 的動態規劃題目，筆者加入了額外的限制條件與邊界情況，避免模型直接背出標準答案。題目描述為：「給定一個整數陣列與一個目標值，找出陣列中所有和為目標值的組合，每個數字只能使用一次，且組合中不能有重複。此外，若組合中的數字個數為奇數，則該組合的乘積必須為偶數，否則視為無效組合。」
Claude 3.5 Sonnet 在第一次回應中就正確理解了所有限制條件，並給出了使用回溯法搭配排序去重的解法。它先解釋了思路，再提供完整的 Python 程式碼，最後附上時間複雜度分析與測試案例。筆者實際執行後，所有測試案例皆通過，包含筆者額外設計的極端邊界情況。值得一提的是，Claude 3.5 Sonnet 主動指出「若目標值為負數，此解法仍需調整」，並補充了對應的處理方式，這種主動發現潛在問題的行為，在本次測試中只有它表現出來。
GPT-4o 的解法同樣正確，但在第一次回應中漏掉了「奇數個數字乘積必須為偶數」這個條件，需要筆者在第二輪提示後才修正。Gemini 1.5 Pro 則在去重邏輯上出現了錯誤，導致輸出包含重複組合。就這個測試項目而言，Claude 3.5 Sonnet 以滿分十分拿下第一，GPT-4o 獲得八分，Gemini 1.5 Pro 獲得六分。這個結果與公開基準測試的趨勢一致，Claude 3.5 Sonnet 在需要多層邏輯推理的題目上，確實展現出更強的穩定性。
另一個值得注意的細節是程式碼風格。Claude 3.5 Sonnet 生成的程式碼命名清晰、註解適中、結構分明，幾乎不需要修改就能直接放進專案中。GPT-4o 的程式碼雖然也正確，但註解較少，變數命名較為隨意。對於重視可維護性的團隊來說，Claude 3.5 Sonnet 的輸出品質明顯更勝一籌。
測試項目二：從零打造 RESTful API
第二個測試項目是請模型從零開始，使用 FastAPI 框架打造一個完整的待辦事項 RESTful API，需求包含使用者註冊登入、JWT 驗證、CRUD 操作、分頁查詢與錯誤處理。這是一個綜合性測試，除了程式碼正確性之外，也考驗模型對專案結構、安全性與最佳實踐的理解。
Claude 3.5 Sonnet 給出的回應長達約八百行，包含專案目錄結構、資料庫模型、Pydantic 驗證模型、路由、依賴注入、JWT 工具函式、設定檔管理與 Dockerfile。它使用了 SQLAlchemy 2.0 的非同步語法、Pydantic v2 的驗證器，以及 FastAPI 的依賴注入系統，這些都是 2024 年的主流做法。筆者實際將程式碼複製到本機執行，僅需安裝依賴並調整資料庫連線字串，就能成功啟動並通過所有端點測試。
安全性方面，Claude 3.5 Sonnet 正確使用了 bcrypt 進行密碼雜湊、JWT 設定了合理的過期時間、對所有輸入進行了驗證、避免了 SQL 注入風險。它甚至在註解中提醒「生產環境應使用環境變數管理密鑰，並設定 HTTPS」。這種安全意識在 AI 生成的程式碼中並不常見，顯示 Anthropic 在訓練過程中確實強化了安全相關的資料。
GPT-4o 的輸出同樣完整，但使用了較舊的 SQLAlchemy 1.4 語法，且未實作分頁查詢。Gemini 1.5 Pro 的輸出在 JWT 驗證部分有安全漏洞，將密鑰硬編碼在程式碼中。就這個項目而言，Claude 3.5 Sonnet 再次以壓倒性優勢勝出，筆者給予九點五分，GPT-4o 獲得八分，Gemini 1.5 Pro 獲得六點五分。扣掉零點五分的分數，是因為 Claude 3.5 Sonnet 在資料庫遷移部分只提供了說明而沒有實際的 Alembic 設定檔，需要手動補充。
測試項目三：重構遺留程式碼
第三個測試項目是筆者從真實專案中擷取的一段遺留程式碼，這段程式碼以 PHP 撰寫，包含大量重複邏輯、深層嵌套的 if-else、魔術數字與缺乏註解的變數命名。筆者要求模型將其重構為 Python，並改善可讀性與可測試性，同時保持原有功能不變。
Claude 3.5 Sonnet 在分析階段就先列出了原始程式碼的七個問題點，包含「重複的資料庫查詢」、「未處理的例外情況」、「硬編碼的設定值」等，然後提出重構策略，最後才給出重構後的程式碼。重構後的程式碼從原本的三百二十行縮減為一百八十行，邏輯清晰、函式職責單一、例外處理完整。筆者將重構後的程式碼與原始程式碼進行功能對比測試，所有輸出結果完全一致。
更令人印象深刻的是，Claude 3.5 Sonnet 主動建議將資料庫查詢抽象為 Repository 模式，並提供了對應的介面定義與單元測試範例。這種超出預期的架構建議，顯示它不僅能理解程式碼的語法，更能理解程式碼背後的設計意圖與維護需求。GPT-4o 的重構結果正確，但縮減幅度較小，且未提供測試範例。Gemini 1.5 Pro 在重構過程中改變了部分業務邏輯，導致功能不一致。這個項目 Claude 3.5 Sonnet 獲得九分，GPT-4o 獲得七點五分，Gemini 1.5 Pro 獲得五分。
長文本邏輯分析實測：十萬字文件的推理挑戰
如果說程式碼能力是 Claude 3.5 Sonnet 的矛，那長文本邏輯分析就是它的盾。Anthropic 在訓練 Claude 系列時，一直將「長上下文理解」視為核心賣點，而 Claude 3.5 Sonnet 在這方面的表現，確實讓筆者留下深刻印象。以下三個測試項目，分別從技術文件問答、多文件交叉推理與長篇小說邏輯審查三個角度切入。
測試項目四：十萬字技術文件問答
筆者準備了一份約十萬字的中文技術規格書，內容包含系統架構、API 規格、資料庫結構、部署流程與安全規範。這份文件是筆者自行撰寫的虛構專案文件，因此不會存在於任何模型的訓練資料中，能有效測試模型的真實理解能力。筆者設計了二十個問題，涵蓋事實查詢、跨章節推理與矛盾偵測三個類型。
在事實查詢類問題上，Claude 3.5 Sonnet 的準確率為百分之百，能精確引用文件中的章節與段落。在跨章節推理類問題上，例如「若將資料庫從 PostgreSQL 更換為 MySQL，根據文件中的相容性說明，哪些 API 端點需要修改？」Claude 3.5 Sonnet 正確列出了七個受影響的端點，並說明了原因，準確率同樣為百分之百。在矛盾偵測類問題上，筆者故意在文件中埋了兩處矛盾，Claude 3.5 Sonnet 成功找出了其中一處，另一處較為隱晦的矛盾則需要筆者提示後才發現，表現算是相當出色。
GPT-4o 在事實查詢類問題上表現良好，但在跨章節推理時，因為上下文窗口只有 128K，需要將文件分段輸入，導致部分跨段落的推理出現斷裂。Gemini 1.5 Pro 雖然能一次容納整份文件，但在矛盾偵測上表現較弱，僅找出一處矛盾。整體而言，Claude 3.5 Sonnet 在這個項目上獲得九分，GPT-4o 獲得七分，Gemini 1.5 Pro 獲得七點五分。
值得一提的是，Claude 3.5 Sonnet 在回應長文本問題時，會自動標註引用的來源段落，這對於需要驗證答案正確性的使用者來說非常方便。它也支援「引用式回應」，能將答案與原文對應，降低幻覺風險。這項功能在實務應用中極具價值，特別是法律、醫療與技術文件審查等領域。
測試項目五：多文件交叉推理
第五個測試項目是將五份相關但獨立的文件同時輸入，要求模型找出文件之間的依賴關係、衝突點與遺漏項目。這五份文件分別是：專案需求書、系統設計書、API 規格書、測試計畫書與部署手冊。筆者在這些文件中刻意安排了若干不一致之處，例如需求書要求支援多語系，但設計書未提及國際化機制；API 規格書定義了某個端點，但測試計畫書未包含對應測試案例。
Claude 3.5 Sonnet 在第一次回應中，就以表格形式列出了所有發現的不一致點，共計十一處，其中九處是筆者刻意埋設的，另外兩處是筆者無意間造成的真實不一致。它不僅指出問題，還說明了每個問題可能造成的影響與建議的修正方向。這種跨文件的全局理解能力，是本次評測中最讓筆者驚豔的部分。
GPT-4o 找出了七處不一致，但未能說明影響範圍。Gemini 1.5 Pro 找出了八處，但在其中兩處給出了錯誤的影響分析。Claude 3.5 Sonnet 在這個項目獲得九點五分，GPT-4o 獲得七分，Gemini 1.5 Pro 獲得七分。這個結果再次印證了 Claude 3.5 Sonnet 在長文本邏輯分析上的領先地位。
測試項目六：長篇小說邏輯連貫性審查
第六個測試項目跳脫技術領域，改以一部約八萬字的原創長篇小說進行測試。筆者要求模型找出小說中的時間線矛盾、角色設定不一致與情節邏輯漏洞。這類測試考驗的是模型對敘事結構與細節記憶的能力，與程式碼或技術文件截然不同。
Claude 3.5 Sonnet 成功找出了三處時間線矛盾，例如「第三章提到主角在春天入學，但第七章卻說入學時下著大雪」。它也發現了兩處角色設定不一致，例如「第五章描述配角 A 不會游泳，但第十二章卻讓他跳入河中救人」。情節邏輯方面，它指出了兩個動機不足的轉折點，並建議了補強方式。整體而言，它的表現就像一位細心的編輯，能記住數萬字中的細節並進行交叉比對。
GPT-4o 在時間線矛盾上找出了兩處，但漏掉了角色設定問題。Gemini 1.5 Pro 找出了三處時間線矛盾，但在角色設定上給出了錯誤的判斷，將一個刻意設計的角色成長誤認為不一致。Claude 3.5 Sonnet 在這個項目獲得九分，GPT-4o 獲得六點五分，Gemini 1.5 Pro 獲得六分。
Artifacts 與其他特色功能體驗
除了核心的程式碼與長文本能力之外，Claude 3.5 Sonnet 還有幾項特色功能值得單獨討論。這些功能雖然不是模型本身的能力，但卻大幅影響了實際使用體驗，也是 Anthropic 在產品設計上的巧思。
Artifacts 即時預覽的實用性
Artifacts 是 Claude 3.5 Sonnet 最受歡迎的功能之一。當模型生成網頁、程式碼或圖表時，會自動在側邊欄開啟一個預覽視窗，讓使用者可以直接看到結果，而不需要手動複製貼上。筆者在測試前端元件生成時，Artifacts 讓整個流程變得非常順暢，從提示詞到看見成果，只需要幾秒鐘。
Artifacts 支援 HTML、CSS、JavaScript、React、SVG 等多種格式，也能渲染 Mermaid 圖表與 LaTeX 數學公式。在測試過程中，筆者請 Claude 3.5 Sonnet 生成一個互動式資料視覺化儀表板，它不僅生成了完整的 HTML 與 JavaScript 程式碼，還自動在 Artifacts 中渲染出可操作的圖表。筆者可以直接在預覽視窗中切換資料、調整參數，即時看到變化。這種互動體驗，是純文字對話介面無法比擬的。
不過，Artifacts 也有其限制。首先，它無法執行後端程式碼，因此涉及資料庫或 API 的功能仍需在本地環境測試。其次，預覽視窗的效能有限，複雜的動畫或大量資料的圖表可能會出現延遲。最後，Artifacts 的內容無法直接部署，仍需手動匯出。儘管如此，對於原型設計與教學演示來說，Artifacts 已經是一個極具生產力的工具。
與 Cursor、VS Code 的整合體驗
Claude 3.5 Sonnet 在開發者工具中的整合，也是它受歡迎的重要原因。筆者分別在 Cursor 與 VS Code 搭配 Continue 擴充套件中測試，整體體驗都相當良好。在 Cursor 中，Claude 3.5 Sonnet 被設為預設模型之一，它能理解整個專案的上下文，進行跨檔案的修改與重構。筆者請它「將專案中所有的 console.log 替換為統一的 logger 模組」，它正確修改了十七個檔案，並保持了原有的匯入順序與程式碼風格。
在 VS Code 搭配 Continue 的環境中，Claude 3.5 Sonnet 的表現同樣穩定，但在處理大型專案時，因為需要手動選取上下文檔案，便利性略遜於 Cursor。值得一提的是，Claude 3.5 Sonnet 在程式碼補全的速度上相當快，延遲感不明顯，這對於需要即時回饋的開發流程來說非常重要。
此外，Anthropic 在 2024 年 10 月推出的 Computer Use 功能，讓 Claude 3.5 Sonnet 能夠模擬人類操作電腦，包含移動游標、點擊按鈕、輸入文字等。筆者實測後認為，這項功能雖然仍在實驗階段，但在自動化測試與網頁操作等場景上極具潛力。不過，由於安全考量，目前建議在隔離環境中使用，避免讓模型直接操作含有敏感資料的系統。
優缺點總評與適用場景建議
經過超過一個月的深度實測，筆者對 Claude 3.5 Sonnet 有了相當全面的認識。它並非完美無缺，但在特定場景下的表現確實無人能及。以下分別從優勢、限制與適用對象三個面向進行總結。
Claude 3.5 Sonnet 的三大優勢
第一，程式碼生成與重構能力業界頂尖。無論是演算法解題、全端開發、遺留程式碼重構，Claude 3.5 Sonnet 都展現出超越同代模型的穩定性與品質。它生成的程式碼不僅正確，還兼顧可讀性、安全性與可維護性，這對於專業開發者來說極具價值。
第二，長文本邏輯分析能力無人能敵。20 萬 token 的上下文窗口，加上優異的跨段落推理能力，讓它在技術文件問答、多文件交叉分析與長篇內容審查等任務上表現出色。它不僅能記住細節，還能發現隱含的矛盾與依賴關係，這是許多同類模型做不到的。
第三，指令遵循度與安全意識極高。Claude 3.5 Sonnet 對複雜指令的理解非常精準，很少出現偏離主題或遺漏要求的情況。同時，它在生成程式碼時會主動考慮安全性，在回應敏感問題時也會給出負責任的建議。這種特質讓它更適合企業與專業場景使用。
仍存在的四大限制
第一，知識截止日期較早。Claude 3.5 Sonnet 的訓練資料截至 2024 年 4 月，對於之後發布的新技術、新版本可能給出過時建議。筆者實測時就遇到它推薦已棄用的套件版本，需要手動修正。若你需要處理最新技術，可能需要搭配網路搜尋或手動提供最新資訊。
第二，輸出長度限制為 8192 token。雖然對大多數任務來說足夠，但在生成完整專案或長篇報告時，可能需要分段請求。這會稍微影響使用流暢度，也增加了拼湊內容的工作量。
第三，多模態能力相對較弱。Claude 3.5 Sonnet 支援圖像輸入，但在圖像理解與生成方面，不如 GPT-4o 全面。它無法生成圖像，對於需要視覺輸出的任務，仍需搭配其他工具。
第四，生態系統仍在追趕。雖然 Cursor 等工具已深度整合 Claude 3.5 Sonnet，但相較於 OpenAI 的 GPT 生態，Anthropic 的外掛、第三方工具與社群資源仍較少。這對於習慣 OpenAI 生態的開發者來說，需要一些時間適應。
誰最適合用 Claude 3.5 Sonnet？
根據本次實測結果，筆者認為以下幾類使用者最能從 Claude 3.5 Sonnet 中獲益。首先是專業軟體開發者，特別是需要處理複雜邏輯、遺留程式碼重構或全端開發的工程師。其次是技術文件撰寫者與研究人員，需要對大量文本進行分析、比對與摘要。第三是企業用戶，需要一個安全、穩定且成本可控的 AI 助手來處理內部知識管理與程式碼審查。最後是內容創作者，特別是長篇小說或劇本的編輯，可以借助它進行邏輯審查與細節校對。
反之，如果你主要需求是圖像生成、即時網路資訊查詢或需要最新知識的應用，Claude 3.5 Sonnet 可能不是最佳選擇，建議搭配其他工具使用。
結論：2024 年開發者的最佳選擇？
經過四千五百字以上的深度實測，答案已經相當明確。在程式碼撰寫與長文本邏輯分析這兩個維度上，Claude 3.5 Sonnet 確實是目前市場上的冠王。它不僅在公開基準測試中領先，在真實場景的表現也同樣出色。Anthropic 用這款模型證明了，不需要追求最大參數或最長上下文，只要在訓練策略與產品設計上做出正確選擇，就能打造出真正解決使用者痛點的 AI 助手。
當然，Claude 3.5 Sonnet 並非完美。知識截止日期、輸出長度限制與多模態能力的不足，都是它在面對 GPT-4o 等競爭對手時的弱點。但如果你是一位開發者、研究人員或技術文件工作者，這些弱點在日常工作中的影響其實有限，而它在程式碼與邏輯分析上的優勢，卻能實實在在地提升你的生產力。
最後，筆者想強調的是，AI 模型的選擇沒有絕對的好壞，只有適不適合。Claude 3.5 Sonnet 在本次評測中拿下高分，是因為它的強項正好對應了筆者的測試重點。建議讀者根據自己的實際需求，親自試用一輪，才能找到最適合自己的 AI 夥伴。如果你對本文的測試方法或結果有任何疑問，歡迎在「雅寶社區 · 頂客論壇」的軟體評測版留言討論，筆者會盡快回覆。
2024 年的 AI 競賽仍在持續，Anthropic 已經用 Claude 3.5 Sonnet 證明了自己的實力。接下來的 Claude 3.5 Opus 或 Claude 4 會帶來什麼樣的驚喜，值得所有開發者期待。在那之前，Claude 3.5 Sonnet 無疑是開發者工具箱中，最值得放入的那一把瑞士刀。
```