AI 晶片：為什麼 Nvidia 一家獨大
2012 年，AlexNet 在 ImageNet 競賽中以驚人的差距奪冠，掀起深度學習的革命。而 AlexNet 訓練時用的硬體，正是兩張 Nvidia 的 GTX 580 顯卡。這件事情在當時並沒有立刻讓 Nvidia 變成 AI 公司，但它讓 Nvidia 內部意識到：GPU 在神經網路訓練上的潛力，可能遠超過遊戲市場。
接下來的幾年，Nvidia 做了一系列現在回頭看非常關鍵的佈局。2014 年前後，它開始針對深度學習推出 cuDNN 函式庫，把卷積、池化、正規化這些常見運算做高度最佳化；2016 年推出 DGX-1 超級電腦，把八張 GPU 裝進一個箱子裡，直接賣給研究機構；同年，黃仁勳親自把第一台 DGX-1 送到 OpenAI 的辦公室。這些動作在當時看起來像是「押注一個還不確定會不會成功的市場」，但事實證明，Nvidia 押對了。
更關鍵的是，Nvidia 在硬體架構上也針對 AI 做了專門的調整。從 Volta 架構開始加入 Tensor Core（專門做矩陣乘加的硬體單元），到 Hopper 架構強化 FP8 精度與 Transformer 引擎，再到 Blackwell 架構導入更高速的記憶體與互連技術，每一代架構的演進，都是衝著「讓 AI 訓練更快、更省電」這個目標去的。
這背後有一個很重要的思維差異：AMD 與 Intel 長期把 GPU 當成「圖形處理器」來設計，AI 只是附加功能；Nvidia 則是從 2016 年之後，逐漸把資料中心 AI 當成核心業務來設計架構。這個「設計目標」的不同，在幾年之後會累積成巨大的差距。
二、Nvidia 的技術護城河：硬體、軟體與網路的三角結構
講 Nvidia 的優勢，很多人會直接講「它的 GPU 比較快」。但如果只談單顆晶片的算力，這個說法其實已經不太成立了。AMD 的 MI300X 在某些記憶體頻寬與性價比指標上並不輸給 Nvidia，Google 的 TPU、Amazon 的 Trainium 也在特定工作負載上展現出競爭力。真正的問題是：Nvidia 賣的從來不是「一顆晶片」，而是一整套系統。
這套系統可以拆成三個層次來看：硬體、軟體、網路。這三層彼此扣合，形成一個競爭對手很難在單一層次上突破的結構。
硬體：GPU 架構的世代領先
先談硬體。Nvidia 的資料中心 GPU，從 A100、H100 到 B200，每一代的設計都圍繞著「AI 訓練與推論」這個核心任務。以 H100 為例，它搭載了第四代 Tensor Core，支援 FP8 精度，並且配備了 80GB 的 HBM3 記憶體，記憶體頻寬達到 3.35TB/s。這些規格在發表的時候，都是業界頂標。
但真正拉開差距的，是 Nvidia 對「記憶體頻寬」與「資料搬移」這件事的理解。AI 模型訓練的瓶頸，很多時候不是算力不夠，而是「資料在記憶體與運算單元之間搬移的速度不夠快」。Nvidia 從 A100 開始大量採用 HBM 高頻寬記憶體，並且在架構設計上盡量減少資料搬移的次數，這種「以記憶體為中心」的設計思路，讓它在大型模型訓練上特別有優勢。
另一個常被忽略的點是「軟硬體協同設計」。Nvidia 在設計架構時，會同步考慮到軟體端要怎麼用。比如 Tensor Core 的指令集、cuDNN 的最佳化路徑、甚至 PyTorch 裡某個運算子的實作方式，都是軟硬體團隊一起討論出來的。這種協同設計的能力，讓 Nvidia 的硬體在實際跑模型時，能發揮出比規格表更高的效率。
軟體：CUDA 與 cuDNN 的鎖定效應
前面提過 CUDA 的重要性，這裡再往下挖一層。CUDA 之所以難被取代，不只是因為「用的人多」，而是因為它已經形成了一個完整的工具鏈生態。
從最底層的驅動程式、編譯器（NVCC）、效能分析工具（Nsight），到中層的函式庫（cuBLAS、cuDNN、cuFFT、NCCL），再到上層的框架整合（PyTorch、TensorFlow 的 CUDA 後端），這整個堆疊是十幾年累積下來的結果。競爭對手要追上，不是做出一顆更快的晶片就好，而是要把這整套堆疊重新建一遍，而且還要說服開發者願意遷移。
以 AMD 的 ROCm 為例，它其實已經發展了好幾年，功能也越來越完整，但在實際使用上，仍然會遇到「某些模型跑不起來」、「某些函式庫沒有對應實作」、「效能調校文件不足」這類問題。對企業來說，這些「小問題」累積起來就是巨大的遷移成本。而對 Nvidia 來說，這些問題早在十年前就被解決了。
這就是軟體護城河的特性：它不像硬體可以用規格表比較，而是靠時間與使用者回饋一點一滴堆出來的。一旦形成，就很難在短時間內被翻轉。
網路：NVLink 與 InfiniBand 的系統級整合
第三層是網路。這是最容易被忽略、但其實最關鍵的一層。
今天的大型 AI 模型，動輒需要上千張 GPU 一起訓練。在這種規模下，「GPU 與 GPU 之間怎麼溝通」就變成了一個核心問題。如果溝通太慢，GPU 就會閒置等資料，算力再強也沒用。
Nvidia 在這方面的佈局非常完整。它推出了 NVLink，讓 GPU 之間可以直接高速互連，不必經過傳統的 PCIe 匯流排；推出 NVSwitch，讓多張 GPU 可以組成一個高頻寬的交換網路；還收購了 Mellanox，把 InfiniBand 這種高效能網路技術納入自己的產品線。結果就是：Nvidia 不只能賣你 GPU，還能賣你整套「GPU 之間怎麼連、怎麼交換資料」的解決方案。
這件事情的戰略意義在於：當客戶要建一個大型 AI 叢集時，如果選了 Nvidia 的 GPU，自然就會搭配 Nvidia 的 NVLink 與 InfiniBand；反過來說，如果選了別家的 GPU，就得另外去找網路方案，而這些方案在頻寬、延遲、軟體整合上，未必能達到同樣的水準。這就形成了一種「系統級鎖定」——客戶買的不只是一顆晶片，而是一整個資料中心的架構。
三、市場結構與競爭對手的追趕難題
講完 Nvidia 的優勢，接下來要問一個更現實的問題：為什麼競爭對手追了這麼多年，還是追不上？這背後不只是技術問題，還牽涉到市場結構與商業模式。
AMD、Intel 與客製化 ASIC 的挑戰
先看 AMD。AMD 的 MI300X 在規格上其實相當有競爭力，192GB 的 HBM3 記憶體、5.3TB/s 的頻寬，在某些推論場景中甚至比 H100 更有優勢。但 AMD 面臨的問題是軟體。ROCm 雖然持續進步，但在函式庫完整度、框架支援度、除錯工具等方面，仍然落後 CUDA 一段距離。對大型企業來說，把原本跑在 CUDA 上的模型搬到 ROCm，需要投入大量工程資源，而這些資源的機會成本很高。
再看 Intel。Intel 推出了 Gaudi 系列，主打性價比，並且試圖用 OpenAPI 之類的開放標準來降低客戶的遷移門檻。但 Intel 在 AI 加速器市場的市佔率仍然很低，主要原因是它的產品線定位不夠清晰，加上過去幾年在製程與組織上的動盪，讓客戶對它的長期承諾抱持觀望態度。
最後是客製化 ASIC。Google 的 TPU、Amazon 的 Trainium、Meta 的 MTIA，這些都是大型雲端業者為自己的特定工作負載設計的晶片。它們的優勢是「針對特定任務最佳化」，在某些場景中確實能達到比 Nvidia 更好的性價比。但它们的劣勢也很明顯：通用性不足、生態系封閉、只能服務自家業務。對大多數企業來說，這種客製化晶片並不是可選項。
為什麼「做出同等晶片」不等於「搶到市場」
這裡有一個很重要的觀念：在半導體產業裡，「做出規格相當的晶片」和「搶到市場」是兩件完全不同的事。前者是工程問題，後者是生態系問題。
打個比方。假設今天有一家公司做出了一顆晶片，算力跟 H100 一樣強、功耗一樣低、價格還便宜兩成。聽起來很有競爭力，對吧？但如果這顆晶片沒有對應的 CUDA 替代方案、沒有完整的函式庫支援、沒有經過大規模驗證的穩定性，那麼對客戶來說，採用它的風險遠高於省下的成本。
這就是為什麼 Nvidia 的市佔率能維持這麼久。不是因為沒有競爭者，而是因為競爭者要跨過的門檻太高。這個門檻不是單一技術，而是「硬體 + 軟體 + 網路 + 生態系」的綜合體。任何一家公司要在短時間內複製這整套結構，幾乎是不可能的任務。
更現實的一點是，Nvidia 並沒有停在原地。它每年都在推新架構、每年都在擴充 CUDA 的功能、每年都在收購關鍵技術（比如 Mellanox、Cumulus Networks）。這種持續投入的節奏，讓追趕者永遠處於「落後一代」的狀態。
四、Nvidia 模式的風險與未來變數
講到這裡，好像 Nvidia 的地位堅不可摧。但任何一種市場結構都有它的脆弱面，Nvidia 也不例外。以下幾個變數，是未來幾年值得觀察的重點。
客戶自研晶片的長期威脅
Nvidia 最大的客戶，同時也是它最大的潛在威脅。Google、Amazon、Meta、Microsoft 這些雲端巨頭，每年向 Nvidia 採購的 GPU 金額動輒數十億美元。這種高度依賴，讓這些公司有很強的動機去發展自研晶片。
Google 的 TPU 已經發展到第五代，並且在多個內部工作負載上取代了 Nvidia 的 GPU；Amazon 的 Trainium 與 Inferentia 也持續演進；Meta 的 MTIA 則是針對推薦系統與內容排序等工作負載設計。這些自研晶片的共同特點是：針對特定任務最佳化、不對外銷售、只服務自家業務。
短期內，這些自研晶片還不會動搖 Nvidia 的地位，因為它們的通用性不足，而且多數企業仍然需要 Nvidia 的完整生態系。但長期來看，如果雲端業者能把越來越多的工作負載轉移到自研晶片上，Nvidia 在資料中心市場的成長動能就會受到影響。
地緣政治與供應鏈的雙面刃
另一個重要變數是地緣政治。Nvidia 的晶片主要由台積電代工，而台積電的產能集中在台灣。這種高度集中的供應鏈，在半導體產業裡其實是常態，但也意味著任何區域性的風險（比如台海局勢、自然災害）都可能對 Nvidia 的供貨造成衝擊。
此外，美國對中國的晶片出口管制，也對 Nvidia 的中國業務造成影響。Nvidia 原本在中國資料中心市場的市佔率很高，但隨著管制措施越來越嚴格，它被迫推出「降規版」晶片來符合規範，而這些降規版晶片的競爭力相對較弱，給了華為等中國本土廠商崛起的空間。
這些因素並不會立刻改變 Nvidia 的市場地位，但它們會讓 Nvidia 的成長曲線變得不那麼平滑。對投資人與產業觀察者來說，這些都是需要持續追蹤的變數。
五、結論：一家獨大還能維持多久？
回到最初的問題：為什麼 Nvidia 一家獨大？
答案可以濃縮成一句話：Nvidia 賣的不是晶片，而是一整套讓 AI 跑得動、跑得快、跑得穩的系統。這套系統包含硬體架構、軟體堆疊、網路互連、開發者生態，以及十幾年累積下來的使用慣性。競爭對手要在任何一個層次上追上，都需要投入大量時間與資源；而要同時在四個層次上都追上，幾乎是不可能的任務。
但這並不代表 Nvidia 可以高枕無憂。客戶自研晶片的崛起、地緣政治的風險、以及 AI 演算法本身的演進（比如未來如果模型架構出現重大變化，對硬體的需求也可能跟著改變），都是潛在的變數。
不過至少在未來三到五年內，Nvidia 在 AI 訓練晶片市場的領導地位，大概還是難以被撼動。對台灣的讀者來說，這件事的意義不只是「一家公司很賺錢」，而是整個 AI 產業的技術路線、成本結構、甚至能源消耗，都深深受到 Nvidia 的架構選擇所影響。理解 Nvidia 的護城河在哪裡，也就等於理解了當前 AI 產業的權力地圖。
而對於想要投入 AI 領域的開發者與創業者來說，認清這個現實也很重要：你可以不喜歡 CUDA 的封閉性，但你很難繞過它。在可見的未來裡，與其期待一個「打破 Nvidia 壟斷」的救世主出現，不如先學會如何在 Nvidia 主導的生態系裡，找到自己的位置。
這大概就是 2020 年代 AI 產業最真實的寫照：技術的突破往往來自開放社群，但技術的規模化，卻常常掌握在少數幾家公司手上。Nvidia 的故事，正是這個矛盾最鮮明的例子。