AI 資料中心：為什麼它這麼耗電
傳統伺服器主要靠 CPU 處理請求，一顆高階伺服器 CPU 的功耗大約在 200 至 400 瓦之間。但 AI 訓練與推論依賴的是 GPU 或特製加速器，功耗完全是另一個量級。以 NVIDIA H100 為例，單卡熱設計功耗（TDP）約 700 瓦；新一代的 B200 更達到 1000 瓦以上。而 AI 伺服器從來不是「一卡一機」，而是八卡一機、數十機一櫃。
換算下來，一個裝滿八顆 H100 的伺服器節點，光 GPU 就要吃掉 5.6 千瓦，再加上 CPU、記憶體、網路卡與風扇，整機功耗輕易突破 8 至 10 千瓦。而一個 AI 機櫃往往裝載多個節點，總功耗可達 40 至 120 千瓦。對比傳統機櫃平均 5 至 10 千瓦，AI 機櫃的功率密度是傳統機櫃的五到十倍以上。這正是 AI 資料中心耗電暴增的第一個原因。
更深層的問題在於「效率曲線」。GPU 在滿載時每瓦效能最高，一旦負載不足，能源效率就會快速下滑。然而 AI 工作負載往往呈現尖峰與閒置交替的特性，導致大量電力花在等待與低效運轉上。
原因二：高頻寬記憶體與互連——看不見的耗電大戶
AI 模型動輒數千億甚至上兆參數，權重必須頻繁地在記憶體與運算單元之間搬移。這使得高頻寬記憶體（HBM）與高速互連技術成為必需品，但它們同樣是耗電怪獸。HBM 堆疊不僅本身耗電，還帶來可觀的發熱；而連接數千顆 GPU 的 NVLink、InfiniBand 或乙太網路交換器，每一層傳輸都在消耗電力。
打個比方：如果說 GPU 是資料中心的「引擎」，那麼記憶體與網路就是「輸油管」。管徑越大、流速越快，幫浦要花的力氣就越多。AI 叢集規模從數百卡擴張到數萬卡，互連網路的功耗佔比也隨之上升，成為容易被忽略卻無法迴避的耗電來源。
原因三：散熱系統——為每一瓦算力再付一次電費
電力進入伺服器後，幾乎全部最終都轉化為熱能。這意味著：你餵給 GPU 的每一瓦電，最後都要靠冷卻系統再帶走一次。傳統資料中心多採風冷，冷卻用電約佔總用電的 30% 至 40%。也就是說，算力用掉 100 瓦，可能還要再花 30 到 40 瓦去散熱。
AI 機櫃功率密度高，風冷逐漸力不從心。當單櫃功耗超過 30 至 40 千瓦，傳統氣流設計已難以有效帶走熱量，必須導入液冷、後門熱交換器或浸沒式冷卻。這些方案雖然效率更高，但初期建置成本與系統複雜度也更高，間接推升了整體能源帳單。
原因四：供電與配電損耗——PUE 的真實意義
資料中心業界常用 PUE（電力使用效率）來衡量能源效率。PUE 的定義是「資料中心總用電」除以「IT 設備用電」。PUE 等於 1.0 代表完美，所有電力都用在運算上；PUE 等於 1.5 則代表每 1 度電給伺服器用，就要額外花 0.5 度在冷卻、配電、照明等基礎設施上。
現代大型雲端資料中心的 PUE 多半落在 1.1 至 1.2 之間，表現相當不錯；但許多較舊或較小型的機房，PUE 仍高達 1.5 甚至 2.0。AI 資料中心因為功率密度高，配電損耗、變壓器損耗與備援系統的待機耗電都被放大。加上 UPS 不斷電系統與柴油發電機的維護需求，整體能源效率的挑戰比傳統機房更嚴峻。
原因五：利用率與閒置浪費
最後一個常被忽略的原因，是「用電不等於有效運算」。研究顯示，部分企業的 GPU 叢集平均利用率只有三到五成，離峰時段甚至更低。這些閒置的機器仍然要吃待機電力、維持散熱與供電。換句話說，AI 資料中心有一部分電力，其實是花在「沒在做事」的設備上。
這也解釋了為什麼近年「GPU 排程」、「資源池化」與「多租戶共享」成為熱門話題。提高利用率，往往比更換更省電的硬體更快見到節能成效。
三、訓練一個大模型，到底要燒掉多少電？
談到 AI 耗電，多數人第一個聯想到的是「訓練」。確實，訓練大型語言模型是極度密集的運算工程，需要在短時間內動用大量 GPU 連續運轉數週甚至數月。這段期間的用電量，往往以「兆瓦時（MWh）」為單位計算。
訓練能耗的量級：從 GPT-3 到新一代模型
學術界曾針對 GPT-3 進行估算，其訓練過程約消耗 1,287 MWh 的電力，相當於 1,287 度電的一千倍。這個數字大約是 120 個美國家庭一整年的用電量。而隨著模型參數與訓練資料量持續膨脹，新一代旗艦模型的訓練能耗普遍被認為高出數倍以上。部分更大型的模型，訓練一次可能耗費數十 GWh。
值得注意的是，這些數字多半是「估計值」。主要 AI 實驗室近年已不再公開完整的訓練細節，包括晶片數量、訓練時長與資料中心位置。這使得外界難以精確評估真實能耗，也讓相關的環境爭議更難被檢驗。
碳足跡與水資源：耗電之外的隱形成本
耗電本身還不是全部。電力從哪裡來，決定了碳足跡的大小。若資料中心位於以燃煤為主的電網區域，同樣一度電的碳排放可能是綠電區域的數倍。這也是為什麼大型科技公司纷纷承諾使用再生能源，並將資料中心選址與綠電供應掛鉤。
另一個常被忽略的成本是「水」。風冷與水冷系統都需要大量用水來散熱，一座大型資料中心每天可能消耗數百萬公升的水。在乾旱地區，這會與當地民生與農業用水產生競爭。換句話說，AI 的環境帳單不只寫在電費上，也寫在水費與碳排上。
四、推論時代來臨：耗電結構正在翻轉
如果說 2020 年代前期是「訓練的時代」，那麼現在已經明顯進入「推論的時代」。訓練是一次性的資本支出，推論則是每天持續發生的營運支出。當 AI 從實驗室走進產品、走進每個人的日常，推論用電正在快速超越訓練用電。
為什麼推論可能比訓練更耗電？
關鍵在於「乘數效應」。一個模型只訓練一次，但可能被呼叫數十億次。假設某個 AI 服務每天處理一億次查詢，每次查詢耗電 2 瓦時，一天就是 200 MWh，一年超過 70 GWh。這個數字已經超過許多模型的訓練能耗。
此外，推論工作負載的特性與訓練不同。訓練可以批次處理、長時間佔滿 GPU；推論則要求低延遲，常常必須讓 GPU 處於隨時待命的狀態，導致利用率偏低而單位能耗偏高。加上多數服務需要同時部署多個模型版本、安全過濾與檢索系統，整體耗電進一步疊加。
使用者規模是最大的乘數
當 AI 功能被嵌入搜尋引擎、辦公軟體、客服系統與手機作業系統，使用量會從「百萬級」躍升到「十億級」。這也是為什麼 IEA 等機構對未來資料中心用電的預測持續上修。AI 耗電問題的本質，不是單次運算有多耗電，而是當它變成日常基礎設施後，乘上龐大使用量所產生的總和。
換個角度想：AI 正在從「少數人使用的高耗能工具」，變成「所有人每天都在用的公共服務」。這對電網的意義，就像當年冷氣、電動車普及一樣，是需求結構的長期改變。
五、電網、土地與散熱：AI 資料中心的三道難題
耗電量本身只是問題的一半，另一半是「電能不能順利送進來、熱能不能順利排出去」。AI 資料中心的選址與營運，正面臨三道現實難題。
難題一：電網併網排隊與區域限電
在美國維吉尼亞州北部、愛爾蘭都柏林、新加坡等資料中心密集區，電網併網申請已經出現嚴重排隊現象，部分地區等待時間長達數年。電力公司必須升級變電站與輸配電線路，而這些工程往往牽涉土地徵收與環評，進度緩慢。
當供電跟不上需求，就會出現限電或優先供電的討論。例如愛爾蘭曾對資料中心祭出限制，要求新案必須能自備電力或配合電網調度。這意味著 AI 資料中心的選址，不再只是「地便宜、網路快」就好，還得看當地的電力餘裕與電網韌性。
難題二：散熱與用水
高功率密度帶來高熱密度，散熱設計成為工程核心。風冷已逐漸退場，液冷、直接晶片冷卻與浸沒式冷卻成為新標準。這些方案雖然能提升散熱效率，但也需要相應的管路、冷卻液與維護體系。對於既有機房的改造，往往是一筆不小的投資。
同時，冷卻用水在乾旱地區引發爭議。部分業者開始採用閉環冷卻、氣冷或再生水方案，以降低對自來水的依賴。這些技術選擇，會直接影響資料中心的選址與營運成本。
難題三：土地與社區關係
大型 AI 園區動輒占地數十公頃，需要變電站、發電備援與冷卻設施。在人口密集區，居民對噪音、用水與電價上漲的疑慮，常引發地方抗爭。開發商因此傾向選擇電力充足、土地便宜、政策友善的地區，形成新的「資料中心地理學」。
六、降溫的六條路：業界如何降低 AI 耗電？
面對龐大的能源壓力，產業並不是束手無策。從晶片、系統、冷卻到軟體排程，各個環節都有節能空間。以下整理目前最具代表性的六條解方。
解方一：晶片與架構效率提升
最根本的做法，是讓每一瓦電做更多事。新一代 AI 加速器透過更先進製程、更大封裝與更高效的記憶體架構，持續提升每瓦效能。同時，專用化晶片（如推論加速器、客製化 ASIC）也開始興起，針對特定工作負載做最佳化，避免用通用 GPU 處理所有任務所造成的浪費。
解方二：液冷與浸沒式冷卻
液冷的導熱效率遠高於空氣，能在相同空間內帶走更多熱量。直接液冷可將冷卻用電顯著降低，浸沒式冷卻甚至能把 PUE 壓到接近 1.05。雖然初期成本高，但在高密度 AI 機櫃中，液冷已從「選配」逐漸變成「標配」。
解方三：綠電、核能與自建電廠
降低碳足跡的另一條路，是改變電力來源。大型科技公司大量簽署再生能源購電協議（PPA），並投資太陽能、風電與儲能。近年更出現與核能業者合作、甚至自建小型模組化反應爐（SMR）的討論，目標是取得穩定且低碳的基載電力。
解方四：模型輕量化與推論優化
並非所有任務都需要最大模型。透過模型蒸餾、量化、剪枝與小型化設計，可以在犧牲有限精度的情況下大幅降低推論成本。此外，快取機制、檢索增強生成（RAG）與提示詞優化，也能減少不必要的重複運算。
解方五：軟體排程與資源池化
提高 GPU 利用率，是短期內最具成本效益的節能手段。透過集中排程、多租戶共享、彈性伸縮與離峰批次處理，可以讓硬體盡量維持在高效率區間運轉，減少閒置浪費。
解方六：資料中心設計與選址優化
從建築隔熱、自然冷卻、熱回收再利用，到選擇氣候涼爽、電力充裕的地點，都是降低整體能耗的手段。部分業者更嘗試將資料中心餘熱回收，供應周邊社區暖氣，把「廢熱」變成「資源」。
七、結論：AI 的能源帳本，是人類的選擇題
回到最初的問題：AI 資料中心為什麼這麼耗電？答案可以濃縮成一句話——因為它用極高的功率密度，持續進行極大量的平行運算，而且這些運算正在從少數人的實驗，變成所有人的日常。GPU 叢集、高速記憶體、互連網路、散熱系統與配電損耗，每一層都在放大電力需求；而推論時代的到來，更讓耗電從「一次性投資」變成「持續性支出」。
但耗電本身不是原罪。真正的問題在於：我們是否用有效率的方式發電、輸電與用電？是否讓每一度電都創造對應的價值？是否在追求算力成長的同時，也把環境成本納入決策？
對企業而言，AI 耗電意味著營運成本結構的改變，能源效率將成為競爭力的一部分。對政策制定者而言，這是電網規劃、綠電布建與區域發展的長期課題。對一般使用者而言，理解 AI 背後的能源真相，能讓我們在使用這些工具時，多一分自覺與珍惜。
AI 的能源帳本，最終不是技術問題，而是選擇題。我們選擇用什麼電力、在什麼地方、以什麼效率來支撐這場智慧革命，將決定 AI 究竟是永續的助力，還是環境的負擔。
常見問答：關於 AI 資料中心耗電的快問快答
Q1：AI 資料中心真的比傳統資料中心耗電很多嗎？
是。主要差異來自功率密度。傳統機櫃平均 5 至 10 千瓦，AI 機櫃可達 40 至 120 千瓦，加上冷卻與配電損耗，整體用電強度明顯更高。
Q2：訓練和推論，哪一個比較耗電？
單次來看，訓練遠比單次推論耗電；但因為推論的呼叫次數極龐大，累積起來的總用電往往超過訓練。隨著 AI 服務普及，推論用電佔比正持續上升。
Q3：使用 AI 會不會讓電費上漲？
對個人而言影響有限，但對區域電網而言，大量資料中心進駐可能推升尖峰負載與電價。各國正透過電網升級、綠電採購與需求管理來因應。
Q4：有沒有可能讓 AI 變得省電？
有。晶片效率提升、液冷散熱、模型輕量化、推論優化與排程改善，都能顯著降低能耗。關鍵在於這些方案能否規模化並普及到中小型業者。
Q5：一般使用者能做些什麼？
選擇有公開能源政策的服務供應商、避免不必要的重複查詢、支持綠電與能源效率相關政策，都是可行的方向。理解問題，是改變的起點。
```