對比學習：為什麼 AI 能分辨貓和狗
蒐集數萬張貓與狗的圖片。
人工為每張圖片標上「貓」或「狗」的標籤。
讓網路輸出預測，計算與標籤的誤差，再透過反向傳播調整權重。
重複數十個 epoch，直到模型在驗證集上達到可接受的準確率。
這套方法在 ImageNet 競賽中被驗證為極其有效，2012 年 AlexNet 的突破便是經典案例。然而，監督式學習在「分辨貓狗」這類任務上，逐漸暴露出三個結構性瓶頸。
1-3 監督式學習的三個瓶頸
第一，標註成本驚人。一張圖片標註或許只要幾秒鐘，但若要涵蓋多元品種、姿態、光線與遮擋情境，往往需要數十萬甚至上百萬張標註資料。若任務從「貓狗二分」擴展到「辨識 300 種犬種與 60 種貓種」，標註工作量呈指數上升。
第二，模型容易學到捷徑。研究發現，監督式模型常依賴背景線索而非主體特徵。例如訓練集中「貓」的圖片剛好多在室內、「狗」的圖片多在草地，模型可能學會「看到沙發就猜貓、看到草皮就猜狗」。這種虛假相關（spurious correlation）在真實場景中極易失效。
第三，標籤本身是離散的、資訊量有限。「貓」與「狗」兩個標籤只告訴模型答案，卻沒有告訴模型「貓和貓之間有多像」、「貓和狗之間差在哪裡」。模型學到的是分類邊界，而非豐富的語意結構。這使得模型難以遷移到新任務，例如「分辨貓的品種」或「判斷貓咪是否生病」。
對比學習的出現，正是為了繞開這三個瓶頸：它不需要人工標籤、強迫模型關注主體而非背景、並且直接學習連續的語意表徵。接下來，我們就來拆解它的核心思想。
二、對比學習的核心思想：把相似拉近，把相異推遠
如果要用一句話概括對比學習，那就是：「讓相似的樣本在表徵空間中靠近，讓不相似的樣本彼此遠離。」這個直覺簡單到幾乎像廢話，但當它被放到高維向量空間與海量資料上時，卻能產生驚人的效果。
2-1 什麼是對比學習？
對比學習（Contrastive Learning）屬於自監督學習（Self-Supervised Learning）的一支。它的核心精神是：不需要人類告訴模型「這是貓、這是狗」，而是設計一個「代理任務（pretext task）」，讓模型從資料本身的結構中學習。
最具代表性的代理任務是實例判別（Instance Discrimination）：給定一張圖片，模型要判斷「這兩張圖片是不是同一張圖的不同版本」。具體做法是對同一張圖片做兩種不同的資料增強（例如一張隨機裁切、一張改變色調），得到兩個「視角」。模型被要求把這兩個視角對應的向量拉近，同時把其他圖片的向量推遠。
這個過程之所以能學到「貓」與「狗」的區別，是因為一個關鍵假設：同一隻貓的不同視角，在語意上必然比貓與狗的視角更接近。模型不需要知道「貓」這個詞，它只要學會「同源圖片應該相似」，就會自然而然地按照視覺語意把資料分群。而貓與貓之間的相似度，天然高於貓與狗之間的相似度。
2-2 正樣本與負樣本：對比學習的兩大支柱
對比學習的訓練訊號，建立在兩類樣本上：
舉例來說，一張橘貓照片經過兩次隨機增強，產生「視角 A」與「視角 B」，這是一組正樣本。同一批次中還有其他圖片，例如一隻柴犬、一隻黑貓、一隻黃金獵犬，它們的視角就構成負樣本。模型在每次更新時，會同時受到「拉近正樣本」與「推開負樣本」兩種力量的作用。
這個機制之所以有效，是因為它逼迫模型回答一個有意義的問題：「哪些變化是無關緊要的？哪些差異是本质性的？」資料增強會改變亮度、裁切範圍、翻轉方向，但不會改變「這是一隻貓」的語意。模型若能把這些變化忽略掉，就會保留真正具判別力的特徵。
2-3 InfoNCE 損失函數：對比學習的數學心臟
要把「拉近」與「推遠」變成可优化的數學目標，最常用的工具是 InfoNCE 損失（Information Noise-Contrastive Estimation）。它的形式如下：
給定一個錨點向量 q、一個正樣本向量 k+，以及 K 個負樣本向量 k−，損失函數定義為：
L = −log [ exp(sim(q, k+) / τ) ÷ Σi exp(sim(q, ki) / τ) ]
其中 sim(·,·) 通常採用餘弦相似度，τ 是溫度參數（temperature）。這個公式的白話解釋是：「在眾多候選樣本中，模型把正樣本辨識出來的正確率有多高？」如果正樣本的相似度遠高於所有負樣本，損失就低；反之，若模型無法區分正負樣本，損失就高。
InfoNCE 的美妙之處，在於它把對比學習轉化為一個多分類問題：在 K+1 個候選中找出唯一正解。這使得訓練目標清晰、梯度穩定，也讓模型學到的表徵具有更強的判別力。
2-4 溫度參數 τ 的角色
溫度參數 τ 控制分布的「尖銳程度」。當 τ 很小時，模型會對困難負樣本（那些與錨點相似但其實不同的樣本）施加更強的懲罰，迫使模型學得更精細的邊界；當 τ 較大時，分布較平滑，模型會關注整體結構而非個別困難樣本。
在實務上，τ 的選擇是一門藝術。SimCLR 原論文使用 τ = 0.5 取得良好效果，後續研究發現較小的 τ（如 0.1）能提升判別力，但也更容易導致訓練不穩定。這個參數的存在，也說明了對比學習並非「無腦拉近推遠」，而是需要精心設計的度量學習。
三、對比學習如何讓 AI 學會分辨貓和狗？
理解了核心思想後，我們把鏡頭拉近，看看對比學習在「貓狗分辨」這個具體任務上，究竟是如何一步步運作的。
3-1 資料增強：同一個概念的千百種樣貌
對比學習的第一個關鍵，是設計合適的資料增強策略。常見的增強包括：
高斯模糊與雜訊：模擬失焦或低畫質情境。
這些增強的共同點是：它們改變了像素層面的外觀，但不改變圖片的本質語意。一隻貓不會因為翻轉或變暗就變成狗。模型若能在這些變化下仍把兩張圖拉近，就代表它學到了「貓」的穩定特徵，而非死記某個特定像素排列。
值得注意的是，增強的「強度」需要拿捏。太弱的增強（例如只做微小裁切）會讓任務太簡單，模型學不到不變性；太強的增強（例如把貓的頭裁掉）則可能破壞語意，導致正樣本對其實不像。這也是為何 SimCLR 等模型會針對不同資料集調整增強策略。
3-2 表徵空間的幾何：貓國與狗國的形成
經過大量訓練後，模型會把每張圖片映射到一個高維向量（通常 128 到 2048 維），這個向量稱為表徵（representation）或嵌入（embedding）。如果我們用 t-SNE 或 UMAP 將這些向量降到二維視覺化，會看到一個非常直觀的現象：貓的圖片會聚成一團，狗的圖片會聚成另一團，而且兩團之間有明顯間隔。
更精細地說，表徵空間會呈現階層結構：
最外層：貓與狗分屬兩個大群。
次層：狗群內部會按品種、體型、毛色再分群。
更細層：同一品種的不同姿態仍會保持鄰近。
這種幾何結構並非人工設計，而是對比學習從資料分布中「湧現」出來的。模型從未見過「貓」這個標籤，卻因為「同一隻貓的視角彼此相似、不同貓的視角也因共享特徵而靠近」，最終把貓的語意區域刻畫出來。這正是自監督學習最迷人的地方：標籤是結果，而不是輸入。
用學術語言來說，對比學習同時優化了兩個性質：對齊性（Alignment）與均勻性（Uniformity）。對齊性確保正樣本靠近，均勻性確保表徵不會全部塌縮到一個點，而是均勻分布在球面上。兩者共同作用，才能形成既有結構又保留鑑別力的表徵空間。
3-3 從自監督預訓練到下游微調
對比學習通常不是「訓練完就直接拿來分類」，而是採用兩階段流程：
令人驚訝的是，研究顯示對比學習預訓練的模型，在僅使用 1% 到 10% 標註資料的情況下，就能達到接近全監督訓練的貓狗分類準確率。這是因為預訓練階段已經把「貓長什麼樣、狗長什麼樣」的知識壓縮進表徵中，下游任務只需要學會「把貓的區域對應到標籤 0、狗的區域對應到標籤 1」這種簡單映射。
這也解釋了為什麼對比學習被視為「視覺領域的預訓練範式」：它把昂貴的語意學習與便宜的任務適配拆開，大幅降低了每個新任務的開發成本。
3-4 少樣本與零樣本：對比學習的殺手級應用
對比學習的威力，在資料稀缺的情境下尤其明顯。設想你只想分辨自家兩隻寵物——一隻叫「咪咪」的貓、一隻叫「旺財」的狗。你手上只有各 5 張照片。傳統監督式模型幾乎不可能從 10 張圖學會泛化，但對比學習預訓練的模型可以：
這種靈活性，讓對比學習從學術研究走向產品化。今日許多手機相簿、電商以圖搜圖、內容審核系統，背後都有對比學習的影子。
四、代表模型與技術演進
對比學習並非單一模型，而是一條持續演進的技術路線。以下幾個代表性工作，構成了今日我們理解「AI 如何分辨貓狗」的技術基石。
4-1 SimCLR：簡單卻強大的對比學習框架
2020 年由 Google 提出的 SimCLR，是對比學習的里程碑。它的設計極簡：
對每張圖片做兩種隨機增強，得到正樣本對。
在同一大批次（batch）中，把其他圖片的視角視為負樣本，計算 NT-Xent 損失。
SimCLR 的關鍵發現有三：第一，資料增強的组合至關重要，隨機裁切加色彩抖動效果最好；第二，大批次（如 4096）能提供更多負樣本，顯著提升效果；第三，投影頭的存在能讓編碼器學到更好的表徵，投影頭本身在 downstream 任務中會被丟棄。
SimCLR 在 ImageNet 上達到了當時自監督方法的最佳線性探針準確率，也讓學界意識到：對比學習不需要複雜架構，關鍵在於「大量負樣本」與「強增強」。
4-2 MoCo：用佇列解決負樣本難題
SimCLR 需要超大 batch 才能湊出足夠負樣本，這對硬體要求極高。Facebook 提出的 MoCo（Momentum Contrast） 提出了優雅解法：
MoCo 讓對比學習不再受 batch size 限制，在有限硬體上也能訓練出高品質表徵。後續的 MoCo v2、MoCo v3 進一步優化了增強策略與訓練稳定性，成為工業界廣泛採用的方案。
4-3 BYOL 與 SimSiam：不需要負樣本也能學
2020 年 DeepMind 的 BYOL（Bootstrap Your Own Latent） 投下震撼彈：它完全不用負樣本，卻能學到比 SimCLR 更好的表徵。做法是讓一個「線上網路」預測另一個「目標網路」的輸出，目標網路由線上網路動量更新而來。
沒有負樣本，模型為什麼不會塌縮（把所有圖片映射到同一向量）？這是 BYOL 最反直覺的地方。後續研究（如 SimSiam）指出，停止梯度（stop-gradient）與預測器（predictor）的組合是避免塌縮的關鍵。BYOL 證明了「拉近正樣本」本身就能驅動有意義的學習，負樣本並非必要。
這個發現對「貓狗分辨」的意義在於：即使資料量不大、負樣本不足，模型仍可透過正樣本對的預測任務學到判別性特徵。這讓對比學習的應用門檻進一步降低。
4-4 CLIP：文字與圖像的多模態對比學習
如果說 SimCLR 與 MoCo 是「圖像對圖像」的對比，那麼 OpenAI 的 CLIP 則是「圖像對文字」的對比。CLIP 在 4 億組圖文配上訓練，讓圖像編碼器與文字編碼器把匹配的圖文拉近、不匹配的推遠。
CLIP 對「貓狗分辨」的啟示極為深遠：
模型學會了「貓」這個詞的語意與貓的視覺特徵對齊。
這種零樣本能力，讓 AI 的分類範圍可以隨時用自然語言擴充，例如「一隻戴帽子的貓」。
CLIP 也揭示了對比學習的另一層價值：它不只是分類器，更是跨模態的語意對齊器。這為後續的圖像生成、檢索、視覺問答等應用鋪平了道路。
五、為什麼對比學習特別適合分辨貓狗？優勢與挑戰
讀到這裡，你可能會問：既然監督式學習也能分辨貓狗，對比學習到底強在哪裡？以下從優勢與挑戰兩個面向分析。
5-1 對比學習的四大優勢
優勢一：不需要大量人工標籤。這是對比學習最直接的價值。網路上有數十億張未標註的貓狗照片，對比學習可以直接利用這些資料學習視覺結構，把標註成本轉移到「預訓練」這個一次性投資上。
優勢二：學到的是通用表徵，而非單一任務邊界。監督式模型學到的是「貓 vs 狗」的決策邊界；對比學習學到的是「貓的語意區域」與「狗的語意區域」。前者只能分辨貓狗，後者卻能進一步支持品種辨識、姿態估計、異常檢測等下游任務。
優勢三：對背景捷徑更穩健。由於對比學習透過資料增強迫使模型忽略外觀變化，它較不容易學到「沙發＝貓、草地＝狗」這類虛假相關。研究顯示，對比學習模型在分布偏移（distribution shift）下的表現通常優於監督式模型。
優勢四：支援少樣本與零樣本應用。如前述，對比學習表徵可用於最近鄰分類、線性探針，甚至結合文字提示進行零樣本分類。這讓它在資料稀缺的場景（如罕見貓種辨識）中特別有價值。
5-2 現實中的挑戰與失敗案例
對比學習並非萬靈丹，它在實務上仍有幾個明顯挑戰：
此外，對比學習模型也可能出現「表徵崩塌」或「維度坍縮」等訓練不穩定現象，需要靠架構設計（如投影頭、停止梯度）與超參數調整來緩解。這些都提醒我們：對比學習是一套強大的工具，但絕非按下按鈕就能得到完美結果。
六、從貓狗到萬物：對比學習的實際應用
對比學習的價值遠不止於「分辨貓狗」。一旦模型學會了「把相似拉近、把相異推遠」的通用能力，它就能遷移到幾乎所有需要「比較與判別」的場景。以下列舉幾個代表性應用。
6-1 醫療影像分析
醫療影像標註需要專業醫師，成本極高。對比學習可在大量未標註的 X 光、CT、病理切片上預訓練，再用少量標註資料微調，用於腫瘤偵測、病灶分類、影像檢索。例如，模型可以學會「同一患者的追蹤影像應相似」，進而輔助醫師找出異常變化。
6-2 工業瑕疵檢測
製造業的瑕疵樣本稀少且形態多變，難以蒐集足夠標註。對比學習可用正常樣本訓練，把「正常」的表徵聚在一起，推論時將偏離群集的樣本視為異常。這種「學習正常、偵測異常」的範式，已廣泛應用於面板、半導體、金屬件檢測。
6-3 推薦系統與語意搜尋
在電商與內容平台，對比學習被用來訓練使用者與商品的嵌入向量：點擊過的商品應靠近、未互動的商品應遠離。這種「雙塔對比」架構已成為現代推薦系統的主流。同樣地，以圖搜圖、跨語言檢索也都依賴對比學習建立共同的語意空間。
6-4 語音與多模態應用
對比學習也延伸到語音領域，例如 wav2vec 2.0 透過對比學習從未標註音檔中學到語音表徵。在多模態場景，CLIP 式的圖文對比已成為圖像生成、視覺問答、影片檢索的基礎設施。這些技術共同描繪出一個趨勢：對比學習正在成為「表徵學習的通用語言」。
七、結語：AI 分辨貓狗的啟示
回到最初的問題：為什麼 AI 能分辨貓和狗？表面上的答案是「因為它看過很多貓狗圖片」，但更深刻的答案是——因為它學會了如何在一個高維空間中，把相似的事物放在一起、把不同的事物分開。
對比學習的迷人之處，在於它把一個看似需要「理解語意」的任務，轉化為一個可計算的幾何問題。模型不需要知道「貓」這個詞的定義，也不需要人類告訴牠貓有幾條腿；它只需要從資料中觀察到「同一隻貓的各種樣貌彼此相似」，就能逐步建構出貓的語意區域。這種「從差異中學習」的能力，正是人類視覺系統的運作方式，也是當前 AI 最接近「常識」的技術路線之一。
當然，對比學習仍有其限制。它可能學到偏誤、可能被假負樣本誤導、也可能在細粒度任務上力有未逮。但作為一種「讓機器自己定義什麼是相似」的框架，它已經從根本上改變了我們訓練視覺模型的方式。從 SimCLR 到 MoCo、從 BYOL 到 CLIP，這條技術路線仍在快速演進。
下次當你的手機相簿自動把貓咪照片分類好時，不妨想想背後那場無聲的幾何舞蹈：數百萬張未標註的圖片，在一個我們看不見的高維空間裡，被一組精心設計的損失函數輕輕推拉，最終浮現出「貓」與「狗」的清晰邊界。這，就是對比學習的力量。
而對內容創作者、產品經理與開發者而言，理解這套邏輯的價值在於：它讓我們知道何時該用對比學習、如何設計增強策略、以及如何評估表徵品質。當你能用「拉近與推遠」的角度思考問題時，你會發現許多 AI 應用背後的共同語言，其實遠比想像中優雅而統一。