自監督學習：為什麼 AI 不用標籤也能學
1.3 假設任務（Pretext Task）的魔法
學術界把這種「自己造出來的訓練任務」稱為假設任務（Pretext Task）。這個名字很有意思——它承認任務本身未必是最終目標，而是一種手段、一種藉口，目的是逼模型學會有用的表徵（Representation）。
常見的假設任務設計包括：
順序預測：把打亂的片段重新排序，或預測下一段會出現什麼。
相對位置：給兩個影像區塊，判斷它們在原始圖片中的相對位置關係。
這些任務看似與最終應用無關，但背後有一個共同的假設：如果模型能解決這些任務，它就必須先理解資料的內在結構。要正確還原被遮住的字詞，模型得懂語法與語意；要判斷兩張圖是否同源，模型得懂物件與場景；要預測影片下一幀，模型得懂物理與因果。假設任務就像一座橋，把「無標註資料」轉換成「可訓練的訊號」。
二、自監督學習為什麼有效？三個關鍵機制
理解了「怎麼做」，下一個問題是「為什麼這樣做會有用」。這不是玄學，背後有三個相對清楚的機制在支撐。
2.1 資料的內在結構就是最豐富的標籤
自然界的資料從來不是隨機堆疊的。文字有語法規則與語意依賴，圖片有空間連續性與物件結構，影片有時間因果，聲音有頻譜規律。這些結構本身就攜帶著大量資訊，而監督式學習的單一標籤，反而把這些資訊壓縮掉了。
自監督學習做的事，是把這些被忽略的結構重新釋放出來。當模型必須預測一段文字的下一個詞，它被迫學習詞彙共現、句法結構、甚至世界知識；當模型必須還原被遮住的影像區域，它被迫學習紋理延續、光影邏輯、物件形狀。這些能力無法從「這是貓」這種單一標籤中學到，卻對下游任務極其有用。
更關鍵的是，這種學習方式不需要人為定義分類體系。人類的分類標籤永遠是有限且帶有偏見的，但資料的內在結構是無窮的。模型從結構中學到的表徵，往往比人類設計的標籤更細緻、更通用。
2.2 表徵學習：把世界壓縮成有意義的向量
自監督學習真正的產物，不是某個特定任務的預測能力，而是表徵（Representation）。所謂表徵，就是把原始資料轉換成一組稠密向量，而這組向量的幾何關係，能夠反映資料的語意關係。
打個比方。如果一個模型真正理解了「貓」與「狗」的差異，那麼在它的向量空間裡，所有貓的圖片應該聚在一起，所有狗的圖片聚在另一區，而「貓」與「狗」之間的距離，應該比「貓」與「汽車」之間的距離更近。這種幾何結構不是人類教出來的，而是模型從資料中自己組織出來的。
這套表徵的好處在於可遷移性。一旦模型學會了一套好的視覺或語言表徵，你只需要用少量標註資料微調（Fine-tune），甚至完全不做微調，就能把它應用到分類、偵測、分割、檢索、問答等各種下游任務。這就是「預訓練 + 微調」範式的根本邏輯，也是自監督學習能夠撬動整個 AI 產業的原因。
2.3 對比學習與生成式學習：兩條主要路線
目前的自監督學習，大致可以分成兩條技術路線，它們的哲學不同，適用的場景也不同。
第一條是對比學習（Contrastive Learning）。它的核心思想是「拉近相似、推遠相異」。給模型同一張圖片的兩個增強視角，要求它們在向量空間中靠近；同時給其他圖片的視角，要求它們遠離。模型不需要知道圖片裡有什麼，只需要學會判斷「這兩個東西是不是同一來源」。這條路線的代表作包括 SimCLR、MoCo、BYOL，在電腦視覺領域取得了極大成功。
第二條是生成式與重建式學習（Generative / Reconstruction）。它的核心思想是「還原被破壞的資訊」。把輸入的一部分遮住或破壞，讓模型重建原始內容。BERT 的遮罩語言模型、MAE 的遮罩影像建模、GPT 的下一詞預測，都屬於這一類。這條路線的優勢在於訓練訊號密集——每一個被遮住的 token 或 patch 都能產生損失，學習效率高。
兩條路線並非互斥。近年的研究愈來愈傾向混合使用，例如同時結合對比損失與重建損失，或在生成式架構中加入對比式的判別目標。這種融合趨勢，也讓自監督學習的效果持續逼近、甚至超越監督式學習。
三、主流方法與代表技術
接下來，我們把視角拉近，看看幾個真正改變產業格局的代表性方法。理解這些方法，你就能掌握自監督學習的技術脈絡。
3.1 對比學習：SimCLR 與 MoCo
SimCLR 是 Google 在 2020 年提出的對比學習框架，它的設計極其簡潔：對同一張圖片做兩種隨機增強（隨機裁剪、顏色抖動、翻轉、模糊），得到兩個視角，然後用同一個編碼器把它們映射成向量，訓練目標是讓同一張圖的兩個視角向量盡量接近，同時與批次中其他圖片的向量保持距離。
SimCLR 證明了幾件事：第一，資料增強的策略至關重要，沒有好的增強，對比學習幾乎學不到東西；第二，大批次（Large Batch）對效果有明顯幫助，因為批次越大，負樣本越多，對比訊號越豐富；第三，自監督學到的表徵，經過少量微調後，效能可以非常接近甚至超越全監督訓練。
MoCo（Momentum Contrast）則從另一個角度解決問題。它觀察到對比學習需要大量負樣本，但 GPU 記憶體有限，於是他引入了「動量編碼器」與「佇列」機制：用一個動量更新的編碼器產生穩定的目標向量，並把歷史批次的特徵存進佇列，讓模型可以用小批次模擬大批次的效果。MoCo 的出現，讓對比學習在資源有限的情況下也能穩定訓練，進一步推動了這條路線的普及。
3.2 遮罩建模：BERT 與 MAE
如果說對比學習是視覺領域的代表，那遮罩建模就是語言與視覺領域的雙棲明星。
BERT 在 2018 年提出時，幾乎重新定義了自然語言處理的遊戲規則。它的做法是：隨機遮住句子中約 15% 的詞，讓模型根據上下文預測被遮住的詞。這個任務看似簡單，卻逼模型學會語法、語意、指代關係、甚至常識推理。BERT 的預訓練模型成為此後數年 NLP 任務的標準起點，「預訓練 + 微調」也成為業界共識。
MAE（Masked Autoencoder）則把這個思路搬到視覺領域。它把圖片切成許多小區塊（patch），隨機遮住其中 75% 甚至更多，只讓模型看到剩下的部分，然後要求它重建被遮住的區塊。這個「高遮罩比例」的設計非常巧妙——它讓模型無法靠鄰近像素的簡單插值取巧，必須真正理解影像的結構與語意。MAE 的訓練效率極高，也證明遮罩建模在視覺領域同樣可行。
3.3 自回歸預測：GPT 系列與下一詞預測
GPT 系列走的是第三條路：自回歸語言建模。它的任務簡單到不能再簡單——給定前面的文字，預測下一個詞。訓練資料就是網際網路上無盡的文字，完全不需要人工標註。
這個方法的威力在於規模。當模型參數、資料量、計算量同時放大到某個臨界點，下一詞預測這個看似簡單的任務，竟然能湧現出翻譯、問答、推理、寫程式等能力。這正是「湧現能力（Emergent Ability）」的概念，也是大型語言模型之所以震撼世界的原因。GPT 的成功，讓整個產業重新認識到：自監督學習不只是預訓練手段，它本身就是通往通用能力的路徑。
3.4 新興方向：DINO 與 JEPA
技術仍在快速演進。Meta 提出的 DINO 系列，結合了自蒸餾（Self-Distillation）與對比學習，不需要負樣本，也不需要重建像素，卻能學到極具語意結構的視覺表徵。DINOv2 更進一步展示了自監督視覺特徵在分割、深度估計、檢索等任務上的強大通用性。
而 Yann LeCun 大力提倡的 JEPA（Joint Embedding Predictive Architecture）則提出一個更激進的想法：與其重建原始像素，不如在抽象表徵空間中做預測。因為像素層級的細節往往充滿雜訊，真正有用的是高層語意。JEPA 的目標是讓模型學會「預測世界的抽象狀態」，這被視為通往更高效、更接近人類學習方式的一條可能路徑。
四、自監督學習的實際應用
談完方法，我們來看它在真實世界裡到底改變了什麼。可以說，今天你使用的絕大多數 AI 服務，背後都有自監督學習的影子。
4.1 大型語言模型與生成式 AI
最直接的例子就是大型語言模型。ChatGPT、Claude、Gemini 這些模型的預訓練階段，本質上就是大規模自監督學習——餵進數以兆計的 token，讓模型不斷預測下一個詞。這個階段不需要任何人工標註，卻奠定了模型絕大多數的語言能力與世界知識。
之後的指令微調（Instruction Tuning）與人類回饋強化學習（RLHF）才需要標註資料，但這些資料量相對預訓練而言只是滄海一粟。換句話說，自監督學習負責打造基礎能力，監督式學習負責對齊人類偏好，兩者分工明確。
4.2 電腦視覺與影像理解
在視覺領域，自監督學習解決了長年困擾產業的標註瓶頸。以醫療影像為例，專業標註極其昂貴且耗時，但醫院累積的無標註影像卻是海量。透過自監督預訓練，模型可以先從這些無標註影像中學到解剖結構與病理特徵，再用少量標註資料微調，就能達到接近專家的表現。
工業檢測也是類似邏輯。產線上每天產生大量產品影像，但瑕疵樣本稀少且標註困難。自監督學習讓模型先學會「正常產品長什麼樣」，進而把偏離常態的樣本標記為異常，這在缺陷檢測、異常偵測場景中特別有效。
4.3 語音、多模態與跨領域遷移
語音領域的自監督學習同樣蓬勃。wav2vec 2.0、HuBERT 等模型透過遮罩音訊片段並預測來學習語音表徵，大幅降低了語音辨識對轉錄資料的依賴，對低資源語言的幫助尤其明顯。
多模態領域更是自監督學習的舞台。CLIP 透過對比學習，把圖片與文字映射到同一個向量空間，讓「以文搜圖」、「零樣本分類」成為可能。這個能力後來成為許多生成式 AI 系統的基礎元件，也是文字生圖技術的重要推手。
4.4 垂直領域的落地價值
在金融、法律、生醫、製造等垂直領域，自監督學習的價值特別突出，因為這些領域的標註資料往往涉及專業知識與隱私限制，取得成本極高。透過在領域內部的無標註資料上做自監督預訓練，企業可以在不依賴大量標註的前提下，建立具備領域知識的模型，再針對特定任務做少量微調。這種「先泛化、再特化」的策略，正在成為企業導入 AI 的主流做法。
五、挑戰與限制：自監督學習不是萬靈丹
自監督學習很強大，但它並不是沒有代價。理解它的限制，才能做出正確的技術判斷。
5.1 計算成本與能源消耗
自監督學習的最大門檻，是把「標註成本」換成了「計算成本」。訓練一個大型自監督模型，往往需要數百甚至數千顆 GPU 跑上數週，背後的電力、硬體與冷卻成本極為可觀。這意味著自監督學習的門檻並沒有消失，只是從「人力密集」轉變成「資本密集」。對資源有限的研究團隊或中小企業而言，從頭預訓練幾乎不可能，多半只能使用開源模型做微調。
5.2 評估困難與目標錯位
監督式學習的評估很直觀——準確率、F1 分數、AUC，有明確的標準答案。但自監督學習的假設任務本身不是最終目標，它的損失下降不代表下游任務一定變好。這造成一個實務難題：你很難在預訓練階段就判斷這個模型到底學得好不好。
更麻煩的是「目標錯位」。模型可能把大量容量花在解決假設任務的捷徑上，例如靠紋理或顏色統計取巧，而沒有學到真正的語意結構。這也是為什麼學界不斷設計更難的假設任務、更嚴格的評估基準，試圖確保學到的表徵真的有用。
5.3 資料偏誤、版權與安全風險
自監督學習吃的是網際網路的原始資料，這意味著它會一併吸收資料中的偏誤、歧視、錯誤資訊與有害內容。因為沒有標註階段的人工審查，這些問題更難被及時發現。模型可能學會性別刻板印象、種族偏見，或生成不實資訊，而這些行為往往在部署後才浮現。
此外，訓練資料的版權與隱私問題也日益受到關注。大量網路文本與圖片被用於預訓練，但其授權狀態往往不明。這不僅是法律風險，也牽動整個 AI 產業的資料治理規範。如何在規模與合規之間取得平衡，是未來幾年必須面對的課題。
5.4 對「高品質標註」的需求並未消失
最後要澄清一個常見誤解：自監督學習並不是要消滅標註，而是改變標註的使用方式。預訓練階段可以完全無標註，但要讓模型真正對齊人類需求、符合特定任務規格，仍然需要高品質的標註資料。差別在於，所需的標註量從「百萬級」降到「千級」甚至「百級」，而且標註的重點從「教模型認識世界」轉為「教模型理解人類意圖」。這是一種效率上的巨大提升，而不是標註的終結。
六、未來展望：從「學表徵」到「學世界」
回顧這幾年的發展，自監督學習的演進脈絡其實很清楚：從「用假設任務學表徵」，到「用大規模預訓練學通用能力」，再到「用抽象預測學世界模型」。這條路徑的核心，始終是同一件事——如何在不依賴人工標籤的前提下，讓模型從資料中萃取愈來愈高層次的理解。
未來幾個值得關注的方向包括：其一是效率，如何在更少的計算資源下達成同等效果，例如更聰明的遮罩策略、更高效的架構設計；其二是多模態融合，讓模型同時從文字、影像、聲音、動作中學習，建立更完整的世界表徵；其三是與強化學習的結合，讓模型不只在被動資料上學習，還能透過與環境互動來自我監督；其四是可解釋性與安全性，讓自監督學到的表徵能夠被人類理解與稽核。
對實務工作者而言，最實際的啟示是：不要急著標註，先問問你的資料裡藏了多少免費的訓練訊號。你的日誌、你的文件、你的感測器讀數、你的內部知識庫，每一份無標註資料都可能成為模型的老師。自監督學習教會我們的，不只是技術方法，更是一種資源觀的轉變——在這個資料爆炸的時代，真正的瓶頸往往不是資料不夠，而是我們還沒學會如何讓資料自己說話。
AI 不用標籤也能學，並不是因為它擺脫了監督，而是因為它找到了一種更根本的監督來源：資料本身的結構。當模型學會從世界的規律中自我提問、自我驗證，它離真正的理解，也就更近了一步。
而對我們這些使用 AI 的人來說，這或許是最值得記住的一課：最好的答案，往往就藏在問題本身之中。