AI 的零樣本學習：為什麼沒看過也能分類
第一種是傳統零樣本學習（Traditional ZSL）。在這種設定下，測試階段的樣本只會來自未見類別，模型只需在未見類別中做選擇。這種設定的難度較低，因為模型只要學會區分未見類別之間的差異即可。但它也比較不貼近真實應用，因為現實中我們不會預先知道輸入樣本一定屬於某個全新的類別。
第二種是廣義零樣本學習（Generalized ZSL, GZSL）。這是更常見也更困難的設定：測試樣本可能來自已見類別，也可能來自未見類別，模型必須同時在兩者之間做判斷。這更接近真實世界的需求，因為新的類別不會把舊的類別取代掉；銀行可能同時要辨識既有的詐騙手法與新型態的詐騙手法，醫療系統也可能同時要判斷已知疾病與罕見疾病。廣義設定下，模型容易對已見類別產生偏誤（因為訓練時只看過已見類別），如何平衡兩邊的辨識率，是這方面研究的核心挑戰之一。
第三種是領域泛化（Domain Generalization）。嚴格來說它與零樣本學習不完全相同，但經常被放在一起討論。領域泛化處理的是「測試資料的分布與訓練資料不同」的情況，例如用白天拍攝的照片訓練模型，卻要在夜間照片上測試。模型必須學會忽略與任務無關的風格差異，抓住真正重要的特徵。這種能力與零樣本學習的精神相通：都是要讓模型在「沒見過的狀況」下仍能維持表現。
二、零樣本學習的運作原理：從詞向量到語意橋接
理解零樣本學習的定義之後，下一個問題自然是：它到底怎麼做到的？這一節我們會拆解幾個關鍵技術環節，包括語意嵌入、視覺與語意的對齊，以及近年生成式模型帶來的新思路。這些技術環環相扣，共同支撐起「沒看過也能分類」的能力。
2-1 語意嵌入：讓 AI 理解「標籤的意義」
零樣本學習的第一步，是讓機器理解「類別標籤」本身的意義。對人類來說，「斑馬」這個詞背後承載著豐富的視覺與概念聯想；但對機器而言，類別標籤原本只是一個離散的編號（例如類別 17、類別 42）。如果模型只看到編號，它無法知道類別 17 和類別 42 之間有什麼關聯。因此，研究者引入了「語意嵌入」技術，把類別標籤轉換成高維度的向量。
最常見的做法是使用詞向量模型（如 Word2Vec、GloVe 或後來的大型語言模型），將類別名稱映射到一個連續的向量空間中。在這個空間裡，語意相近的詞會靠得比較近。例如「貓」和「狗」的向量距離會比「貓」和「汽車」近得多。這樣的表示法讓模型能夠理解類別之間的語意關係，並在遇到未見類別時，透過它在向量空間中的位置，推測它與已見類別的關聯。
除了詞向量之外，另一種常見的語意表示是「屬性向量」。研究者會為每個類別定義一組人為設定的屬性，例如「有毛髮嗎？」「會飛嗎？」「有四條腿嗎？」「是肉食性嗎？」等等。每個類別對應一個二元或連續值的屬性向量，這個向量就是該類別在語意空間中的座標。這種方式的好處是屬性定義相對直觀，且能精準描述類別之間的差異；缺點是需要人工設計屬性，成本較高，且屬性設計的好壞會直接影響模型表現。
2-2 視覺—語意對齊：跨越模態的橋樑
有了語意表示之後，下一個問題是：如何把「圖片」和「語意」對應起來？這就涉及「跨模態對齊」的技術。簡單來說，模型需要學習一個映射函數，把視覺特徵轉換到語意空間，或者反過來把語意特徵轉換到視覺空間，使得同一個類別的視覺特徵與語意特徵盡量靠近。
一種直覺的做法是：用已見類別的資料訓練一個從視覺特徵到語意向量的迴歸模型。訓練完成後，這個模型可以把任何一張圖片的視覺特徵轉換成語意向量，然後我們只需要比較這個向量與各個未見類別的語意向量之間的距離，最接近的那個類別就是預測結果。這種方法稱為「視覺到語意的映射」。
另一種做法是反向的「語意到視覺的映射」，把類別的語意向量轉換成視覺空間中的代表點，再比較輸入圖片與這些代表點的距離。還有一種更對稱的做法，是學習一個共同的嵌入空間，讓視覺特徵與語意特徵都被投影到同一個空間中，並在這個空間裡進行相似度比較。無論採取哪種方式，核心概念都是一樣的：用語意空間作為中介，讓模型能夠處理訓練時沒見過的類別。
值得注意的是，這類方法能否成功，很大程度取決於「已見類別」與「未見類別」之間的語意關聯性。如果未見類別與已見類別在語意上完全沒有交集，模型就很難做出合理的推論。例如，如果訓練資料只有各種車輛，而要辨識的未見類別是「細菌」，兩者語意差距太大，零樣本學習的效果就會很差。這也是為什麼研究者經常強調：零樣本學習不是魔法，它依賴的是「知識的遷移」，而遷移的前提是兩者之間存在可用的關聯。
2-3 生成式模型如何助攻：從 GAN 到擴散模型
近年來，生成式模型的崛起為零樣本學習帶來了新的思路。傳統方法的瓶頸在於：未見類別完全沒有視覺資料，模型只能靠語意推論，容易產生偏誤。生成式模型則提供了一個大膽的解法：既然沒有未見類別的圖片，那就「生成」出來。
具體做法是這樣的：利用生成對抗網路（GAN）或擴散模型（Diffusion Model），根據未見類別的語意描述，合成出該類別的「偽樣本」。例如給定「斑馬」的屬性向量，生成模型可以根據已學到的視覺特徵規律，生成一些看起來像斑馬的圖片。然後，這些合成圖片就可以當作訓練資料，讓分類器學會辨識這個原本沒見過的類別。這種方法被稱為「生成式零樣本學習」，在近幾年的研究中取得了相當不錯的成果。
生成式方法的優勢在於，它把「零樣本」問題轉化為「有樣本」問題：雖然樣本是合成的，但至少模型有了具體的視覺參考。這種做法也讓廣義零樣本學習的難度大幅降低，因為模型可以同時在真實的已見類別樣本與合成的未見類別樣本上進行訓練，減少對已見類別的偏誤。當然，生成樣本的品質是關鍵：如果生成出來的圖片不夠真實或不夠多樣，反而可能誤導模型。因此，如何控制生成品質、確保語意與視覺的一致性，是目前研究的重點之一。
三、零樣本學習的實際應用場景
談了這麼多原理，讀者可能會問：這項技術到底能用在哪裡？事實上，零樣本學習的應用範圍比想像中廣泛，尤其在「新類別層出不窮、標註成本高昂」的領域，它展現出了相當大的潛力。以下我們從影像、語言到跨領域應用，分別舉例說明。
3-1 影像辨識與物件偵測
影像辨識是零樣本學習最早也最經典的應用領域。在傳統的影像分類任務中，要增加一個新的辨識類別，就得重新蒐集資料、重新標註、重新訓練模型，曠日廢時。零樣本學習則讓系統能夠在不大幅修改的情況下，快速支援新類別。例如野生動物監測系統可能原本只訓練過常見的哺乳類動物，當研究人員在山區拍到一種從未記錄過的鳥類時，系統可以透過該鳥類的語意描述（羽毛顏色、體型、叫聲特徵等），嘗試給出合理的辨識建議，輔助研究人員進行初步篩選。
在物件偵測方面，零樣本學習也有應用空間。傳統物件偵測模型只能偵測訓練時定義好的物件類別，但現實場景中經常會出現意料之外的物件。透過零樣本技術，系統可以在遇到新物件時，根據文字描述或屬性線索進行初步判斷。這在自動駕駛、智慧監控、零售貨架分析等場景都有潛在價值。例如零售業者可能希望系統辨識貨架上的新商品，但新商品層出不窮，不可能為每個商品都重新訓練模型；零樣本學習提供了一條更輕量的因應之道。
3-2 自然語言處理中的零樣本分類
零樣本學習在自然語言處理（NLP）領域的應用同樣精彩，尤其是近年大型語言模型的興起，更讓「零樣本」成為熱門關鍵字。所謂「零樣本分類」，指的是模型在沒有針對特定任務進行微調的情況下，直接根據任務描述完成分類。例如給模型一段文字和幾個類別標籤（「正面」「負面」「中立」），模型就能判斷這段文字的情感傾向，即使它從未針對這個特定的情感分類任務訓練過。
這種能力背後的原理，與前面提到的語意對齊密切相關。大型語言模型在預訓練階段吸收了海量文本，學會了詞彙與概念之間的深層關聯。當我們給定任務描述時，模型可以透過語意理解，將輸入文本與類別標籤進行比對，做出合理判斷。這種「提示式」（prompt-based）的零樣本分類，已經被廣泛應用於客服郵件分類、新聞主題標記、內容審核等場景。它的優勢在於部署快速、無需標註資料，特別適合標註成本高或類別經常變動的任務。
當然，零樣本分類的效果仍不如有監督的微調模型穩定，尤其在需要專業知識或細緻判斷的領域，仍需要人工把關。但作為一個快速初篩的工具，它已經展現出實用價值。
3-3 醫療、工業與新興領域的落地案例
在醫療領域，零樣本學習的潛力特別受到期待。醫學影像的標註需要專業醫師投入大量時間，且罕見疾病的樣本本來就稀少，很難蒐集足夠的訓練資料。零樣本學習提供了一種可能性：透過疾病在醫學文獻中的描述、病理特徵的語意資訊，讓模型在樣本不足的情況下仍能提供輔助診斷建議。例如面板鏡影像中的罕見皮膚病變、病理切片中的特殊細胞型態，都可以嘗試用零樣本方法進行初步辨識。當然，醫療應用對準確度與可解釋性的要求極高，目前這類系統多半仍定位為「輔助工具」，最終判斷仍由醫師負責。
在工業領域，零樣本學習可以用於瑕疵檢測。產線上可能出現前所未見的瑕疵型態，傳統模型只能偵測訓練時定義好的瑕疵類別。透過零樣本技術，系統可以根據瑕疵的語意描述（例如「刮痕」「變色」「缺角」）進行初步分類，協助品管人員快速定位問題。這對於產品種類多、瑕疵型態變化大的製造業特別有價值。
此外，在生物多樣性監測、天文觀測、文物鑑定等領域，零樣本學習也陸續出現應用案例。這些領域的共同特點是：類別繁多、專業標註人力有限、新類別不斷出現。零樣本學習正好契合這些需求，讓 AI 系統能夠在有限的標註資源下，仍保持一定的辨識彈性。
四、零樣本學習的挑戰與限制
儘管零樣本學習聽起來很美好，我們也必須誠實面對它目前的限制。任何技術都有其適用邊界，過度誇大零樣本學習的能力，反而可能導致錯誤的期待與誤用。以下整理幾個主要挑戰。
4-1 語意鴻溝與領域偏移
零樣本學習的核心假設是：語意描述能夠有效傳達類別的視覺特徵。然而，語言與視覺之間存在本質上的「語意鴻溝」。人類用語言描述一個物件時，往往會省略許多視覺細節，而这些細節可能正是區分類別的關鍵。例如「有条纹的動物」這樣的描述，可能同時適用於斑馬、老虎、條紋貓等多種動物，單靠語言無法精確區分。模型若過度依賴語意描述，就容易產生混淆。
另一個問題是「領域偏移」。訓練資料與測試資料的分布可能不一致，例如訓練時用的圖片多為棚拍商品照，測試時卻是手機隨手拍的日常生活照。這種分布差異會讓模型學到的視覺—語意映射失效。零樣本學習因為缺乏未見類別的真實樣本，更難偵測與修正這類偏移，這是實務部署時必須特別留意的風險。
4-2 偏見與幻覺風險
零樣本學習依賴語意描述與既有知識進行推論，這也意味著它可能繼承訓練資料與語意表示中的偏見。例如某些詞向量本身可能帶有性別或種族偏見，模型若據此進行推論，可能產生不公平的分類結果。此外，在缺乏真實樣本驗證的情況下，模型可能產生「幻覺」——也就是自信地給出錯誤的判斷。在醫療、金融、安全等高風險領域，這種風險尤其需要謹慎管理。
因此，實務上使用零樣本模型時，通常會搭配信心分數、人工覆核機制，以及持續的監控與校正。零樣本學習不應該被視為「一次設定就永久有效」的解決方案，而是一個需要持續維護與驗證的系統元件。
4-3 評估標準的困境
如何公平評估零樣本學習的效果，本身也是一個挑戰。如前面提到的，廣義零樣本學習中，模型必須同時辨識已見與未見類別，而這兩類的辨識率往往此消彼長。如果只看整體準確率，可能會掩蓋模型對未見類別的辨識能力不足；如果只看未見類別的準確率，又可能忽略模型對已見類別的災難性遺忘。因此，研究者通常會同時報告兩類準確率，並使用調和平均數（Harmonic Mean）等指標來綜合評估。
此外，不同研究使用的資料集、語意描述、訓練設定都不盡相同，跨研究的比較並不容易。這也提醒我們，在看到某篇研究宣稱「零樣本準確率達到多少」時，應該進一步了解其設定的細節，而不是直接套用到自己的應用場景。
五、零樣本學習的未來趨勢與展望
展望未來，零樣本學習的發展與幾個更大的 AI 趨勢密切相關。多模態大模型的成熟、少樣本與持續學習的整合，以及產業應用的深化，都將形塑這項技術的下一步。以下分別討論。
5-1 多模態大模型的推動
近年來，多模態大模型（如 CLIP 及其後續發展）的出現，為零樣本學習注入了新的動能。這類模型在預訓練階段就同時接觸大量圖像與文字配對資料，學會了視覺與語言的聯合表示。這意味著它們天生就具備跨模態對齊的能力，可以直接用文字描述來進行零樣本分類，而不需要額外訓練一個映射函數。例如給定「一張有狗的圖片」這樣的文字提示，模型就能判斷輸入圖片是否符合描述。這種「文字提示分類」已經成為零樣本學習的新典範。
多模態大模型的優勢在於其常識知識與泛化能力。它們在海量網路資料上預訓練，對世界的理解遠比傳統小模型豐富。當遇到未見類別時，模型可以調用這些內隱知識進行推論，效果往往優於傳統的屬性式方法。不過，這類模型也有其限制，例如推論成本較高、對提示語的設計敏感、以及可能帶有訓練資料中的偏見。如何有效運用這些大模型、同時控制其風險，是未來的重要課題。
5-2 從零樣本到少樣本與持續學習
零樣本學習不會孤軍奮戰，它與「少樣本學習」（Few-shot Learning）及「持續學習」（Continual Learning）的結合，是另一個明顯趨勢。實務上，完全零樣本的場景並不常見；更常見的情況是，我們一開始沒有樣本，但隨著時間推移，會逐漸蒐集到少量樣本。少樣本學習處理的是「只有極少數樣本」的情況，而零樣本學習則是它的極端版本。兩者結合，可以形成一個循序漸進的學習策略：先用零樣本方式快速上線，再隨著資料累積逐步微調，提升準確度。
持續學習則關注模型如何在不遺忘舊知識的前提下，持續學習新類別。真實世界的類別是動態變化的，今天的「未見類別」明天可能變成「已見類別」。一個理想的系統應該能夠在遇到新類別時快速適應，同時保留對舊類別的辨識能力。零樣本學習在其中扮演「冷啟動」的角色，幫助系統在新類別出現時先有基本的辨識能力，後續再透過少量樣本進行強化。
5-3 對產業與社會的影響
從產業角度來看，零樣本學習降低了 AI 部署的門檻。過去，導入一個 AI 分類系統往往需要大量標註資料與漫長的開發週期；零樣本技術讓企業能夠更快速地因應新需求，尤其對中小企業或資源有限的團隊來說，這是一大助力。例如一家小型電商想要自動分類商品評論，可能沒有足夠的標註資料訓練專屬模型，但透過零樣本分類工具，就能快速建立初步的分類流程。
從社會角度來看，零樣本學習也帶來一些值得思考的議題。當 AI 系統能夠在缺乏驗證資料的情況下做出判斷，我們該如何確保其決策的可靠性與公平性？當模型依賴語言描述來認識世界，語言中的偏見是否會被放大？這些問題沒有簡單的答案，但隨著技術普及，相關的治理與規範討論勢必會越來越重要。
六、結語：沒看過，不代表學不會
回顧整篇文章，我們從零樣本學習的定義出發，說明了它如何透過語意空間與跨模態對齊，讓 AI 在沒有看過某類別資料的情況下仍能進行分類。我們也看到了生成式模型帶來的新思路，以及這項技術在影像、語言、醫療、工業等領域的實際應用。同時，我們誠實地面對了它的限制：語意鴻溝、領域偏移、偏見與評估困境，都是目前仍待克服的挑戰。
零樣本學習的迷人之處，在於它試圖模仿人類「舉一反三」的認知能力。人類之所以能夠在沒見過某樣東西的情況下辨識它，是因為我們擁有豐富的世界知識與語言能力，能夠將新事物與既有概念連結起來。零樣本學習正是朝這個方向努力：讓 AI 不再只是死記硬背的鸚鵡，而是能夠運用語意知識進行推論的學習者。
當然，目前的零樣本學習離人類的認知彈性還有很長一段距離。它依賴精心設計的語意描述、需要大量的預訓練知識、且在面對全新領域時仍可能失準。但隨著多模態大模型的發展、生成式技術的成熟，以及與少樣本、持續學習的整合，我們有理由相信，未來的 AI 系統將會越來越擅長在「沒看過」的情況下做出合理判斷。
對於關注 AI 趨勢的讀者來說，零樣本學習不只是一項技術名詞，它代表了一種思維方式的轉變：從「蒐集更多資料」轉向「更聰明地運用既有知識」。在資料爆炸但標註資源有限的時代，這種能力將越來越關鍵。下一次當你看到 AI 辨識出一個它「理應沒見過」的東西時，不妨想想背後的語意橋接與跨模態對齊——那正是零樣本學習默默運作的證明。