AI 的嵌入向量：為什麼它能判斷兩句話很像
嵌入向量試圖把這個「抽屜」具象化。它把每段文字放進一個高維空間，語意相近的文字會被放在附近，語意差距大的文字會被放在遠處。於是「判斷兩句話像不像」就從一個語言學難題，被轉化成一個幾何問題：算兩點之間的距離。這一步轉換看似簡單，卻是整個現代 AI 應用的基礎建設。
二、嵌入向量的本質：把意思變成一串數字
那麼，什麼是嵌入向量？用最直白的方式說：它是一個固定長度的數字陣列。例如某個模型輸出 768 個浮點數，那就代表這句話被表示成 768 維空間中的一個座標點。這串數字本身對人類沒有意義，你不會看著 [0.12, -0.47, 0.88, ...] 就讀出什麼，但對機器來說，它就是這句話的「語意指紋」。
關鍵在於：這串數字不是隨便亂給的。它是由模型在大量資料上訓練出來的，訓練過程會不斷調整參數，直到「語意相近的文字，向量也相近」這個性質盡可能成立。換句話說，向量的每一個維度並不是人類事先定義的「這個維度代表情緒、那個維度代表主題」，而是模型自己找到的一組壓縮表示。這也解釋了為什麼嵌入向量很難被人類直接解讀——它是機器自己發明的語言。
向量空間與距離：為什麼「方向」比「長度」重要
既然語意被表示成座標，判斷相似度自然就是算距離。但這裡有個實務上的重要細節：在多數文字嵌入模型裡，我們不太在意向量的長度（magnitude），而更在意向量的方向。原因是，向量長度常常受到一些與語意無關的因素影響，例如句子長短、詞頻高低、甚至是模型訓練時的偶然偏差。兩句話講同一件事，一句話寫得比較長、用詞比較華麗，向量長度可能就被拉大，但方向其實很接近。
因此，最常見的相似度指標是餘弦相似度（Cosine Similarity）：計算兩個向量夾角的餘弦值。夾角越小，餘弦值越接近 1，代表越相似；夾角 90 度時餘弦值為 0，代表無關；夾角接近 180 度時餘弦值接近 -1，代表方向相反。這個指標的好處是只看方向、不看長度，對於文本長度差異很大的場景特別穩健。
當然，實務上還有歐氏距離（L2）、內積（Dot Product）等選擇。選擇哪一種，取決於模型當初是怎麼訓練的：有些模型在訓練時就使用餘弦相似度作為目標，這時候推論也應該用餘弦；有些模型則是以內積為目標（例如某些對比學習模型），此時用內積會更一致。這也是為什麼很多向量資料庫會提供多種距離度量讓你選——用錯度量，效果會明顯打折。
從詞向量到句向量：一層層往上堆疊
嵌入向量的發展其實有階段性。最早廣為人知的是詞向量（Word Embedding），例如 Word2Vec、GloVe、FastText。它們把單詞映射到向量空間，著名的例子是「國王 - 男人 + 女人 ≈ 皇后」，展示了向量空間竟然能捕捉某種類比關係。詞向量在 2013 到 2017 年左右是 NLP 的主流，但它有個明顯限制：一個詞只有一個向量，無法處理一詞多義。
接著是上下文相關的表示（Contextual Embedding），代表是 ELMo、BERT 這一類模型。它們在產生某個詞的向量時，會參考整句話的上下文，所以「蘋果」在「吃蘋果」和「蘋果手機」裡會得到不同的向量。這是一次質的飛躍，因為模型終於能區分同一個詞在不同語境下的意思。
最後是句向量（Sentence Embedding）：把整句話或整段文章壓縮成一個固定長度的向量。這件事比想像中難，因為一句話的長度可能從五個字到五百個字，要把它們都塞進同一個固定維度的空間，並且保持語意結構，需要特別的訓練技巧。早期做法是把 BERT 輸出的詞向量取平均，但效果普通；後來 Sentence-BERT、SimCSE、以及各種對比學習方法出現，才讓句向量真正實用化。今天你在各種語意搜尋、RAG 系統裡看到的嵌入模型，大多屬於這一類。
三、它是怎麼「學」出來的：訓練目標決定語意品質
理解嵌入向量最關鍵的一步，是搞懂「模型是怎麼知道哪些句子該靠近、哪些該遠離」。這件事沒有標準答案，完全取決於訓練目標的設計。不同的訓練方式，會讓向量空間呈現出不同的語意結構。以下介紹三種最具代表性的思路。
分布假說與上下文預測：讓「常一起出現」變成「語意相近」
語言學裡有一個經典假設叫分布假說（Distributional Hypothesis）：一個詞的意思，由它經常出現的上下文決定。換句話說，「如果你告訴我一個詞旁邊常出現哪些詞，我就能猜出它的意思」。這個假設是 Word2Vec 這類模型的理論基礎。
Word2Vec 有兩種常見訓練方式：CBOW 和 Skip-gram。CBOW 是「用上下文猜中間的詞」，Skip-gram 是「用中間的詞猜上下文」。模型在大量文本上反覆做這個預測任務，為了猜得準，它必須學會讓語意相近的詞擁有相近的向量。因為「好吃的」和「美味的」出現在相似的上下文裡，模型就會把它們放在向量空間中相近的位置。
這種方法的優點是簡單、高效、不需要人工標註；缺點是它只學到「共現」的統計規律，不一定等於真正的語意理解。例如「總是」和「經常」常出現在相似上下文，向量會很接近，這沒問題；但某些反義詞（如「熱」和「冷」）也常出現在相似上下文（「今天很___」），向量可能意外地接近。這是純共現訓練的一個小缺陷。
注意力機制與上下文敏感：同一個詞，不同位置
Transformer 架構的出現，徹底改變了文字表示的方式。它的核心是自注意力機制（Self-Attention）：在處理某個詞時，模型會「看」句子裡的所有其他詞，並根據關聯程度決定要吸收多少資訊。這讓模型能夠動態地理解上下文，而不是把每個詞當成獨立的單位。
以 BERT 為代表，它使用「遮罩語言模型（Masked Language Model）」的訓練方式：隨機遮住句子中的某些詞，讓模型根據上下文猜回來。為了猜得準，模型必須學會語法結構、語意關聯、甚至一些世界知識。訓練完成後，模型內部的中間層輸出，就成了一種非常豐富的上下文表示。
不過要注意：BERT 本身擅長的是「理解」，它輸出的是每個詞的向量，而不是整句話的單一向量。如果你直接把 BERT 的詞向量平均起來當句向量，效果往往不如專門訓練過的句向量模型。這也是為什麼後來會出現 Sentence-BERT 這類改良架構——它在 BERT 之上加了池化層與特定的訓練目標，讓整句話可以被壓縮成一個高品質向量。
對比學習：把相似拉近、把不相似推遠
當代句向量模型最主流的訓練方式，是對比學習（Contrastive Learning）。它的思路非常直觀：給模型看一組「正樣本對」（語意相同的兩句話）和一組「負樣本對」（語意不同的兩句話），然後要求模型調整向量，讓正樣本對的距離變小、負樣本對的距離變大。
舉例來說，正樣本對可能是「這家餐廳的服務很好」和「服務態度令人滿意」；負樣本對可能是「這家餐廳的服務很好」和「這台車的油耗很高」。模型在成千上萬組這樣的配對上訓練，逐漸學會辨識什麼叫「語意相同」。
對比學習成功的關鍵，在於負樣本的品質。如果負樣本太容易區分（例如一個講餐廳、一個講汽車），模型學不到細膩的語意邊界；真正有價值的，是那些「看起來很像但意思不同」的困難負樣本（Hard Negative）。這也是為什麼像 SimCSE 這類方法會用各種技巧來生成高品質的正負樣本，例如對同一句話做兩次不同的 dropout，產生兩個略有差異的版本當作正樣本對。
訓練思路
代表方法
主要優勢
常見限制
上下文預測（共現統計）
Word2Vec、GloVe、FastText
訓練快、不需要標註資料
一詞一向量、難處理多義
遮罩語言模型
BERT、RoBERTa、DeBERTa
上下文敏感、語意表徵豐富
需額外池化與微調才能做句向量
對比學習
Sentence-BERT、SimCSE、雙塔模型
句向量品質高、適合檢索
訓練成本較高、負樣本品質影響大
四、實務上怎麼用：檢索、分類、去重與推薦
理解了原理之後，接下來要問的是：這個技術到底能拿來做什麼？嵌入向量的應用範圍其實遠比一般人想像的廣，因為只要能把「東西」轉成向量，就能用幾何方法處理相似性問題。以下整理幾個最常見的落地場景。
語意搜尋與 RAG：讓搜尋聽懂人話
傳統搜尋靠關鍵字倒排索引，語意搜尋則是把「查詢」和「文件」都轉成向量，然後在向量空間裡找最接近的文件。這種做法最大的好處，是使用者不需要猜測文件作者用了哪些詞。你搜「筆電很燙」，系統也能找到標題寫「機身散熱不良」的文章。
近年最熱門的應用是檢索增強生成（RAG, Retrieval-Augmented Generation）。大型語言模型雖然知識豐富，但它的知識有截止日期，也無法直接存取你的私有資料。RAG 的做法是：先把企業內部的文件切成小塊、全部轉成向量存進向量資料庫；使用者提問時，先把問題轉成向量，檢索出最相關的幾段文件，再把這些內容塞進提示詞裡讓模型回答。這樣模型就能根據「你提供的資料」作答，而不是憑空生成。
在這個流程裡，嵌入模型的品質直接決定了 RAG 的上限。如果檢索階段就抓錯文件，後面的生成再強也救不回來。所以實務上通常會花不少力氣在切塊策略（Chunking）、向量模型選擇、以及檢索結果的重排序（Rerank）上。
分類、分群與去重：把相似的東西自動歸堆
除了搜尋，嵌入向量也很適合處理「把相似項目歸在一起」的任務：
值得一提的是，嵌入向量不只適用於文字。圖像、音訊、影片都可以被轉成向量，甚至可以把文字和圖片放進同一個向量空間（這就是 CLIP 這類多模態模型的貢獻）。如此一來，你就可以用「一隻在雪地裡奔跑的柴犬」這樣的文字去搜尋圖片，系統會回傳語意相符的圖片，而不是只看檔名或標籤。
五、容易誤解的地方與品質陷阱
嵌入向量看起來很萬能，但實務上它有不少容易被忽略的陷阱。很多專案失敗不是因為技術選錯，而是因為對它的能力邊界有不切實際的期待。以下整理幾個最常見的誤區。
相似度高不等於答案正確
這是最常見、也最危險的誤解。餘弦相似度 0.85 只代表「在模型眼中，這兩段文字的語意方向很接近」，它不代表這兩段文字一定在講同一件事，更不代表其中一段能回答另一段。
舉個例子。「如何申請退款」和「退款需要幾個工作天」在語意上很接近，都是退款主題，但它們是「問題」與「另一個問題」，不是「問題」與「答案」。如果你的 RAG 系統只靠相似度檢索，很可能抓回一堆主題相關但無法回答問題的文件。這就是為什麼近年檢索系統越來越重視重排序模型，以及把「問題—答案」的配對關係納入訓練，而不是單純依賴通用語意相似度。
另一個相關誤區是「數值可比較」。不同模型、不同版本產生的相似度分數，不能直接互相比較。模型 A 算出的 0.7 和模型 B 算出的 0.7，代表的嚴格程度可能完全不同。所以門檻值一定要針對你的模型與資料重新校準，不能網路上抄一個數字就用。
維度、模型選擇與領域落差
很多人會問：「向量維度越高越好嗎？」答案是不一定。維度越高，理論上能承載的語意資訊越多，但同時也帶來更高的儲存成本與計算成本，而且在資料量不足時，高維度反而容易造成「維度災難」——所有點之間的距離趨於平均，區辨力下降。現代很多模型會刻意壓縮維度（例如 384 維、768 維），甚至提供「維度縮減」的選項，讓你在效果與成本之間取捨。
模型選擇上，則要特別注意領域落差。一個在通用網頁文本上訓練的模型，拿去處理醫療病歷、法律判決、或半導體製程文件，效果可能大打折扣，因為這些領域有大量專有名詞與特殊表達方式，通用模型未必學過。這時候的解法通常是：找領域適配的模型、用少量領域資料做微調、或者至少先用領域語料做繼續預訓練。
中文使用者還要特別留意多語與繁簡問題。有些模型以簡體中文或英文語料為主，對繁體中文的表現較弱；有些模型雖然支援多語，但跨語言檢索的品質参差不齊。如果你的應用場景是繁體中文社群內容（例如論壇、客服、內容平台），建議在選型時實際用自家語料做一次小規模評測，而不是只看論文或排行榜上的分數。
怎麼評估：不要只看「感覺很準」
嵌入模型的效果評估，實務上有兩種常見做法。第一種是內在評估：準備一批人工標註的句子對，標明「相似／不相似」，然後看模型排序的準確率。第二種是外在評估：直接把模型放進你的實際任務（檢索、分類、去重），看最終業務指標有沒有提升。
我的建議是：永遠以外部任務的表現為準。因為內在評估用的資料集，往往和你的真實場景分佈不同；一個在公開榜單上分數很高的模型，到了你的資料上未必好用。實務上最有效的做法，是從你自己的系統日誌裡撈出真實的使用者查詢與點擊紀錄，建立一個小而精的測試集，每次換模型或調參數都拿它來驗證。這比盲目追求最新模型可靠得多。
六、結語：嵌入向量是語意的地圖，不是真理的裁判
回到最初的問題：AI 為什麼能判斷兩句話很像？答案其實不神祕——它把語言轉換成了一組座標，然後用幾何距離來衡量相似程度。這個轉換的關鍵，在於模型透過大量訓練，學會了「語意相近的文字應該被放在附近」這個性質。從 Word2Vec 的共現統計，到 BERT 的上下文敏感，再到對比學習的句向量，技術演進的方向始終一致：讓向量空間更貼近人類對語意的直覺。
但也要記得，嵌入向量是一張「語意的地圖」，不是「真理的裁判」。地圖能告訴你兩個地點有多近，卻不能告訴你哪個地點值得去。同樣地，向量能告訴你兩段文字在語意上有多接近，卻不能保證其中一段就是正確答案、不能保證它沒有偏見、也不能保證它符合你的業務邏輯。真正可靠的系統，永遠是把嵌入向量當作眾多訊號之一，再搭配規則、重排序、人工審核與持續評測。
對「雅寶社區 · 頂客論壇」這類內容平台來說，嵌入向量其實是一個相對低成本、高回報的切入點：你可以先用它來改善站內搜尋，讓使用者不必猜關鍵字；再進一步用它做相似文章推薦、重複內容偵測、甚至自動標註主題標籤。等這些基礎建設穩定之後，再往 RAG、智慧客服等進階應用走，會是比較務實的路徑。技術本身不難，難的是理解它的邊界，並且願意用真實資料反覆驗證。做到這一點，你就已經比大多數只會喊「我們要導入 AI」的團隊走得遠了。