AI 的語音辨識：為什麼吵雜環境聽不懂
這個架構的弱點很明確：當噪音把某個音素的頻譜蓋掉，聲學模型在該幀的機率分布就會變得平坦、毫無信心。此時解碼器只能大量依賴語言模型來「猜」。如果句子是常見的固定用法，還有機會猜對；但如果句子裡有專有名詞、人名、地名、產品型號，語言模型幫不上忙，錯誤就會直接暴露出來。
3. 端到端模型改變了什麼
近年主流已轉向「端到端」（end-to-end）架構，直接把聲學特徵映射成文字，不再需要獨立的發音詞典與 HMM 狀態對齊。常見的做法包括 CTC（Connectionist Temporal Classification）、RNN-Transducer（RNN-T）、以及基於注意力機制的編碼器—解碼器模型。骨幹網路從早期的 LSTM，演進到近年廣泛使用的 Conformer，也就是把卷積的局部特徵擷取能力與 Transformer 的全局注意力結合起來。
更大型的模型則走向「大規模預訓練」：例如 wav2vec 2.0、HuBERT、WavLM 這類自監督學習模型，先用大量無標註語音學出通用的語音表徵，再微調到辨識任務；或是 Whisper 這類用數十萬小時多語言、多條件語料訓練出來的模型，直接把多語辨識、語音翻譯、甚至某種程度的噪音穩健性一起納入。
端到端確實簡化了流程、提升了準確率，但必須說清楚一件事：它並沒有讓噪音問題消失，只是把問題從「模組設計」轉移到「資料分布」。端到端模型的所有魯棒性，幾乎都來自它見過多少種吵雜情境。沒見過的噪音型態，它一樣會崩潰。而且端到端模型還帶來一個新麻煩：在低訊噪比或語音模糊的情況下，它們有時會「幻覺」出根本不存在的文字，輸出流暢但完全錯誤的句子，這比直接輸出亂碼更難察覺。
二、吵雜環境到底難在哪裡？五個核心難題
吵雜不是單一現象，而是一群彼此糾纏的物理與統計問題。以下歸納五個最關鍵的難題。
1. 訊噪比與遮蔽效應
訊噪比（Signal-to-Noise Ratio，SNR）是最基本的量化指標，定義為目標語音能量與背景噪音能量的比值，以分貝表示：SNR = 10 × log₁₀(語音功率 / 噪音功率)。安靜辦公室的 SNR 可能高達 30 分貝以上，行進中的車廂可能掉到 5 到 10 分貝，捷運月台或工地則可能出現 0 分貝甚至負值，也就是噪音比人聲還大。
為什麼 SNR 一掉，辨識率就斷崖式下滑？關鍵在於「遮蔽」（masking）。人類語音的動態範圍大約 30 到 40 分貝，不同音素的能量差異極大：母音如 /a/、/o/ 能量高，清輔音如 /s/、/f/、/θ/、/ʃ/ 能量低且集中在高頻。當背景噪音的能量超過某個門檻，這些低能量的清輔音就會被完全「蓋住」，在聲譜圖上消失無蹤。
麻煩的是，這些清輔音往往是區分詞義的關鍵。英文的 “think” 與 “sink”、中文的「四」與「是」、「ㄕ」與「ㄙ」，差別就在那零點幾秒的摩擦噪音。一旦被遮蔽，模型只能靠上下文猜，而中文同音字詞極多，猜錯的代價很高。這也解釋了為什麼在噪音環境下，辨識錯誤往往集中在特定音素，而不是隨機分布。
此外還有「頻率遮蔽」與「時間遮蔽」：前者是指強噪音在特定頻帶上壓過語音，後者是指瞬間的撞擊聲（關門、摔東西、喇叭）蓋掉短暫的音節。兩者都會讓聲譜圖出現「破洞」，而模型必須在資訊不完整的情況下做判斷。
2. 混響與房間脈衝響應
另一個常被忽略的殺手是「混響」（reverberation）。在一個封閉空間裡，你聽到的聲音不只是喇叭或嘴巴直接傳來的「直達聲」，還包括經由牆壁、地板、天花板、桌面反射回來的聲音。這些反射聲有早有晚：早期反射（幾毫秒到幾十毫秒）會與直達聲融合，改變音色；晚期反射（數十毫秒到數百毫秒）則形成拖尾，也就是我們俗稱的「回音」。
從訊號處理的角度看，麥克風收到的訊號等於原始語音與「房間脈衝響應」（Room Impulse Response，RIR）的摺積。RIR 描述了這個空間對一個瞬間脈衝的反應，包含直達聲、各次反射的路徑與衰減。常用指標是 RT60，也就是聲音能量衰减 60 分貝所需的時間。一般客廳的 RT60 約 0.3 到 0.6 秒，教室約 0.6 到 1 秒，空曠大廳或教堂可以超過 2 秒。
混響對語音辨識的傷害機制，主要是「時間涂抹」：每一個音素的能量都會拖尾到下一個音素上，造成前後音節互相干擾。這在中文這種音節短促、聲調重要的語言上尤其致命，因為聲調的辨識依賴音高（F0）在音節內的變化曲線，而混響會把相鄰音節的共振峰與音高混在一起，讓聲調線索變得模糊。
更現實的是「距離」。手機貼著嘴巴講，是近場（near-field）情境；但藍牙耳機、車用麥克風、會議室天花板的陣列麥克風，往往距離說話者一到五公尺，屬於遠場（far-field）。距離一遠，直達聲能量依平方反比衰減，而混響能量相對提升，等效 SNR 與直達聲與混響比（DRR）同時惡化。這就是為什麼「對著手機講很準、對著房間講就完蛋」的根本原因。
3. 頻譜重疊與雞尾酒會問題
在所有噪音類型中，最難處理的是「人聲噪音」。風扇、冷氣、引擎這類穩定噪音，頻譜相對平滑、統計特性穩定，相對容易被模型學出來並抑制。但人聲噪音不一樣：它與目標語音共享完全相同的生成機制，具有諧波結構、共振峰、音高起伏、語調變化。換句話說，干擾源與目標在統計上長得太像，模型很難單靠頻譜特徵把它們分開。
這就是經典的「雞尾酒會問題」（cocktail party problem）：在一群人同時說話的場合，人類聽覺系統可以選擇性地聚焦在某一個聲音上，忽略其他聲音。人類靠的是「聽覺場景分析」能力，包括空間方位線索（雙耳時間差與強度差）、音高差異、共同的起始與結束時間、以及對語言內容的語意預測。這些機制非常強大，但要在機器上複製極其困難。
目前的多說話人語音辨識通常拆成兩步：先做「語音分離」或「目標說話人提取」，把混合訊號分離成多軌，再分別送進辨識器。但分離本身就會引入失真，分離出來的音訊聽起來可能「乾淨」卻不自然，反而讓辨識器的錯誤率上升。這是語音領域長期的兩難：降噪與分離的目標函數，往往與辨識的目標函數不一致。
4. 通道失配與域偏移
就算環境安靜，還有一個隱形殺手：通道差異。不同麥克風的頻率響應曲線不同，手機、筆電、耳機、車機、監視器、陣列麥克風，收音特性天差地遠。再加上前端的自動增益控制（AGC）、回音消除（AEC）、壓縮編碼（如藍牙的 SBC、AAC、Opus），每一道處理都會改變訊號的頻譜形狀。
機器學習的術語叫做「域偏移」（domain shift）或「協變量偏移」（covariate shift）：訓練資料的分布與部署環境的分布不一致，模型表現就會下降。如果模型是在安靜辦公室、用高品質麥克風錄製的語料上訓練，然後部署到工地或車上，等於是用 A 世界的規則去解 B 世界的題目。
除了硬體通道，說話者本身也是變異來源：口音、語速、年齡、性別、情緒、身體狀況（感冒、疲勞）、甚至配戴口罩，都會改變發音。這些變異在安靜環境下還可靠模型容量吸收，但在噪音環境下，多重變異疊加，模型的決策邊界就崩了。
5. 不確定性與錯誤放大
最後一個難題是系統性的：語音辨識很少是單一模型，而是一條管線。前端有回音消除、降噪、自動增益、語音活動偵測，中端有特徵正規化，後端有聲學模型與語言模型。每一個環節都會出錯，而錯誤會沿著管線放大。
最典型的例子是降噪模型。深度學習降噪在客觀指標（如 PESQ、STOI）上表現亮眼，人耳聽起來也覺得乾淨許多，但把它接到辨識器前面，WER 有時反而變高。原因是降噪模型會引入「處理偽影」（artifacts），例如過度抑制造成的頻譜凹陷、或是生成式模型「補」出不存在的細節。這些偽影對人耳不明顯，卻可能落在辨識器敏感的頻段上，造成新的失配。
另一個例子是語音活動偵測（VAD）。如果 VAD 在噪音下把語音開頭誤判為噪音而截掉，辨識器就永遠看不到那個字；如果它把噪音誤判為語音，就會送入大量無意義片段，浪費算力並拉高幻覺風險。這種「前端一個小錯，後端全盤錯」的現象，是語音系統調校上最令人頭痛的部分。
三、工程上的解方：從麥克風陣列到大型語音模型
面對上述難題，學界與業界發展出一整套工具。理解這些工具的能力邊界，比記住它們的名稱更重要。
1. 麥克風陣列與波束成形
如果只有一支麥克風，你能用的只有「頻譜」資訊；但如果有兩支以上的麥克風，就多了一個維度：空間。麥克風陣列（microphone array）利用聲音到達不同麥克風的時間差（TDOA）與相位差，可以估計聲源方向，並「對準」某個方向增強訊號、抑制其他方向。
最基本的方法是「延時求和波束成形」（delay-and-sum beamforming）：把各麥克風的訊號依照方向對應的延遲補償後相加。因為目標方向的訊號同相疊加、其他方向的訊號相位不一致而互相抵消，等效 SNR 可以提升。若使用自適應演算法如 MVDR（最小變異無失真響應）或 GSC（廣義旁瓣消除器），還能進一步根據環境統計特性動態調整權重，在抑制干擾的同時盡量保留目標語音。
實務上，麥克風陣列的增益與陣列孔徑（麥克風間距）和麥克風數量有關。一般而言，六到八麥克的環形陣列在會議室或智慧音箱上已能提供數分貝的 SNR 改善。但陣列不是萬靈丹：它需要準確的麥克風位置校正，對混響嚴重的空間效果有限，而且如果說話者移動或有多個聲源，波束指向的準確度就會下降。
2. 語音增強與降噪模型
單通道（single-channel）的語音增強歷史很長。早期是頻譜減法（spectral subtraction）與維納濾波（Wiener filtering），用統計方法估計噪音頻譜並從中扣除；後來發展出基於最小均方誤差（MMSE）的統計模型，再進一步被深度學習取代。
現代深度降噪大致分幾類：第一類是「時頻遮罩」（time-frequency masking），模型為每個時頻格預測一個 0 到 1 之間的遮罩值，決定保留多少能量，例如理想比例遮罩（IRM）、理想二值遮罩（IBM）；第二類是「頻譜映射」，直接預測乾淨語音的幅度譜；第三類是「複數域模型」，同時處理幅度與相位，因為相位資訊在低 SNR 下對音質影響很大；第四類是近年的生成式模型，例如以擴散模型（diffusion model）做語音增強，能生成相當自然的結果，但運算成本高，較難即時部署。
這裡要強調一個實務上的關鍵觀念：「聽起來乾淨」與「辨識得準」是兩個不同的目標。PESQ（語音品質感知評估）與 STOI（短時客觀可懂度）這類指標衡量的是人耳感受，而 ASR 關心的是聲學模型能否正確分類。有時候為了追求 PESQ，模型會過度平滑頻譜，反而抹掉了辨識所需的細節。因此近年研究傾向「聯合訓練」：把降噪模型與 ASR 模型串起來，用 ASR 的損失函數（例如 CTC loss）回傳去訓練前端，讓前端學會「保留對辨識有用的東西」，而不是「保留聽起來好聽的東西」。
3. 語音活動偵測與喚醒詞
語音活動偵測（Voice Activity Detection，VAD）看似配角，實際上對整體表現影響巨大。它的任務是判斷「現在這段音訊有沒有人在說話」。傳統方法用短時能量、零穿越率、頻譜平坦度等特徵搭配高斯混合模型；現代則多用小型神經網路直接在頻譜上判斷。
VAD 的價值有三：第一，省算力——只把有語音的片段送進辨識器，可大幅降低功耗，這對耳機、手錶等電池供電裝置至關重要；第二，降錯誤——把純噪音片段濾掉，可減少模型「看著噪音瞎猜」而產生幻覺；第三，控制延遲——在串流應用中，VAD 協助判斷句子何時結束，決定要不要觸發解碼。
喚醒詞（wake word）偵測如「嘿 Siri」「OK Google」，本質上是一種極輕量的關鍵詞辨識。它的難點在於必須「永遠在聽」卻極度省電，同時要在各種噪音下維持低漏檢率與低誤觸發率。實務上通常採用兩階段架構：第一階段用極小的模型做初步篩選，第二階段再用較大的模型確認，以兼顧靈敏度與功耗。
4. 資料擴增與多條件訓練
如果說有一項技巧在過去十年對語音魯棒性貢獻最大，那大概不是某個精巧的網路結構，而是「資料擴增」（data augmentation）。做法是拿乾淨語音，人工加上各種噪音、各種混響、各種通道模擬，藉此讓模型見過更多樣的情境。
常見手法包括：加噪（從噪音資料庫中隨機取片段，以隨機 SNR 混入）、加混響（與真實測量的 RIR 做摺積）、速度擾動（改變語速而不改變音高）、頻譜遮罩（SpecAugment，在時頻圖上隨機塗黑塊，強迫模型學會從上下文推斷）、以及通道模擬（用濾波器模擬不同麥克風的頻響）。
更進一步的作法是用 TTS（文字轉語音）合成大量帶標註的語音，或者用「模擬房間」的聲學引擎生成各種幾何空間下的 RIR。國際上著名的 CHiME 挑戰賽就是專門針對吵雜環境語音辨識所設計，從早期的家庭環境、到餐廳、到車載與穿戴式裝置，逐步推進技術邊界。這些競賽的經驗反覆證明同一件事：資料的多樣性，往往比模型的複雜度更能決定魯棒性。
5. 自監督學習與大型語音模型
近五年最明顯的趨勢，是把語音模型做大。wav2vec 2.0 與 HuBERT 這類自監督模型，先在海量無標註語音上學會「預測被遮住的語音片段」或「離散語音單元」，學到的表徵具有相當的通用性；WavLM 更進一步針對「混合語音、多說話人、噪音」等情境設計預訓練任務，特別強化了下游任務的魯棒性。
Whisper 則是另一條路線：用超大規模、極度多樣的弱監督資料訓練出一個通用的語音辨識模型。它的強項在於對口音、背景噪音、錄音品質的容忍度明顯優於過去在單一乾淨語料上訓練的模型。這也催生了一種新的工程思維：與其花大量心力設計前端降噪，不如用一個看過足夠多世界的大模型，讓它自己學會忽略噪音。
不過，大模型不是終點。它仍有明顯弱點：運算成本高、難以在端側即時運行；對特定領域詞彙（人名、藥名、型號）仍需額外偏置；在極低 SNR 或強混響下依然會失效；而且它「自信地胡說」的幻覺問題，在醫療、法律、客服等場景是不可接受的風險。
四、評估與實務：怎麼知道它到底聽懂多少
討論完技術，必須談評估，因為「吵雜環境聽不懂」這句話，如果沒有量化，就只是感覺。
1. 常用指標：WER、CER 與輔助指標
語音辨識最核心的指標是「詞錯誤率」（Word Error Rate，WER），計算方式是（替換數 + 刪除數 + 插入數）除以參考答案的總詞數。對中文這類不以空格分詞的語言，常改用「字錯誤率」（Character Error Rate，CER），以字為單位計算。WER 與 CER 都是「越低越好」，且可能超過 100%（因為插入錯誤沒有上限）。
但單一數字會掩蓋很多東西。實務上應該做「分層評估」：依 SNR 分組（例如 20 dB、10 dB、5 dB、0 dB）、依混響時間分組、依說話人數分組、依噪音類型分組（穩定噪音 vs. 人聲 vs. 撞擊聲），分別報告錯誤率。這樣才能看出模型到底是在哪一種條件下崩潰。
在訊號層面，常用 STOI（短時客觀可懂度，0 到 1，越高越可懂）與 PESQ（語音品質感知評估，約 -0.5 到 4.5）來衡量增強後的音訊。但要再次強調，這些指標與 ASR 表現的相關性並不完美，不能當作唯一依據。
2. 真實場景測試的陷阱
很多團隊在實驗室裡做出漂亮的數字，一上線就破功，原因通常是測試集的問題。常見陷阱包括：測試語料是朗讀式、在安靜錄音室錄製，與真實的即興口語差異極大；噪音是用模擬方式疊加的，缺少真實的房間混響與非平穩噪音；測試集與訓練集來自同一批說話者或同一支麥克風，造成「資料泄漏」而高估表現。
比較穩健的做法，是建立一小批「真實場域」的測試集，刻意在目標環境（車內、門市、廠房）實地錄音，並標註當時的 SNR、距離、設備型號。這批資料不必大，但必須「真」，因為它才是模型最終要面對的世界。
3. 部署時的取捨
真實產品還要面對一連串取捨。延遲：串流辨識需要即時輸出，波束成形與深度降噪都會引入延遲，幾十毫秒的延遲對語音助理體驗影響很大。算力與功耗：手機、耳機、車機的算力有限，大模型未必跑得動。隱私：醫療或金融場景可能要求全端側處理，不能上傳雲端。成本：雲端 GPU 推論費用可觀，尤其在高流量時段。
這些取捨意味著，工程上往往不是追求「最高準確率」，而是追求「在特定約束下的最佳體驗」。有時候，一個能讓使用者知道「我沒聽清楚，請再說一次」的系統，比一個自信滿滿卻亂猜的系統更有價值。
五、未來展望：從「聽得見」到「聽得懂」
接下來幾年的突破口，我認為有幾個方向值得關注。
第一是「多模態」。人類在吵雜環境下會看嘴型，這叫麥格克效應（McGurk effect）。結合攝影機的視覺語音辨識（Audio-Visual Speech Recognition，AVSR）已在研究中展現明顯優勢，尤其在 SNR 低於 0 分貝時，視覺線索能救回大量語音資訊。隨著視訊會議、智慧眼鏡、車內攝影機普及，這條路線的實用性正在提升。
第二是「目標說話人提取」。相較於把混合語音硬分開，更聰明的做法是先辨識說話者的聲紋特徵（speaker embedding），再據此從混合訊號中「抽出」那一個人的聲音。這對多人會議、車內乘客對話特別有用。
第三是「語言模型糾錯」。把 ASR 的候選結果（n-best 或 lattice）交給大型語言模型，利用語意與世界知識進行重排序或糾錯，可顯著降低專有名詞與同音字的錯誤。不過要注意，這也可能放大幻覺，因此需要謹慎設計置信度機制。
第四是「個人化」。每個人的口音、發音習慣、常用詞彙都不同。透過少量的個人語音資料做輕量微調或上下文偏置，能讓辨識器更貼近單一使用者。這也是端側 AI 晶片進步後，最被看好的落地方式之一。
第五是「聽覺注意力解碼」。這是一個更前沿的方向：透過腦電波（EEG）或眼動追蹤，判斷使用者正在專注聽哪一個聲源，再把這個注意力訊號回饋給分離模型。雖然距離商用還很遠，但它直指雞尾酒會問題的核心。
六、結語
回到最初的問題：AI 的語音辨識為什麼在吵雜環境聽不懂？答案不是「模型不夠大」這麼單純，而是噪音從物理層面（遮蔽、混響、頻譜重疊）、統計層面（域偏移、通道失配）、系統層面（管線錯誤放大）同時發動攻擊。每一層都需要對應的解法，而這些解法之間又彼此牽制。
值得樂觀的是，過去十年我們已經從「安靜環境勉強可用」走到「中度噪音下仍堪使用」，這背後的進步來自麥克風陣列、深度降噪、大規模多條件訓練、自監督預訓練等多條路線的匯流。接下來的挑戰，是把這些技術壓縮到耳機、手錶、車機等資源受限的裝置上，同時維持可接受的延遲與功耗，並且在醫療、金融、工業等高风险場景中，把「幻覺」的風險降到可控範圍。
對一般使用者而言，理解這些原理的實際意義在於：當你發現語音助理在捷運上又開始亂答，不必急著罵它笨。它面對的是一道連人類都得靠雙耳、雙眼與大腦協同才能勉強解開的難題。而對開發者而言，與其追求實驗室裡漂亮的 WER 數字，不如老老實實走進真實場域，錄下那些吵雜、混亂、不完美的聲音——因為那才是語音辨識真正要面對的世界。