AI 詞曲轉化：歌詞聲調與旋律 Pitch 的自動匹配
二、聲調與 Pitch 的對應模型：從語言學到可計算的數學
要讓機器理解「這個字該唱高還是唱低」，第一步是把聲調從語言學概念轉換成數值向量。這個轉換過程涉及三層抽象：語音層的基頻曲線、音韻層的聲調範疇、以及音樂層的音高與音程。三者之間的映射關係，就是整個系統的核心。
2-1 聲調輪廓的參數化：五度制、Tone Contour 與音高曲線
最直觀的參數化方式是延用五度制，把每個聲調表示成相對音高的整數序列，例如國語四聲可寫成 [5,5]、[3,5]、[2,1,4]、[5,1]。這種離散表示方便做規則比對，但丟失了時長資訊與連續性，難以描述「上聲在句尾才完整實現」這類現象。
更精細的做法是使用「聲調輪廓」（tone contour）的連續表示：對大量語音語料做基頻提取，取得每個音節的 F0 曲線，再透過時間正規化與說話者音域歸一化（例如轉換成半音或對數頻率，並以該說話者的音域中位數為基準），得到一條歸一化的音高曲線。常見的參數化包括三個關鍵點（起點、轉折點、終點）的相對高度，或直接以多項式、樣條曲線擬合。
此外還有「目標點模型」（Target Point Model）與「平行編碼模型」（Parallel Encoding Model）等語音學理論架構，主張聲調的實現是由一連串目標音高點加上語調（intonation）與語速的調變而成。對 AI 系統而言，這意味著輸入端最好能提供：每個音節的聲調類別、該聲調在當前語境下的實現輪廓、以及整體句子的語調傾向（陳述、疑問、感嘆）。
在旋律端，同樣需要參數化。常見做法是把旋律表示為音高序列（MIDI 音高或音分）、音長序列、以及拍點位置。若要與聲調輪廓對齊，還需要一個「音節—音符」的對齊資訊，也就是哪個音節對應哪些音符。這個對齊通常由前端模型或人工標註給出。
2-2 距離函數設計：怎麼量化「唱走音」與「唱倒字」
有了兩邊的數值表示，接下來就要設計一個距離函數，衡量「這段旋律配這段歌詞到底有多不合」。實務上通常會拆成幾個子項：
這些子項會以加權方式組合成總損失函數，權重則依語言與曲風調整。例如兒歌與民謠通常要求輪廓一致性極高，因為聽眾更依賴歌詞理解；而重節奏的饒舌或電子舞曲，聽眾對詞義的依賴較低，可以放寬方向一致性、提高節奏對齊的權重。
值得注意的是，距離函數的設計本身就是一種美學判斷。太嚴格的約束會讓生成的旋律像機器人念稿，太寬鬆則會不斷產出倒字。實務上通常會先在大型歌詞—旋律配對語料上做統計，找出人類作曲者「實際上容忍了多少偏差」，再把這個分布當成軟約束的基準，而不是憑空訂一個閾值。
三、AI 自動匹配的技術架構
一個完整的「歌詞→旋律」自動匹配系統，通常可以拆成前端、中端、後端三段。前端負責把文字變成帶有聲調與節奏資訊的表示；中端負責生成旋律並施加約束；後端負責合成試聽、評測與回饋迭代。以下分別說明。
3-1 前端：語音辨識、音節切分與聲調標註
前端的第一個任務是「音節切分」。華語沒有天然的詞界空格，一句歌詞要切成幾個音節、每個音節對應幾個音符，直接決定了後續匹配的粒度。常用的做法是先做分詞與詞性標註，再依詞的邊界與音節數切分。但歌詞往往打破語法，例如「我想你的夜」可能被唱成「我想／你的夜」或「我／想你／的夜」，取決於旋律分句。因此前端通常會提供多組候選切分，讓中端在生成時一併選擇。
第二個任務是聲調標註。若是已知正確用字，可以直接查聲調詞典；但如果是使用者輸入的草稿、或包含錯別字與網路用語，就需要用序列標註模型（如 BiLSTM-CRF 或微調過的語言模型）預測每個音節的聲調。對於台語與客語，還需要處理本調與變調的判定。目前較實用的做法是：以詞為單位查詢變調規則，並用小型分類器處理例外與語境依賴情形。
第三個任務是節奏骨架的推定。若歌詞已經有既定的節拍或字數格律（例如七字一句、五字一句），可以直接對應到小節與拍點；若沒有，則需要模型預測每個音節的相對時長，常見方法是參考語言韻律中的「音節重量」與停頓位置，產出一組候選節奏型。
這三個任務的輸出——音節序列、聲調序列、節奏骨架——就是中端模型的主要輸入。前端品質的好壞，往往決定了整個系統的天花板。實務經驗是：寧可讓前端提供多個候選並附上信心分數，也不要硬猜一個答案，因為中端的生成模型通常有能力在多個候選中挑出詞曲最合的那一組。
3-2 中端：約束式生成與模板式兩階段方法
中端是整個系統的心臟。目前主流路線大致分為三類。
第一類是模板式兩階段方法。這個路線的核心想法是：先把歌詞轉成一組「模板旋律」，也就是一段粗略的、只考慮聲調與節奏的骨架，再用生成模型把它「美化」成有音樂性的旋律。第一階段可以用規則系統或小型模型完成，確保每個音節的聲調走向被尊重；第二階段的生成模型則專注於樂句結構、和聲走向、動機發展等音樂性任務，並在解碼時對照模板施加軟約束。這種做法的好處是可解釋性強、倒字率低，缺點是旋律可能偏保守、較難產出令人驚豔的跳進。
第二類是端到端的約束解碼。做法是訓練一個自迴歸的旋律生成模型（例如基於 Transformer 的語言模型，把旋律當成離散的音樂符號序列），並在解碼階段加入「聲調—音高」的約束評分。每一步生成下一個音符時，除了考慮模型的機率分布，還會計算這個音符對當前音節聲調的符合程度，藉由調整 logits 或使用分類器引導（classifier guidance）的方式，把生成結果推向「既符合音樂文法、又不倒字」的方向。這種做法靈活度高，能產生更有創意的旋律，但需要仔細調控約束強度，否則容易出現不自然的節奏或音程。
第三類是擴散模型與離散擴散。近年有研究者把旋律生成建模成擴散過程，從噪音逐步去噪還原出旋律，並在每一步加入聲調約束。這類方法在音高與節奏的聯合建模上表現不錯，且可以透過「插值」的方式做局部修改——例如只重寫某一句的旋律，其餘保持不變，非常適合實務上的迭代修改需求。
無論哪一類，實務上都會搭配「多重候選 + 重排序」的策略：一次生成數十個候選，用距離函數與音樂性指標排序，再挑出前幾名給使用者試聽。這比單次生成並追求一次到位更符合創作流程。
3-3 後端：人聲合成、評測與回饋迴路
旋律生成出來後，必須能被聽。後端的第一個任務是「試唱合成」。把生成的旋律與原始歌詞送進歌聲合成系統（如擴散式歌唱合成模型或拼接式合成器），產出一段可試聽的 Demo。這一步不僅是為了方便評估，更能讓模型「聽見自己寫的東西」——有些系統會用合成歌聲再跑一次聲調辨識，計算「倒字率」，形成自動化的閉環評估。
第二個任務是評測與診斷。系統會計算前述的距離函數各項分數，標出高風險的音節與小節，並用視覺化方式呈現：例如在鋼琴捲軸上疊加聲調輪廓，用紅色標出方向衝突處。這些診斷資訊對人類創作者極有價值，因為它把「哪裡唱起來怪」從模糊的直覺變成明確的標記。
第三個任務是回饋迴路。使用者可以針對某一句標記「這句倒字」或「這句旋律太平」，系統把這些回饋轉成局部約束，重新生成該段落。這種人機協作的迭代模式，通常比全自動生成更實用，也更接近真實的創作現場。
四、實作流程：從一段歌詞到一首能唱的旋律
接下來我們把上述架構落成一個具體的作業流程。以下假設你手上有一段中文歌詞，想用 AI 幫它配出旋律，並希望盡量避免倒字。
4-1 步驟一：歌詞前處理與節奏骨架
首先把歌詞整理成「一行一句、標點清楚」的格式，並確認每個字的正確讀音。多音字要特別標註，例如「長」在「長短」與「長大」中聲調不同，「行」在「銀行」與「行走」中讀音不同。若歌詞含有外語詞或狀聲詞，建議先轉寫成對應音節並指定聲調，否則模型會無所適從。
接著決定節奏骨架。若已有曲風參考（例如 4/4 拍、中速抒情），可以先設定每小節幾個音節、每句幾拍。常見的中文歌詞節奏型包括：
四字一句配四拍，每字一拍，適合莊重或口號式的段落。
七字一句配四小節，前四字緊湊、後三字拉長，接近傳統詩詞朗誦的韻律。
長短句交錯，依語意斷句，適合敘事型歌曲。
這一步不需要太精確，重點是給模型一個「每句大概多長、哪裡可以換氣」的框架。若完全不給，模型常會產出過於密集或過於鬆散的節奏。
4-2 步驟二：旋律生成與 Pitch 約束解碼
把音節序列、聲調序列與節奏骨架送進生成模型。此時有幾個關鍵設定要調整：
調性與和聲：指定大調或小調、主音位置，讓旋律與和聲走向一致。
候選數量：建議一次生成 20 至 50 個候選，再人工或自動篩選。
生成完成後，先看系統的診斷報告。通常會標出「高風險音節」，也就是聲調走向與旋律走向冲突的地方。這些地方不一定要全部改掉——有時一個小衝突配上適當的節奏，反而會產生特殊的語感張力，這正是人類創作的判斷空間。但若同一句出現三個以上的衝突點，就幾乎確定會倒字，必須處理。
4-3 步驟三：人工微調與迭代優化
拿到候選旋律後，實務上的微調順序建議如下：優先修改「關鍵字」的旋律，也就是承載主要語意與情感的字，例如動詞與名詞；其次修改「句尾」，因為句尾通常是聽覺記憶點，也是倒字最容易被記住的位置；最後才處理虛詞與連接詞。
修改時有幾個實用技巧：把衝突音節的音高往聲調方向移動一個級進，通常就能解決大半問題；若移動後破壞了和聲，可以改用經過音或掛留音處理；若整個樂句都卡住，不妨直接用系統的「局部重寫」功能，只重生這一句，其餘保留。迭代次數不宜過多，通常三到五輪就能收斂，過度微調反而會讓旋律失去原本的靈氣。
最後，把定稿的旋律與歌詞送進歌聲合成系統產出 Demo，用耳朵做最終確認。建議至少隔一天再聽，因為剛生成時容易產生「作者偏誤」，聽不出倒字。
五、工具盤點：開源與商業方案現況
目前這個領域的工具生態正在快速成長，大致可分為學術開源方案與商業平台兩類。
5-1 開源與學術方案
在開源社群中，較常被提及的方向包括：以 Transformer 為基礎的旋律語言模型，搭配自製的聲調約束解碼層；以擴散模型為基礎的旋律生成器，支援局部修補；以及專注於「歌詞轉旋律」的兩階段研究框架。這些方案通常提供訓練腳本與預訓練權重，但需要使用者自行準備歌詞—旋律配對語料，並自行實作聲調標註與距離函數。對於有程式能力的創作者，這條路的最大價值在於可完全客製化，尤其是針對台語、客語等資源較少的語言。
另一個值得關注的開源方向是「歌聲合成」工具鏈。許多開源歌唱合成專案已經能接受音高與時長標註，產出品質相當不錯的試唱。把旋律生成模型與這類合成器串接，就能組成一套完整的本地端工作流，資料不必上傳雲端，對重視隱私的創作者是一大優勢。
5-2 商業平台與外掛
商業端則以「一站式」為主要賣點。部分 AI 音樂生成平台已經開始提供「上傳歌詞、自動配曲並演唱」的功能，內部通常就包含聲調匹配模組，只是細節不公開。另有一些數位音訊工作站（DAW）的外掛，主打「即時倒字檢測」——當你在鋼琴捲軸上拖動音符時，外掛會即時標示該音是否符合當前歌詞的聲調，並提供替代音高建議。這類工具對習慣手動編曲的創作者特別友善，因為它把 AI 的判斷融入既有的工作流程，而不是要求你改用全新的平台。
選擇工具時，建議優先考慮三件事：是否支援繁體中文與台語／客語的聲調處理、是否提供可解釋的診斷資訊、以及輸出格式是否方便匯入你的 DAW 或合成器。功能炫目與否反而是其次。
六、評測方法：如何判斷匹配得好不好？
沒有評測，就沒有改進。AI 詞曲匹配的評測需要客觀指標與主觀聽測並行，因為「不倒字」不等於「好聽」。
6-1 客觀指標
客觀指標主要環繞在「倒字率」與「旋律品質」兩大類。倒字率可以定義為：在所有音節中，聲調方向與旋律方向相反的比率；更嚴格的版本會加權考慮音節的語意重要性與時長。旋律品質則常用音程分布、節奏多樣性、重複動機比例、以及與訓練語料的分布距離來衡量。此外，也可以用「反向辨識」的方式評估：把合成歌聲送進語音辨識系統，看它辨識出的文字與原始歌詞的相符程度，這是一個相當貼近人類聽感的綜合指標。
6-2 主觀聽測與盲測設計
主觀聽測方面，建議設計成盲測：讓受試者聽幾組旋律（其中包含人類創作與 AI 生成，順序打亂），請他們回答三個問題——「你能不能聽清楚歌詞？」「有沒有哪個字聽起來怪怪的？」「這首旋律你願意再聽一次嗎？」第一個問題對應咬合清晰度，第二個問題對應倒字偵測，第三個問題對應整體音樂性。這種設計能把「語言正確性」與「音樂吸引力」拆開來看，避免只優化其中一項。
實務上常見的結果是：AI 在咬合清晰度上已能達到接近人類的水準，甚至在某些規則嚴謹的語言中更穩定；但在「願意再聽一次」這項上，人類創作仍明顯領先。這說明目前的技術瓶頸已經從「規則遵守」轉移到「音樂敘事與情感張力」。
七、實戰案例與常見陷阱
7-1 案例：一句七字歌詞的三種配法
假設歌詞是「月光落在我窗前」，聲調依序為：月（去聲，51）、光（陰平，55）、落（去聲，51）、在（去聲，51）、我（上聲，214）、窗（陰平，55）、前（陽平，35）。若旋律寫成連續上行，那麼「月、落、在」三個降調字就會全部倒字；若寫成連續下行，則「光、窗、前」會出問題。理想的做法是利用旋律的曲折：把「月、落、在」放在下行或低音區，「光、窗」放在高而平的位置，「我」放在先降後升的轉折處，「前」配一個上行結束。AI 系統在生成候選時，會自動嘗試這類配置，並依整體音樂性挑選其中最自然的版本。
這個例子說明，詞曲匹配不是逐字對應的機械工作，而是要在整句的輪廓上做取捨。有些字可以妥協，有些字不能；AI 的價值在於快速枚舉所有可能的取捨組合，讓人類把精力放在最後的品味判斷上。
7-2 限制與陷阱
使用這類工具時，常見的陷阱包括：
八、未來展望與創作者行動建議
展望未來，AI 詞曲匹配的發展方向大致有三個。第一是「多語言與方言的普及化」，隨著台語、客語、粵語語料庫的累積，模型的變調處理會越來越細緻，這對本土音樂創作是極大的助力。第二是「與人聲合成、混音流程的深度整合」，未來的工具可能直接輸出帶有表情與咬字細節的完整 Demo，讓創作者在旋律階段就能聽見接近成品的聲音。第三是「個人化風格模型」，創作者可以用自己的舊作微調模型，讓生成的旋律更貼近自己的語感與習慣。
對創作者而言，現在就能採取的行動建議是：先建立自己的「歌詞—旋律」對照筆記，記錄哪些字你習慣配高音、哪些字你堅持不用大跳；把這些偏好整理成規則或範例，未來就能用來微調或提示 AI 系統。同時，不要排斥用 AI 產出的「不完美候選」——很多时候，一個稍微倒字但旋律極美的句子，只需要換一個同義詞就能解決，而這種「換詞」的判斷正是人類最擅長的事。
在雅寶社區 · 頂客論壇的影音創作版上，我們鼓勵大家把實作過程中的失敗案例與成功配方都分享出來。詞曲咬合這條路，最終還是要靠大量真實的嘗試與聆聽來累積經驗，而 AI 只是讓我們能嘗試得更快、更多、更廣。當工具把技術門檻降低之後，真正稀缺的仍然是那顆願意為了一句歌詞反覆琢磨的創作心。
```