合成的“歌唱歷史” 

作為歌迷的你可能不會想到，今年最火的音樂中，有一首竟然是孫燕姿演唱的《發(fā)如雪》?；蛘邷?zhǔn)確地說，是“AI孫燕姿”。

突然走紅的另類《發(fā)如雪》，掀起了一陣網(wǎng)絡(luò)創(chuàng)作熱潮，帶動AI歌手概念出圈，也讓更多人感受到人工智能在音樂領(lǐng)域的巨大潛力。

不過，說到AI歌手，很多人第一反應(yīng)應(yīng)該是當(dāng)紅虛擬歌姬——初音未來和洛天依。在歌迷感慨于這些無論是聲音和容貌都接近完美的AI歌手時，絕大多數(shù)人可能并不知道，單純用計算機(jī)合成音樂這件事，早在上世紀(jì)五十年代就已經(jīng)出現(xiàn)了。根據(jù)不完全統(tǒng)計，歌聲合成的歷史沿革已經(jīng)跨越了70年。 

在歌聲合成漫長而隱秘的“進(jìn)化”中，AI歌手的出現(xiàn)可謂劃時代的產(chǎn)品，而要透析這段成長歷史，有兩個關(guān)鍵的信息點是必須了解的：

第一，AI歌手涉及的技術(shù)主要有兩大類：歌聲合成（Singing Voice Synthesis，SVS）和歌聲轉(zhuǎn)換（Singing Voice Conversion，SVC），而主要的發(fā)展是在歌聲合成即SVS上。第二，總的來說，歌聲合成可以分為拼接合成和AI合成兩大方向，從發(fā)展過程看，是由前者逐漸向后者演進(jìn)。

被公眾熟知的明星虛擬歌姬——初音未來和洛天依，在技術(shù)上使用的正是拼接合成的方式，并在最初采用的是VOCALOID引擎（軟件）。這類拼接合成引擎依靠手動調(diào)校，可調(diào)節(jié)的參數(shù)和調(diào)節(jié)的精準(zhǔn)度，會直接影響創(chuàng)作效果——完全手動調(diào)校對于新手來說入門難，制作需要花費更多精力。

UP主 @你ADC我輔助 表示，由于拼接合成是通過對不同發(fā)音的錄入、編排和拼接來合成歌聲，具備音域?qū)?、編輯自由度高的?yōu)點，但連貫度會有所欠缺，“畢竟本質(zhì)上就是一段段的音頻素材”。

從拼接合成到AI合成的轉(zhuǎn)變過程，可以說是一種技術(shù)的革新。與傳統(tǒng)的拼接合成不同，AI合成是使用人工智能技術(shù)深度學(xué)習(xí)人聲樣本的唱法、發(fā)音、聲線、風(fēng)格等，推測出本人怎么唱進(jìn)而模仿。

2009年，名古屋工業(yè)大學(xué)開發(fā)的Sinsy就使用了隱馬爾科夫模型，而后CeVIO在Sinsy基礎(chǔ)上開發(fā)出輸入音符、文字就能唱歌說話的功能——這是最早使用非拼接方式的歌聲合成引擎。到了SynthesizerV發(fā)布時，技術(shù)上已經(jīng)開始介入人工神經(jīng)網(wǎng)絡(luò)（模仿人類大腦活動的機(jī)器深度學(xué)習(xí)模式），也就是說其在拼接合成的基礎(chǔ)上結(jié)合了人工智能技術(shù)，融合了兩者的優(yōu)勢。

微軟小冰X studio也是早期AI引擎之一，免費使用但目前落后于其他引擎。相比之下，ACE作為完全的后起之秀，性能效果與Synthesizer V同屬第一梯隊，去年5月，洛天依也宣布與ACE合作推出了ACE引擎聲庫，早期ACE還提供了音樂創(chuàng)作社區(qū)。

AI合成引擎通過人工智能計算自動合成的聲音，往往不需要大改就能使用（也可以直接在計算結(jié)果的基礎(chǔ)上修改參數(shù)）——這一方面降低了制作成本；另一方面生成的聲音非常自然、流暢、擬真，操作門檻低。

不過UP主 @HarryKamski 介紹說，AI合成的缺點是音域會受限，而且因為合成方式非顯性，會有“自己的想法”，很多時候不能完全遵照調(diào)校師的想法。

“AI孫燕姿”背后的歌聲轉(zhuǎn)換

就在SVS歌聲合成在商業(yè)領(lǐng)域大行其道的同時，各種音樂社區(qū)內(nèi)，隱匿生長的開源幼苗也在茁壯成長。幾個月前突然在網(wǎng)絡(luò)爆火的“AI孫燕姿”，將SVC（歌聲轉(zhuǎn)換）猛地推向了主流的道路。

“AI孫燕姿”與商用廣泛的SVS技術(shù)路線不同，采用的是歌聲轉(zhuǎn)換即SVC技術(shù)。兩者的技術(shù)原理和用戶生態(tài)都是不同的，談及兩者的區(qū)別時，UP主 @電漿果茶 畫了一張圖。

UP主@電漿果茶 解釋說，不管用SVS AI還是SVC生成音頻，首先都需要采集聲音做一個AI模型，采集的聲音質(zhì)量越高，模型輸出的音質(zhì)也就越高。有了模型之后，SVS只需要輸入文本和音符就能生成一個新的音頻，沒有其他干擾的話，這個音頻的音質(zhì)是不會變的。SVC模型生成內(nèi)容則需要先輸入一個既有音頻，如果你往一個很好的模型輸入一個糟糕的音頻，那么輸出來的音頻也是糟糕的。

也就是說，“AI孫燕姿”這類AI歌手，本質(zhì)可以理解為AI加持的歌聲變聲器，它是將源音頻的音色、聲線替換為目標(biāo)歌手的，保留原來的歌詞、唱法、音調(diào)等，因此最后的呈現(xiàn)效果，很大程度上取決于源音頻的演唱水平。

相較SVS技術(shù)，SVC出現(xiàn)的時間并不久。早期日本發(fā)布過一款語音合成軟件Voiceroid，可以將輸入的文本轉(zhuǎn)換成語音朗讀，當(dāng)時主要應(yīng)用于一些游戲解說、美食教程、伴讀等。但對于實時需求來說，輸入文字并不方便，于是后來就出現(xiàn)了AI變聲器，比如，“塞壬VOICE”——這些當(dāng)時本質(zhì)上還是商業(yè)的閉源軟件?？梢哉f，直到以VITS（語音合成模型）為基礎(chǔ)的這類開源、免費軟件出現(xiàn)，SVC才真正在社區(qū)中興起。

至于大火的“AI孫燕姿”誕生經(jīng)歷，這里要提到一個人，國內(nèi)歌聲合成愛好者Rcell，他基于VITS、SoftVC等項目開發(fā)了AI語音轉(zhuǎn)換軟件so-vits-svc，“AI孫燕姿”等AI歌手正是基于此制作的。由于so-vits-svc開源免費，可以在本地訓(xùn)練，也因此被大家廣泛的使用——so-vits-svc之外，SVC軟件還有RVC、DiffSVC等。

除了“AI孫燕姿”的《發(fā)如雪》，SVC技術(shù)的興起也給個人的音樂興趣帶來了更多的可能性。

今年3月，UP主 @你ADC我輔助 在B站上傳了一首已故歌手本兮“演唱”的《反方向的鐘》，勾起無數(shù)90后的回憶殺，網(wǎng)友們紛紛在視頻下感慨追憶，留言7000多條。

他表示，“現(xiàn)在很多網(wǎng)友用SVC來訓(xùn)練各種人物的聲庫，比如動漫角色、主播、明星，甚至身邊的親朋好友，只要你想，任何人的聲音都可以被訓(xùn)練，并不限于明星。由于SVC聲庫訓(xùn)練起來不算復(fù)雜，在二創(chuàng)中非常受歡迎。”

也正是如此，“AI孫燕姿”爆火后，“AI王菲”“AI周杰倫”“AI陳奕迅”紛紛上線，有人追求歌曲的適配，有人紀(jì)念去世歌手，也有人劍走偏鋒，讓郭德綱唱起了熱血日漫OP。

每一次有新的人工智能技術(shù)出來，都會引起一番AI取代人的問題的討論。有人認(rèn)為，AI歌手的本質(zhì)其實更像鋼琴吉他一樣，是一種樂器，無論是將其打造成虛擬偶像，還是生產(chǎn)力工具，它都不能脫離于人而存在。當(dāng)然那些演唱能力很差的歌手，或許該有一些危機(jī)感。

AI歌手的商業(yè)版圖

不管AI歌手的本質(zhì)是什么，任何一種新產(chǎn)品能否生存的核心都不僅是技術(shù)，更在于能否建立完善的商業(yè)模式。

商業(yè)模式上，SVS打造的歌手主要是和IP產(chǎn)業(yè)、偶像產(chǎn)業(yè)結(jié)合，比如廣告代言、賣周邊、直播、開演唱會、發(fā)行歌曲等。但虛擬偶像產(chǎn)業(yè)主要靠粉絲經(jīng)濟(jì)，圈子小眾，想吃肉的多，可想而知這門生意并不好做。

最火的初音未來和洛天依都屬于最早吃到螃蟹的，一個是第一個在世界范圍爆火；另一個則是第一個打開中國市場的，因此吸引了大量粉絲。不過，與表面的火爆背后，AI歌手的成功其實鳳毛麟角，即使在二次元文化最盛行的日本，真正大獲成功的大概也只有以初音未來為代表的那幾個。

除了偶像化的商業(yè)模式，另一個營收方向是聲庫銷售。UP主 @你ADC我輔助 表示，官方發(fā)布的SVS聲庫絕大多數(shù)都是經(jīng)過配音員本人授權(quán)的，像SV AI、CeVIO AI等軟件的AI聲庫，多采用買斷制，以一個價格購買后就能終身使用其AI合成服務(wù)。

此外，@電漿果茶表示，現(xiàn)在相關(guān)公司也在嘗試拓寬市場邊界，比如跟生產(chǎn)力工具結(jié)合。上個月，日本AI社宣布將與Unity合作推出A.I.VOICE語音合成聲庫，和基于A.I.VOICE技術(shù)的Unity擴(kuò)展編輯器，讓用戶可以在Unity上直接合成語音內(nèi)容，無需在多個軟件切換。

相比之下，SVC的商業(yè)路徑更窄，雖然也有商業(yè)化軟件，但在已經(jīng)有很多開源免費SVC的情況下，如何突出商業(yè)SVC的優(yōu)勢，是一個主要問題。同時由于制作門檻低，SVC頻道更加混亂，充斥大量低質(zhì)量作品，也引起了一些圈內(nèi)用戶的不滿。另一方面由于音頻的采集未經(jīng)過版權(quán)方同意，SVC的AI歌手對原歌手以及詞曲者都可能構(gòu)成侵權(quán)。

“灰色地帶”的陰影

版權(quán)爭議是“AI歌手”面臨的一個主要現(xiàn)實問題。

對于歌手本人和唱片公司來說，面對不間斷輸出的海量自制歌曲，進(jìn)行授權(quán)或起訴索賠并不可行，最優(yōu)的解決方案或許是將重點放在輸入側(cè)——讓AI工具從預(yù)先授權(quán)的數(shù)據(jù)集中學(xué)習(xí)。這樣唱片公司和出版商也有機(jī)會從中拓展?fàn)I收，音樂版權(quán)也可能迎來一個新的商業(yè)模式。

這樣的新商業(yè)模式并非空中樓閣。

根據(jù)近期報道，谷歌和環(huán)球音樂正在就授權(quán)AI使用藝人的聲音和音樂來創(chuàng)作歌曲進(jìn)行談判。知情人士稱，雙方的討論是圍繞AI技術(shù)在音樂版權(quán)方面達(dá)成合作伙伴關(guān)系，希望開發(fā)一種工具，讓廣大粉絲可以合法地創(chuàng)作AI歌曲，向版權(quán)方付費，歌手們可以自由選擇是否加入。目前磋商還處于早期階段，暫時不會推出產(chǎn)品。此外據(jù)透露，華納音樂也在與谷歌談判中。

版權(quán)之外，聲音合成還存在其他法律隱患。

聲音具有強(qiáng)烈的人身屬性，更是歌手賴以生存的根本。“聲音保護(hù)”也被寫入《民法典》，根據(jù)《民法典》第1023條相關(guān)規(guī)定：“對姓名等的許可使用，參照適用肖像許可使用的有關(guān)規(guī)定。對自然人聲音的保護(hù)，參照適用肖像權(quán)保護(hù)的有關(guān)規(guī)定?！蹦敲次唇?jīng)本人允許，通過SVC技術(shù)偽造聲音，無疑是對其人身權(quán)益的損害。

UP主 @痕繼痕跡 表示，“技術(shù)也可能會被用于不好的用途，比如某流量演員自身臺詞功底很弱，通過換聲把配音轉(zhuǎn)變成自己的，或者以后某歌手的歌都不是自己唱的，而是別人唱完變聲成自己的。”此外還可能偽造虛假的錄音、言論，進(jìn)行詐騙或者造謠誹謗他人——今年已有多起使用AI合成語音電詐的案例曝光。

法律和商業(yè)模式都是AI歌手發(fā)展過程中要過的關(guān)，但這并不影響其成為人工智能技術(shù)的一次重大應(yīng)用。AI歌手正在不斷拓展音樂創(chuàng)作的邊界，為音樂文化注入無限的可能性。

相關(guān)資料：

咨詢公司MIDiA今年5月發(fā)布了報告《AI and the future of music | The future is already here》，在這里提取幾點關(guān)鍵信息，供大家參考。

? 音樂創(chuàng)作者中有一半人認(rèn)為AI可以成為制作音樂的有用工具，四分之一的人對此持中立態(tài)度。

? AI將使音樂制作工具更普及，推動音樂產(chǎn)出實現(xiàn)量子飛躍。

? 隨著AI加速音樂市場的過度飽和和高度碎片化，創(chuàng)作者和消費者之間界限的模糊，培養(yǎng)粉絲將成為最終的差異化因素。

? AI無需生成出色的音樂就能侵蝕主要唱片公司的市場份額，它只需要生成足夠多的歌曲，每首歌曲都有一次播放。

? 隨著創(chuàng)作者更多的使用AI工具，唱片公司將需要圍繞藝人發(fā)展和吸引粉絲重新定位。

? 如果擁抱AI，錄制音樂可能會出現(xiàn)一套全新的授權(quán)模式，從授權(quán)專有數(shù)據(jù)集到消費者創(chuàng)作工具。