機器之心

選自arXiv

作者：Xudong Liu等

機器之心編譯

參與：Panda W

愛美之心，人皆有之。使用美顏軟件提升顏值已經(jīng)成為很多人發(fā)布自拍照之前的常規(guī)操作。近日，ObEN 公司和西弗吉尼亞大學(xué)的一項研究提出了一種新型人臉美化技術(shù)，能夠基于參照圖像（通常是明星照片）的特征提升輸入人臉（比如你的自拍）的顏值，從而讓你也能變得與明星一樣美。

圖 1：表述為多對多圖像轉(zhuǎn)譯問題的人臉美化：新提出的方法將基于風(fēng)格的美顏表征與顏值預(yù)測模型整合到了一起，并能實現(xiàn)細粒度的控制。

在我們的社會生活中，人臉外觀具有非常重要的作用。面孔迷人的人在他們的社會活動（比如約會和投票）中具有很多優(yōu)勢。研究已經(jīng)發(fā)現(xiàn)，迷人的人成功約會的幾率更高，而且相比于與不那么迷人的人約會，他們的伴侶更可能獲得滿足。研究還發(fā)現(xiàn)，人臉可以影響雇傭決策和投票行為。由于社會對美貌的狂熱，面部不夠迷人的女性可能遭受社交孤立、沮喪甚至心理疾病問題。由此造成的后果是，在物理世界（比如面部化妝和整形手術(shù)）和虛擬世界（比如美顏相機和濾鏡）中，人們對人臉美化都有強烈的需求。

哲學(xué)家、心理學(xué)家和整形外科醫(yī)生已經(jīng)對人臉美化問題進行過廣泛的研究。成像技術(shù)和社交媒體的快速發(fā)展極大加速了數(shù)字照片（尤其是自拍）在我們的日常生活中的普及。近期，計算機視覺社區(qū)也已經(jīng)開發(fā)出了基于美妝應(yīng)用或妝容遷移思想的虛擬人臉美化技術(shù)，其中包括 PairedCycleGAN、BeautyGAN、BeautyGlow。盡管這些已有的工作已經(jīng)取得了出色的成果，但僅基于妝容遷移的人臉美化還存在一些根本性的局限性。這無法改變某些重要的人臉屬性（比如形狀和雀斑），通過圖像到圖像轉(zhuǎn)譯實現(xiàn)的妝容改變的應(yīng)用只能在一定程度上提升顏值（beauty score）。

這篇論文的作者認為，要創(chuàng)造一種更加靈活和更有前景的框架，可通過一到多轉(zhuǎn)譯（one-to-many translation）來描述人臉美化的過程，其中可以使用很多不同的方式來定義目標(biāo)。一方面，可通過根據(jù)給定的參照（具有較高的顏值）逐漸遷移所學(xué)習(xí)到的基于風(fēng)格的美顏表征（beauty representation），以得到顏值單調(diào)增長的輸出圖像為目標(biāo)。另一方面，還可通過學(xué)習(xí)一系列參照（比如有不同美顏風(fēng)格的明星）得到多種不同的個性化美化結(jié)果。使用這種框架的人臉美化技術(shù)可以做得更加靈活——比如可以遷移參照圖像的美顏風(fēng)格，從而達到指定的顏值；這是妝容遷移技術(shù)無法實現(xiàn)的能力。

為了實現(xiàn)這一目標(biāo)，研究者在這篇論文中提出了一種全新的生成對抗網(wǎng)絡(luò)（GAN）架構(gòu)。基于近期在基于風(fēng)格的合成（比如 styleGAN）和基于數(shù)據(jù)的人臉顏值理解方面的最新進展，研究者提出將基于風(fēng)格的美顏表征（提取自參照人臉）和顏值預(yù)測（在 SCUT-FBP 數(shù)據(jù)庫訓(xùn)練得到）整合進人臉美化的過程中。更具體來說，基于風(fēng)格的美顏表征將通過輕量卷積神經(jīng)網(wǎng)絡(luò)（LightCNN）從待美化和參照圖像中提取，然后其會被用于引導(dǎo)風(fēng)格遷移過程（實際的美化過程）。然后，研究者構(gòu)建了一個整合了重建損失、美顏損失和身份損失函數(shù)的專用的基于 GAN 的架構(gòu)。為了對美化過程有細粒度的控制，研究者還發(fā)明了一種簡單但有效的重新加權(quán)策略，可逐漸提升合成圖像的顏值，直到其達到目標(biāo)水平（由參照圖像指定）。

論文地址：https://arxiv.org/abs/1912.03630

這篇論文主要有以下貢獻：

給出了對虛擬人臉美化的一種前瞻性看法，并提出了一種超越妝容遷移方法（比如 BeautyGAN 和 BeautyGlow）的整體式的基于風(fēng)格的方法。研究者認為人臉顏值能為引導(dǎo)人臉美化過程提供一種定量的解決方案。

基于 LightCNN 的微調(diào)訓(xùn)練了一種人臉顏值預(yù)測網(wǎng)絡(luò)，并將其整合進了新提出的基于風(fēng)格的人臉美化網(wǎng)絡(luò)中。這個預(yù)測模塊能為合成模型提供很有價值的反饋，從而接近所需的顏值。

提出了一種搭載式的技巧，可同時從經(jīng)過微調(diào)的 LightCNN 提取身份和美顏特征；另外還設(shè)計了多種損失函數(shù)，能夠反映身份信息保留和人臉美化之間的權(quán)衡。

這是首個能得到有細粒度控制的人臉美化結(jié)果的研究成果（即能通過一系列人臉圖像使顏值單調(diào)遞增地接近參照圖像）。

研究者也進行了全面的實驗評估，結(jié)果表明：相比于 CycleGAN、MUNIT 和 DRIT 等當(dāng)前最佳的圖像到圖像轉(zhuǎn)譯技術(shù)，新提出的方法表現(xiàn)更優(yōu)。

新方法

人臉吸引力理論

人臉吸引力為什么很重要？從進化角度看，一個可信的有效假設(shè)是：靈長類動物對吸引力的判斷的底層心理機制源自長期的進化和適應(yīng)。更具體來說，人臉吸引力有利于選擇配偶，進而促進基因傳播。在最基本的層面上，人臉吸引力也可能反映了個體身體健康的信息。據(jù)此，在人臉吸引力研究方面的古典看法聚焦于一些直觀淺顯的屬性，比如人臉對稱性和潛在生物指標(biāo)上的平均性。在現(xiàn)代文明歷史中，評估人臉吸引力的社會慣例一直在不斷變化，而且不同地區(qū)也各不相同（比如西方文化和東方文化之間就存在顯著差別）。

尤其值得一提的是，年輕女性的人臉吸引力是一個趣味盎然的主題，長期以來廣受歡迎的選美比賽就能說明這一點。實際上，之前已有科學(xué)家專門研究過女性人臉特征和男性的響應(yīng)之間的關(guān)系（參考文獻 [6]）。基于男性受試者給出的吸引力評分，該研究發(fā)現(xiàn)有兩類人臉特征與吸引力分數(shù)正相關(guān)，比如大眼睛、小鼻子、小下巴以及突起的顴骨和較窄的臉頰。該研究還發(fā)現(xiàn)，人臉特征也可以預(yù)測人的個性和利他傾向。

本研究僅關(guān)注女性的人臉美化。

問題描述和動機

給定一張目標(biāo)人臉（顏值普通）和一張參照人臉（通常是顏值高的明星的臉），我們可以如何遷移參照圖像的相關(guān)信息來實現(xiàn)對目標(biāo)人臉的美化。這樣的人臉美化問題可以表述為兩個子問題：風(fēng)格遷移和顏值預(yù)測。另外，研究者還引入了另一個重要的新見解，即將人臉美化過程視為一個序列過程，其中目標(biāo)人臉的顏值可通過連續(xù)的風(fēng)格遷移步驟來逐步提升。隨著細粒度的風(fēng)格遷移的進行，被美化的目標(biāo)人臉的顏值會單調(diào)遞增，向參照人臉的顏值靠攏。

風(fēng)格遷移是一個已被廣泛研究的問題。近些年來，人們越來越關(guān)注提取基于風(fēng)格的表征的思想（風(fēng)格代碼）。需要注意，妝容遷移只是風(fēng)格遷移的一種特例，其中描述風(fēng)格的只有局部特征而已（比如眼影和唇彩）。本研究提出了一種更通用的解決方案，可同時遷移參照圖像的全局和局部風(fēng)格代碼。風(fēng)格代碼的提取將基于其顏值預(yù)測問題的解決方案。通過這樣的方式在風(fēng)格遷移和顏值預(yù)測之間共享所學(xué)習(xí)到的特征，讓研究者實現(xiàn)了對美化過程的細粒度控制。

架構(gòu)設(shè)計

如圖 2 所示，A 和 B 分別表示目標(biāo)人臉（低吸引力）和參照人臉（高吸引力）。美化的目標(biāo)是將圖像 A 轉(zhuǎn)譯為一張新圖像 AB，其顏值與 B 的顏值相近百分之 Q（Q 是 0-100 之間的一個整數(shù)，指定了美顏遷移的細粒度）。假設(shè)圖像 A 和 B 都可分解為包含風(fēng)格與內(nèi)容的兩部分表征。也就是說，這兩張圖像都可通過兩個編碼器進行編碼：內(nèi)容（身份）編碼器 E_c 和風(fēng)格（美顏）編碼器 E_s。為了將參照人臉 B 的美顏風(fēng)格遷移到目標(biāo) A，很自然的做法是將基于內(nèi)容（身份）的表征 C_a 和基于風(fēng)格（美顏）的表征 S_b 連接起來；然后通過下式定義的專用解碼器 G 重建美化后的圖像 AB：

圖 2 中的架構(gòu)的其余部分主要包含兩個組分：一個負責(zé)風(fēng)格遷移的基于 GAN 的模塊（G 搭檔 D）和一個負責(zé)顏值預(yù)測的美顏和身份損失模塊（參見圖 3）。

圖 2：新提出的網(wǎng)絡(luò)架構(gòu)的概況

其中 GAN 模塊包含兩個編碼器、一個解碼器和一個判別器；其作用是提取參照圖像的美顏/風(fēng)格表征，然后將其嵌入到目標(biāo)圖像中，以便執(zhí)行美化。顏值預(yù)測模塊則基于對現(xiàn)有的 LightCNN 的微調(diào)，見圖 3。

圖 3：用于顏值預(yù)測的微調(diào)網(wǎng)絡(luò)

細粒度的美顏調(diào)整

為了對美化過程實現(xiàn)細粒度的控制，研究者提出了一個加權(quán)式美化方程：

其中 w_1 + w_2 = 1 且 0 ≤ w_1, w_2 ≤ 1.

圖 4：細粒度美化調(diào)整的測試階段

圖 5 展示了新提出的細粒度美顏調(diào)整的效果。

總損失是這些損失的加權(quán)和。

圖 5：通過控制美顏表征實現(xiàn)的美顏程度調(diào)整（最左一列是原始輸入，從左至右：美化程度逐級提升）

損失函數(shù)

該方法使用了多種損失：圖像重建損失、對抗損失、身份保留損失、美顏損失、感知損失?？倱p失是這些損失的加權(quán)和。

實驗

表 1：對美化后圖像的用戶研究偏好

表 2：美化處理后的平均顏值

圖 6：與基準(zhǔn)模型的不同參照美化比較。最上面的圖像是原始輸入，最左邊的是 5 張參照人臉，注意 CycleGAN 的輸出都是一樣的，沒有參照圖像的影響。

圖 7：與基準(zhǔn)模型的同樣參照（圖 6 中的參照 1）的美化比較

用戶研究和顏值評估都表明了新提出的模型的優(yōu)越性。而且新提出的模型也能穩(wěn)健地處理存在模糊和高難度光照條件的低質(zhì)量圖像。但是，研究者也注意到當(dāng)輸入存在較大遮擋和姿勢差異時，模型往往會產(chǎn)生一些可見的偽影。主要原因是對齊不好，即參照圖像基本都是正臉圖像，而較大遮擋和姿勢差異會導(dǎo)致無法很好對齊。

機器之心「SOTA模型」：22大領(lǐng)域、127個任務(wù)，機器學(xué)習(xí) SOTA 研究一網(wǎng)打盡。

原標(biāo)題：《朋友圈變美靠AI：新型美顏技術(shù)實現(xiàn)細粒度顏值提升》

閱讀原文