編輯：LRS

圖像合成中的一個(gè)重要問題就是圖像內(nèi)的糾纏（entanglement）問題。

比如把一個(gè)人臉上的胡子全都自動去掉，或者完美地貼上胡子，最后生成的圖片或多或少都有違和感，因?yàn)楹雍腿四槾嬖谀撤N糾纏的關(guān)系。

并且不同物體間的合成、去除的難度也不盡相同。

舉幾個(gè)生活中的例子就很好理解了，從牛肉面里挑出來香菜，和挑牛肉出來的難度相差很大；想從咖啡里面把糖都挑出來，那就簡直是不可能完成的任務(wù)了。

有些東西天生就是捆綁在一起的，想要完美的新建、合成一張新圖像，機(jī)器學(xué)習(xí)模型必須能夠?qū)W會創(chuàng)建各種各樣的物體，并且最好能夠分離出不同的特征和概念。

如果模型能把年齡、性別、頭發(fā)顏色、膚色、情緒等分出來，那你就可以在一個(gè)框架中隨意修改這些組件，更加靈活地控制生成圖像，在更加細(xì)化的水平上創(chuàng)建和編輯人臉等圖像，能夠完美避開圖像的糾纏關(guān)系。

在所有實(shí)體最大糾纏的情況下，圖像實(shí)際上進(jìn)行的就是分類任務(wù)，例如模型識別出是Lady Gaga的一張照片。

中等糾纏情況下，模型可以進(jìn)一步分解照片，發(fā)現(xiàn)她是金頭發(fā)、微笑的表情等等，GAN模型就可以根據(jù)這些信息進(jìn)行修改，并生成新圖像。

完全解糾纏的狀態(tài)下，模型能夠進(jìn)一步識別出特征，比如年齡，微笑程度等等。

在過去的幾年中，已經(jīng)有很多人嘗試創(chuàng)建交互式臉部編輯模型，用戶可以通過滑塊或者其他傳統(tǒng)的用戶界面交互來改變圖片的臉部特征，并且在進(jìn)行添加或改變面部特征時(shí)保持目標(biāo)人臉的核心特征不變。

然而，由于GAN潛空間中的潛特征和風(fēng)格糾纏現(xiàn)象，所以想要任意編輯人臉特征，技術(shù)還不成熟。

例如，眼鏡特征經(jīng)常與老年人的特征糾纏在一起，這意味著增加眼鏡可能也會使臉部「老化」，而想要讓臉部老化，可能也會為面部增加一個(gè)眼鏡，具體取決于高層特征的應(yīng)用分離程度。

最難的是改變頭發(fā)的顏色和發(fā)型，幾乎不可能在不重新計(jì)算發(fā)絲和面部布局的情況下給人物「理發(fā)」。

最近，Adobe在WACV2022會議上發(fā)表了一篇新論文，提供了一個(gè)解決這些基本問題的新方法。在StyleGAN生成的圖像中，用于保護(hù)身份的多重面部屬性編輯的學(xué)習(xí)映射器。

Adobe

3.5

40條點(diǎn)評

咨詢產(chǎn)品

免費(fèi)試用

Adobe是美國一家跨國電腦軟件公司。

客戶案例

5

合作品牌

5

論文地址：

https://openaccess.thecvf.com/content/WACV2022/papers/Khodadadeh_Latent_to_Latent_A_Learned_Mapper_for_Identity_Preserving_Editing_WACV_2022_paper.pdf

論文的主要作者是Adobe的應(yīng)用科學(xué)家Siavash Khodadadeh，同時(shí)還有其他四位Adobe研究人員，以及中佛羅里達(dá)大學(xué)計(jì)算機(jī)科學(xué)系的一位研究人員。

這篇論文很有意思，部分原因是Adobe已經(jīng)在圖像合成領(lǐng)域研發(fā)了一段時(shí)間，而且和Adobe公司的產(chǎn)品很契合，這種功能在未來幾年內(nèi)很有可能包裝進(jìn)Adobe Creative Suite項(xiàng)目；但主要還是因?yàn)闉檫@個(gè)項(xiàng)目提出的架構(gòu)采取了不同的方法，在應(yīng)用變化的同時(shí)保持GAN面部編輯器的視覺完整性。

作者宣稱他們訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來執(zhí)行潛意識到潛意識的轉(zhuǎn)換，找到與屬性改變的圖像相對應(yīng)的潛編碼。由于該技術(shù)是one-shot的，它不依賴于屬性逐漸變化的線性或非線性軌跡。

通過在整個(gè)生成pipeline上端對端訓(xùn)練網(wǎng)絡(luò)，該系統(tǒng)可以適應(yīng)現(xiàn)有的生成器架構(gòu)的潛空間，并能夠保護(hù)屬性（Conservation properties），如人的身份特征可以在訓(xùn)練損失中進(jìn)行編碼。

一旦latent-to-latent網(wǎng)絡(luò)訓(xùn)練完，就可以用于任意的圖像輸入，而不需要微調(diào)。

這個(gè)特性也意味著文中提出的架構(gòu)可以把模型一次性部署到用戶終端，但它仍然需要本地資源運(yùn)行一個(gè)神經(jīng)網(wǎng)絡(luò)，但新的圖像可以直接丟到模型里去，并可以隨意變化。因?yàn)榭蚣苁墙怦畹模膊恍枰M(jìn)一步的特定圖像訓(xùn)練。

這項(xiàng)工作的主要成果之一就是網(wǎng)絡(luò)可以通過只改變目標(biāo)向量中的屬性來「凍結(jié)」?jié)摽臻g中的身份特征。

從本質(zhì)上講，網(wǎng)絡(luò)被嵌入到一個(gè)更通用的架構(gòu)中，可以協(xié)調(diào)所有的處理元素，這些元素通過預(yù)先訓(xùn)練好的具有凍結(jié)權(quán)重的組件，不會對轉(zhuǎn)換產(chǎn)生不必要的橫向影響。

由于訓(xùn)練過程依賴于可以由種子圖像（GAN inversion）或現(xiàn)有的初始潛編碼產(chǎn)生的triplets，所以整個(gè)訓(xùn)練過程是無監(jiān)督的，這類系統(tǒng)中習(xí)慣性的一系列標(biāo)簽和curation系統(tǒng)的能夠得到有效處理。系統(tǒng)中使用的是現(xiàn)成的屬性回歸器（attribute regressors）。

作者在文中表示，該網(wǎng)絡(luò)能夠獨(dú)立控制的屬性數(shù)量只受到識別器能力的限制，如果你有一個(gè)屬性的識別器，就可以把它添加到任意的面孔上。在文中實(shí)驗(yàn)，研究人員直接訓(xùn)練了一個(gè)能調(diào)整35個(gè)不同的面部屬性的latent-to-latent網(wǎng)絡(luò)，比以前的任何方法都要多。

該系統(tǒng)還納入了一個(gè)額外的保障措施，以防止不想要的「副作用」轉(zhuǎn)換：在沒有要求改變屬性的情況下，latent-to-latent網(wǎng)絡(luò)會將一個(gè)latent向量映射到自己身上，進(jìn)一步增加目標(biāo)身份的穩(wěn)定持久性。

在過去幾年里，基于GAN和編碼器/解碼器的人臉編輯器的l另一個(gè)反復(fù)出現(xiàn)的問題是，使用的變換方法往往會降低臉部相似度。

為了解決這個(gè)問題，Adobe項(xiàng)目使用了一個(gè)名為FaceNet的嵌入式面部識別網(wǎng)絡(luò)作為判別器，可以將標(biāo)準(zhǔn)的面部識別甚至表情識別系統(tǒng)整合到生成網(wǎng)絡(luò)中。

該框架的另一個(gè)主要特點(diǎn)是能夠在潛空間任意轉(zhuǎn)換。通過提高GAN的空間意識，可以在潛過渡點(diǎn)范圍內(nèi)（range of potential transition points）進(jìn)行圖像修改，但如EQGAN等模型在面對不同材質(zhì)、紋理的修改時(shí)，都需要重新訓(xùn)練模型。

除了可以接受全新的用戶圖像外，用戶還可以手動「凍結(jié)」他們希望在轉(zhuǎn)換過程中保留的元素。通過這種方式，用戶可以確保背景等無關(guān)因素不發(fā)生變化、

屬性回歸網(wǎng)絡(luò)由三個(gè)網(wǎng)絡(luò)組成：FFHQ、CelebAMask-HQ和一個(gè)由StyleGAN-V2的Z空間采樣40萬個(gè)向量而產(chǎn)生的局部GAN網(wǎng)絡(luò)。

分布外（Out-of-distribution, OOD）的圖像被過濾掉，并使用微軟的人臉API提取屬性，所得的圖像集被分成90/10，剩下72萬張訓(xùn)練圖像和7.2萬張測試圖像進(jìn)行對比。

實(shí)驗(yàn)網(wǎng)絡(luò)的初始配置可以容納35個(gè)潛變換的方式，但為了對類似的框架InterFaceGAN、GANSpace和StyleFlow進(jìn)行類似的測試，轉(zhuǎn)換數(shù)簡化為8個(gè)，分別為年齡、禿頭、胡須、表情、性別、眼鏡、音高和偏角（Yaw）.

實(shí)驗(yàn)結(jié)果和預(yù)期相符，在其他競爭的模型架構(gòu)中，圖像合成的結(jié)果出現(xiàn)了更大程度的糾纏。例如，在一個(gè)測試中，當(dāng)用戶要求改變?nèi)宋锬挲g時(shí)，InterFaceGAN和StyleFlow甚至把主體的性別都給變了。

最后量化的實(shí)驗(yàn)結(jié)果中可以看到，除了在Yaw（頭部角度）的實(shí)驗(yàn)中，Latent-to-Latent的效果并不理想，其余七個(gè)屬性的性能基本都處于sota序列。而GANSpace對于年齡和眼鏡變化的效果則更優(yōu)。

參考資料：

https://www.unite.ai/adobe-research-extends-disentangled-gan-face-editing/

本文來自微信公眾號 “新智元”（ID：AI_era），36氪經(jīng)授權(quán)發(fā)布。