下載客戶端

登錄

不滿《曼達洛人》用特效給69歲天行者“減齡”，網(wǎng)友用DeepFake重制結局

2020-12-29 18:33

來源：澎湃新聞·澎湃號·湃客

原創(chuàng) 文摘菌大數(shù)據(jù)文摘

大數(shù)據(jù)文摘出品

作者：劉俊寰

各位星戰(zhàn)迷，《曼達洛人》第二季大結局看得爽嗎？

反正，盧克天行者的出現(xiàn)就頓時讓文摘菌顱內高潮了，第二季在豆瓣上的評分也高達9.5分，足見質量之高。

不過，對于盧克天行者的扮演者，今年69歲的馬克哈米爾來說，這一切遠不止參演電影那么簡單，因為制作團隊還必須給他技術“減齡”。

不知道國內的觀眾對官方的CG減齡技術的效果怎么看。所謂CG減齡，其實就是利用CG技術修復演員容顏從而符合電影設定，這在業(yè)內被稱為“顏設”。這項技術在漫威系列電影，比如《驚奇隊長》《美國隊長3》中都有所運用。

最近文摘菌發(fā)現(xiàn)，國外的網(wǎng)友可能沒有那么買賬，于是他們自己動手用DeepFake重新制作了結局盧克出現(xiàn)的部分，直接換上了年輕的馬克哈米爾的臉。

大家可以對比著看看效果：

"May the force be with you."

國外的網(wǎng)友對此表示出了極大的贊美，有人留言表示，“膚色和紋理比原版看上去都要好很多”。

也有網(wǎng)友指出，“上嘴唇看起來還是有一些僵硬”。

當然，還有看熱鬧不嫌事大的網(wǎng)友還表示，直接讓“冬兵”出演不就行了嗎？（這有理有據(jù)的文摘菌也是無法反駁）

讓人歡喜讓人憂的DeepFake

說到DeepFake，可能你還不知道，現(xiàn)在網(wǎng)絡上超過95%的DeepFake視頻都是通過DeepFakeLab制作完成的，目前，這個項目在GitHub上的標星超過了22.5k。

GitHub鏈接：

https://github.com/iperov/DeepFaceLab

本質上說，DeepFake是一種使用AI深度學習，將一張圖片中人的臉換到其他人的圖片上的技術。通過這種技術，我們可以創(chuàng)建一個非常逼真的“假”視頻或圖片，“換臉術”也因此得名。

研究人員使用自動編碼器神經(jīng)結構，使這一想法成為現(xiàn)實?；舅悸贩浅：唵危簩τ诿繌埬?，我們都訓練一套編碼器和相應的解碼神經(jīng)網(wǎng)絡。編碼時，使用的是第一個人的圖片。而解碼時，卻是使用第二個人解碼器。

對于訓練部分，如果是公眾人物自然是不愁數(shù)據(jù)可用，當照片不足時，我們還可以從視頻中進行提取。在神經(jīng)網(wǎng)絡訓練并學習了關于每個人面部的特征之后，它自己就能預測想出這個人還沒擺出來的姿勢。

比如，訓練生成John Oliver。

在DeepFake出現(xiàn)之前，人們想換個臉只能依賴手動PS，如果是在一段視頻里面，那就得一幀一幀地換，費時又費力。DeepFake的出現(xiàn)，一定程度上緩解了這個工作量。

但同時，也有人利用DeepFake這一機器使用機器學習算法和數(shù)千張人臉圖片來生成不存在的人的真實感圖像，包括。

只要某個人上傳數(shù)據(jù)集到互聯(lián)網(wǎng)上，將其插入“DeepFake色情片”訓練集中，其他人就也可以使用該數(shù)據(jù)集來創(chuàng)建“完全由AI生成的色情”。

在不少人看來，在原有色情作品上，利用Deepfake生成不存在的人臉進行二次創(chuàng)作可以避免法律上的懲罰和道德上的譴責。

對嘴型也是一個技術活

正如作者之一Shamook表示，他們沒有原始視頻的資源，因此只能在CG減齡的基礎上進行“換臉術”，效果自然是沒有直接在毛片上處理來得好。

對于有網(wǎng)友指出的嘴部的動作，他們也用到了Wav2Lip，一種準確對口型的技術。在GitHub上這個項目的標星超過了1.8k。

GitHub鏈接：

https://github.com/Rudrabha/Wav2Lip

根據(jù)一位YouTube博主WhatMakeArt介紹，每個人都可以用在GitHub上開源的wav2lip算法實現(xiàn)口型同步這項技術，所有的代碼運行部分也都可以在Google Collab Notebook上找到。

這位博主表示，每當他看到有關于深度學習或AI圖像處理的教程時，都想嘗試一把，但總是被過于復雜的過程勸退，不是缺少了相關代碼依賴，就是安裝了不同的Python庫，或者是自己的GPU算力或其他必要的硬件無法滿足要求。

但wave2lip是真正能夠讓所有人都可以去嘗試的一項技術，而且對于DeepFake之類技術的流行，我們也需要具備一些基礎分辨的能力。

整個過程的使用，這位博主也專門錄制了一起視頻進行講解，可以說十分小白友好了：

https://www.youtube.com/watch?v=Ic0TBhfuOrA

Google Colab Notebook鏈接：

https://colab.research.google.com/drive/1tZpDWXz49W6wDcTprANRGLo2D_EbD5J8?usp=sharing

根據(jù)介紹，wav2lip模型是在LRS2數(shù)據(jù)集上進行訓練的。

LRS2數(shù)據(jù)集來自BBC電視節(jié)目中的數(shù)千個口語句子，每個句子的長度不超過100個字符。訓練、驗證和測試集按播出日期進行劃分。數(shù)據(jù)集統(tǒng)計信息如下表所示：

訓練前的話語集既對應部分句子又對應多句，而訓練集僅由單個完整句子或短語組成。在訓練前和訓練集之間有一些重疊。

根據(jù)該數(shù)據(jù)集的創(chuàng)建者說法，雖然在訓練前和訓練集中可能存在一些標簽噪聲，但測試集經(jīng)過了額外的驗證，所以，據(jù)目前所知，測試集中是沒有錯誤存在的。

數(shù)據(jù)集鏈接，內含下載方法：

https://www.robots.ox.ac.uk/~vgg/data/lip_reading/lrs2.html

CG減齡術廣泛運用

對于CG減齡，大家可能相對來說要更熟悉一些。

從去年李安的電影，到頒獎季熱門影片《愛爾蘭人》，甚至在《我和我的祖國》中，年輕版的任達華和惠英紅也用到了數(shù)字減齡術。

其實，好萊塢早就開始運用CG技術來修改演員的面容了。只是作為電影工業(yè)的一部分，“美容造型”已經(jīng)廣泛進入了拍攝預算，但為了保護演員的名聲，這種美容和美體是需要“保密”的。曾獲奧斯卡最佳剪輯提名的喬·沃克爾曾經(jīng)透露：“我們在一位女演員身上某處幾乎難以被觀眾注意的地方進行了95%的壓縮處理，使得她看上去身材更完美?！?/p>

但是，CG減齡也不是說用就能用的，背后投入的資金和時間都是無法想象的。

比如，在大衛(wèi)芬奇的代表作之一《本杰明·巴頓奇事》中，在2008年的投資就接近1.5億美元，就是因為要用相當多的CG技術來合成不同年齡的布拉德·皮特。片中，44歲的布拉德·皮特出演年齡“負增長”的怪人本杰明·巴頓，剛出生時就一頭華發(fā)、滿臉皺紋，然而隨著歲月的流逝，他卻日益青春煥發(fā)。