下載客戶端

登錄

你站在街上歪頭瞅攝像機，我在100年后隔著屏幕瞅你

2020-07-06 14:33

來源：澎湃新聞·澎湃號·湃客

原創(chuàng) 木子Yanni 淺黑科技來自專輯隱秘往事

你站在街上歪頭瞅攝像機

我在 100 年后隔著屏幕瞅你

文 | 木子Yanni

比「改編自真實事件」更震撼的，是直接站在真實面前。

前段時間，一位叫做大谷的 90 后北京小伙兒，無意中看到了一段拍攝于 1920 年左右的珍貴影像視頻，他靈光一閃，借助科技的力量，用人工智能對視頻進行了修復，讓我們有幸目睹了 100 年前北京城真實的煙火氣。

街道上，行人、車馬交錯而行，《駱駝祥子》里的黃包車穿梭而過；如今要深入沙漠才尋得到的駱駝，正馱著貨物穩(wěn)步走在大街上；小小的院兒門口，有催促孩童的動，也有挑擔賣貨的靜，甚至在 30 秒內(nèi)，就上演了三種不同的問候方式；與現(xiàn)在不同，那時街上悠然閑逛的大多都是男性；一個轉(zhuǎn)頭，還能瞅見街邊興致盎然接力逗狗的老哥。

三種問候

截圖來源于YouTube:人民日報

沒想到，時隔月余，大谷的“老北京 Vlog”第二彈又來了。

這一次修復的視頻，拍攝于 1928 年前后，與第一彈視頻僅相隔 10 年，卻能明顯看到變化：十年前，人們在街頭看到攝像機時，或盯住幾秒鐘后倉皇逃開，或原地看呆逐漸石化，或因好奇而一步三回頭，想看又不敢看。

眾人驚呆相

截圖來源于YouTube:人民日報

十年后，在小院兒里剃頭的隨便一位路人小伙兒，都能神態(tài)自若的對著鏡頭，瀟灑的拍拍自己剛剃好的頭，用地道的老北京話反復念叨著：“不錯、剃挺好，不錯、剃挺好...”

“不錯，剃挺好”

截圖來源于B站：大谷的游戲創(chuàng)作小屋

街邊一擁而上打午飯的孩子們，眼睛盯著攝像頭，等著端飯的手卻絲毫沒受影響：吃飯最重要，害怕？不存在的。

“我也要、我也要”

截圖來源于B站：大谷的游戲創(chuàng)作小屋

你再瞧這個舔碗的靚仔，是不是跟你小時候如出一轍？

“真香，還想要...”

截圖來源于B站：大谷的游戲創(chuàng)作小屋

此外，視頻中還有摩肩接踵的集市、街頭的民俗樂隊等場景，一個熟悉又陌生的年代，瞬間躍然于眼前。

古人不見今時月，今月曾經(jīng)照古人。

你站在街上歪頭瞅攝像機，我在 100 年后隔著屏幕看你。視頻中的他們，見證了歷史，而我們正在回望，如果要說遺憾，大概是模糊的畫面，遍布歷史劃痕；黑白的色調(diào)，失了時代本色。

于是，大谷利用人工智能，從三個方面對視頻進行了修復。值得一提的是，第一彈視頻中的聲音，是用素材后期配的，而這一次的修復，全部都是時代原聲，有興趣的話，各位可以去看完整版視頻（比如 B 站搜索「大谷的游戲創(chuàng)作小屋」）。

接下來，我們一起來看看，當你在看修復版視頻的時候，視頻到底修復了些什么。

（一）頓頓頓頓頓

如果你看過早期的影視作品，比如 83 版射雕、86 版西游記、94 版三國，大概率會有這樣的感受：明顯看到畫面在跳動，仿佛攝影師得了帕金森一般。

為什么會這樣呢？

我們需要先弄清楚一個問題：當你在看視頻時，你看的到底是什么？劇情、演技，還是中間插播的廣告？都不是。

其實是一連串圖片。

我們現(xiàn)在看到的電影，絕大多數(shù)都是 24 幀，意思是每秒由 24 張圖片組成。電影在播放時，24 幀既能保證你看到的畫面是流暢的，也能恰到好處地繼承優(yōu)良傳統(tǒng)：最初，電影拍攝離不開膠卷，雖然幀數(shù)越多，細節(jié)表現(xiàn)就越好，但每一幀都是錢啊，經(jīng)過認（扣）真（門）對比，優(yōu)秀的電影人發(fā)現(xiàn)，24 幀是性價比最高的選擇，既不會浪費膠卷，畫面的流暢度也能達標。盡管如今已經(jīng)是數(shù)碼時代，但 24 幀的傳統(tǒng)依然保留了下來。

如此看來，老舊視頻卡頓的問題就有答案了，因為幀數(shù)不夠。剛才有提到，要想畫面流暢，每秒就不能少于 24 幀，而老電影是低于這個數(shù)字的，比如大谷修復的那部 100 年前“老北京 Vlog”，幀數(shù)都在 10 以下，用我們已經(jīng)嬌生慣養(yǎng)出的好萊塢大片觀感來審視，只能是囫圇吞水，“頓頓頓頓頓”。

幀數(shù)不夠，補幀來救。但要清楚一點：因為補出的幀，原本是不存在的，所以補幀需要依靠想象力。

傳統(tǒng)的補幀方法主要有三種：幀采樣、幀混合，以及光流法?？吹竭@兒，有句話恐怕要應驗了：專有名詞一出現(xiàn)，吃瓜群眾走一半。其實，Duck 不必，我們逐一來看。

第一種，幀采樣。是指把前一幀復制到后一幀，簡單來說就是 112233。

第二種，幀混合。是指在前后兩幀中間合成一個新的幀，同時調(diào)整新合成幀的透明度，做出畫面過渡的感覺，也就是1、1.5、2、2.5、3。

第三種，光流法。什么是光流呢？當一只蝴蝶從你眼前飛過，蝴蝶的移動軌跡會在你的視網(wǎng)膜上形成一連串變化的圖像，仿佛光在流動，于是，你就看到了蝴蝶的飛舞路線。換句話說，光流有記錄物體位置移動信息的能力。光流法補幀，就可以簡單理解為，找到物體在相鄰兩幀之間的位移，在位移中補出中間幀。

舉個栗子，我們看下面這張圖，假設物體在幀 1 中的位置是 1，在幀 2 中的位置是 3，在幀 3 中的位置是 5，那么，根據(jù)光流確定相鄰兩幀中物體的位移情況，就能在 1 和 3 中補出 2，在 3 和 5 中補出 4，這樣一來，原本 3 幀的視頻就補成了 5 幀，看起來，物體的運動就會流暢很多。

運動物體的光流

以上這三種補幀方法，在物體處于平移狀態(tài)的時候，效果比較好，但是，如果物體處于旋轉(zhuǎn)跳躍不停歇的狀態(tài)下，效果就要大打折扣了。比如一只正在跳旋轉(zhuǎn)舞的小熊，上一幀你還只能看到臀部，下一幀它的小短尾巴就出現(xiàn)了，像這種上一幀沒有、下一幀突然出現(xiàn)的情況，傳統(tǒng)的補幀方法就不太好用了。

另外，在補幀的時候，還有一種非常難處理、但又非常常見的情況，就是有其他物體亂入，導致目標物體被遮擋。

比如你在海邊想給女朋友拍一段沖浪的視頻，但海里都是人，不停有人擋在你女朋友面前，這種情況下，如果你后期想把視頻從 24 幀補到 30 幀，就非常難，你想，軟件正在專心腦補你女朋友的沖浪動作，一位路人甲突然出現(xiàn)，把軟件的預測給打斷了，畫面就會出現(xiàn)一種情況：疊影。

疊影大概就是這樣，你感受一下

針對這種復雜場景下的補幀，AI 的優(yōu)勢就顯現(xiàn)出來了。

在修復 100 年前的“老北京 Vlog”時，大谷用到的 AI 工具是 DAIN (Depth-Aware Video Frame Interpolation)，中文名叫做“深度感知視頻幀插值”，這是一個開源的人工智能補幀軟件。它的優(yōu)秀之處在于兼顧了光流和深度，不但能準確追蹤物體的位置移動，還能檢測到物體遮擋。光流剛剛已經(jīng)講過了，這里再來說說物體遮擋檢測。

DAIN 的架構(gòu)圖

你眼中的視頻是平面的沒錯，但視頻中的世界卻是立體的。DAIN 利用算法，可以猜測出每一幀中不同物體的深度信息，根據(jù)深度的不同，AI 就能知道是誰遮住了誰，接下來，根據(jù)“遮擋物近、被遮擋物遠”的原則，就能較為精準地確定畫面中物體的邊緣輪廓，避免出現(xiàn)疊影，從而產(chǎn)生更好的補幀效果。

深度圖中，不同顏色代表不同深度值

（二）糊糊糊糊糊

對于視頻來說，畫面流暢遠遠不夠，清晰也很重要。

如果畫面很朦朧，你連主演的表情都看不真切，就不能揪著 Ta 的演技口吐芬芳，從而失去一個閑談時的八卦談資，進而你會質(zhì)疑當下的視頻制作水平，你的不信任就會阻礙視頻行業(yè)的健康發(fā)展，為了這一切不會發(fā)生，畫面必須要清楚。

提到清晰度，你肯定會想到 480P、720P、1080P、2K、4K，那么問題來了，怎么才能把 480P 的視頻提升到 720P 呢？重拍。

除了重拍呢？那就是超分辨率重建。

超分辨率，意思是用硬件或軟件提高原圖的分辨率，這個處理過程，就叫做超分辨率重建。

超分辨率重建技術(shù)可以分為兩種，一種是多合一，多張低分辨率圖片合成一張高分辨率圖片，另一種是單重建，用單張低分辨率圖片恢復一張高分辨率圖片。大谷在修復 100 年前的“老北京 Vlog” 時，用的擴增分辨率工具 ESRGAN，就屬于后者。

ESRGAN 全稱叫做「增強型超分辨率生成對抗網(wǎng)絡」，是由 SRGAN (超分辨率生成對抗網(wǎng)絡) 升級而來，它們都是基于生成對抗網(wǎng)絡的超分辨率方案。

生成對抗網(wǎng)絡 (Gan) 可以看做是兩個小人在博弈，一個小人叫做生成模型，另一個小人叫做判別模型，生成模型小人的任務是以假亂真，用超分辨率技術(shù)造出可媲美原圖的照片，而判別模型小人的任務則是明辨真假，判斷眼前的照片究竟是原圖還是對手生成的，兩個小人在長期的斗智斗勇中，水平越來越高，基于這個模型訓練出來的 AI，就能夠越來越精確的重建出高分辨率圖片。

ESRGAN 不僅繼承了前身 SRGAN 優(yōu)良的全局把控力，而且通過調(diào)整算法，彌補了之前的短板：容易丟失細節(jié)。如此重建出來的圖片，與原圖相差無幾。

從下圖中可以明顯看出，用 ESRGAN 重建的照片，細節(jié) (胡須) 呈現(xiàn)的更好。

SRGAN、ESRGAN 還原效果

與實際畫面的對比

但不得不說，有時候，“畫至清、則有瑕”，畫質(zhì)太過清晰，也難免會把“瑕疵”推到觀眾眼前，這一點在老電影修復的過程中，就常常會發(fā)生。比如在《亮劍》修復版中，就出現(xiàn)了無比醒目的穿幫鏡頭：

截圖來源于《亮劍》修復版

所以，在此友情提示：觀影重在沉浸感，你可以專注于看劇情、看演員、看特效，別的就算了，能過就過，千萬別較真，比如我就根本沒有注意到某部電影中精良的化妝技術(shù)。

截圖來自于某部忘了名字的電影

（三）給黑白加彩

1839 年，法國畫家達蓋爾成功做出了世界上第一臺照相機，人們驚奇的看著這個奇怪的木匣子，興奮又忐忑地圍觀著這門獨一無二的“新藝術(shù)”。然而，當照片呈現(xiàn)在眼前，人們的興奮卻變成了失望。

照片，記錄下了每一個精致的細節(jié)，可是顏色去哪兒了呢？

本著“顧客就是上帝，上帝不能失望”的商業(yè)準則，一場聲勢浩大的色彩捕捉行動開始了?？茖W家、攝影師、藝術(shù)家都參與其中，拼命想找出能讓照片顯示出色彩的辦法，然而一圈下來，毫無進展。

情急之下，一個替代方案誕生了：上色。

值得一提的是，絕大多數(shù)情況下，攝影師和上色技師并不是同一個人，最后的呈現(xiàn)效果，極大依賴于技師的理解和審美。所以你瞧，照片上色這個事兒，從一開始就屬于二次主觀創(chuàng)作。

照片上色主要經(jīng)歷了三個階段，首先是彩色膠卷問世之前，當時的照片上色純靠手工，也就是畫。鴉片戰(zhàn)爭打開了中國國門，讓攝影技術(shù)進入了人們的視線，也催熟了國內(nèi)的照片上色行業(yè)，甚至在新中國成立之后，還專門舉辦了上色技師評比大賽，大家說好，才是真的好。

上世紀30年代

明星周璇17歲時的手工上色照片

手工上色從工藝上來看，分為水色和油色兩種，水色就是水彩類顏料，優(yōu)點是畫面通透，油色則是油性顏料，優(yōu)點是保存持久。相比之下，油色更受歡迎。

上色不是直接用筆在照片上畫，需要先給照片褪色：先用鐵氰化鉀，把照片上的黑色變成白色；再用硫化鈉，把照片整體調(diào)成棕色；接下來，就可以在這張棕色的“畫布”上進行填色了。

1935 年，柯達克羅姆彩色膠卷問世，彩色攝影成了主旋律，照片上色也走進了第二個階段：數(shù)碼調(diào)色。工具就是各位熟知的 Photoshop (PS)，可謂是“PS 在手，萬物皆可彩色”，不變的，依然是二次主觀創(chuàng)作的屬性。

時間再往后走，照片上色來到了第三個階段：AI 填色。

人工智能本不認識顏色，看的多了，也就會猜了。修復 100 年前的“老北京 Vlog”時，大谷用的 AI 上色工具叫做 DeOldify，是由一位美國小哥首發(fā)在 Twitter 上的開源軟件，我們先來看幾個它過往的作品。

DeOldify 的工作步驟大概是這樣：對照片進行圖像分割，識別出圖像中的所有元素，接下來，學習大量包含這些元素的數(shù)據(jù)集，填鴨式記憶物體的常規(guī)顏色，比如海洋藍、樹木綠，最后，學以致用，給黑白照片填充上合理的顏色。

如果給人工智能一個完美的數(shù)據(jù)集，它恐怕能給靈魂涂上顏色。

起初，DeOldify 只被用來做照片上色，鑒于它出色的表現(xiàn)，才開始讓它為老電影上色，從效果來看，依然驚艷，正如在“老北京 Vlog”中的表現(xiàn)一樣，DeOldify 帶我們穿越歷史，跳出曾經(jīng)無數(shù)次背誦過的歷史考點，隔著百年時光，感受屬于小人物的平凡和精彩。

Jason Antic借助DeOldify

為1936年的老電影上色

而在第二彈視頻中，大谷使用了 AI 新技術(shù) DeepRemaster，在全局表現(xiàn)效果來看，更加優(yōu)于 DeOldify，這就是 AI 后浪的力量。

不過，從實際效果來看，驚艷中仍有遺憾，比如視頻中的上色不是 100% 精確的，因為人工智能學習使用的數(shù)據(jù)集，還不能涵蓋這一歷史時期的所有色彩樣本，所以只能說，這種上色效果是合乎常理的，是人工智能基于現(xiàn)實所帶來的浪漫復現(xiàn)：給不了你真實，只能給你一種真實的可能性。

突然想起一句話：我們所謂的故鄉(xiāng)，不過是祖先流浪的最后一站。

回望視頻中的這些人，他們一生經(jīng)歷了些什么，我們不得而知，但在 AI 的修復下，時光突然被折疊，我們有幸得以瞥見他們?nèi)松械囊凰舱鎸?，已?jīng)是科技最好的饋贈了。

是路人，也該好好路過。