?影院體驗(yàn)很爽，異能武術(shù)觀感極佳，不過，回憶部分的動(dòng)畫比較奇怪。

——豆瓣觀眾

我特別喜歡AI那段，這個(gè)呈現(xiàn)方式非常新，既能保證表演準(zhǔn)確度又能保證視覺風(fēng)格化。

——原著作者米二

電影制作精良、演員表演準(zhǔn)確，人物關(guān)系清晰、故事節(jié)奏明快、還有AI動(dòng)畫的技術(shù)創(chuàng)新，值得4星。

——電影人@張小北

電影對(duì)新技術(shù)的應(yīng)用，體現(xiàn)在真人摹片動(dòng)畫與人工智能技術(shù)的結(jié)合上。

——導(dǎo)演烏爾善

由導(dǎo)演烏爾善執(zhí)導(dǎo)、胡先煦、李宛妲主演的奇幻動(dòng)作大片《異人之下》正在公映中。電影改變自“巔峰國漫”《一人之下》，誕生8年就突破300億點(diǎn)擊量。

△ 漫畫《異人之下》點(diǎn)擊量突破300億

電影《異人之下》所講述的僅僅是漫畫第一篇的內(nèi)容。

這一篇介紹了主角張楚嵐和馮寶寶的身世，異人世界的基礎(chǔ)設(shè)定以及江湖各路勢力。

由于這一篇章的故事包含了大量人物回憶，烏爾善導(dǎo)演創(chuàng)新性地在回憶段落使用了AI加持的真人摹片動(dòng)畫。

烏爾善為什么要用真人摹片動(dòng)畫？電影是怎么將AI與真人摹片動(dòng)畫結(jié)合的？這些動(dòng)畫在電影中發(fā)揮了怎樣的作用？這一技術(shù)在影視行業(yè)的應(yīng)用潛力如何？

今天這篇文章就給大家說個(gè)明白。

1.在真人與動(dòng)畫之間：AI 助力創(chuàng)造2.5次元

《異人之下》電影中，張楚嵐被徐翔拉入自己的回憶，為他講述自己與馮寶寶半生的故事。此時(shí)，電影畫面由真人瞬間轉(zhuǎn)變?yōu)閯?dòng)畫。

據(jù)烏爾善介紹，片中十八分鐘的回憶片段不是常規(guī)的動(dòng)畫，而是劇組獨(dú)創(chuàng)的新技術(shù)。

《異人之下》劇組首次在院線電影制作中結(jié)合了真人摹片動(dòng)畫與AI技術(shù)，創(chuàng)造了“將演員真實(shí)表演二維風(fēng)格化”的獨(dú)特質(zhì)感。

那么，到底什么是“真人摹片動(dòng)畫”？

真人摹片動(dòng)畫是轉(zhuǎn)描動(dòng)畫的一種。轉(zhuǎn)描動(dòng)畫（Rotoscoping）是動(dòng)畫師以活動(dòng)影像作為模板進(jìn)行逐幀摹寫再連成的動(dòng)畫，被描摹的影像可以是任何動(dòng)態(tài)事物；而真人摹片動(dòng)畫則是以真人活動(dòng)影像作為模板的轉(zhuǎn)描動(dòng)畫。

常規(guī)的真人摹片動(dòng)畫有兩個(gè)工作流程：真人實(shí)拍和手工摹寫。

而電影《異人之下》中的AI真人摹片動(dòng)畫增加到了五個(gè)工序：真人實(shí)拍、關(guān)鍵幀摹片、動(dòng)態(tài)摹片、3D特效制作、2K轉(zhuǎn)4K。

△ AI真人摹片動(dòng)畫的五個(gè)工序

在真人實(shí)拍環(huán)節(jié)，演員在綠幕前完成表演。動(dòng)畫師隨后對(duì)拍攝素材進(jìn)行原畫摹片，為真人“刷上一層漫畫感”。

在“關(guān)鍵幀摹片”環(huán)節(jié)，動(dòng)畫師在原畫摹片基礎(chǔ)上增加背景、光影、色彩，使人物和場景合一。

在3D特效制作環(huán)節(jié)，劇組在傳統(tǒng)的轉(zhuǎn)描動(dòng)畫基礎(chǔ)上再用AI的方式生成一遍動(dòng)畫的部分，并進(jìn)行風(fēng)格遷移，讓動(dòng)畫更接近真人影像。

對(duì)于這次在真人電影插入動(dòng)畫的嘗試，并不是所有人都理解。

很多人疑問：既然演員們都在，劇組還為只出現(xiàn)在回憶中的角色張錫林邀請(qǐng)了尚鐵龍這樣的老戲骨來演，為什么不能直接用真人拍回憶中的故事？

面對(duì)這些疑問，烏爾善表示這種設(shè)計(jì)是因?yàn)橐陔娪爸袇^(qū)分回憶和現(xiàn)實(shí)，也是在向原作漫畫致敬，希望用全新的視覺方式讓原作粉在電影院里“重走回憶名場面”。

“動(dòng)畫部分最核心的事就是要讓觀眾一下子知道這是在致敬原漫畫”，烏爾善導(dǎo)演在動(dòng)畫測試會(huì)議上這樣強(qiáng)調(diào)。

△ 電影《異人之下》復(fù)刻漫畫名場面

雖然烏爾善導(dǎo)演不斷強(qiáng)調(diào)“向漫畫致敬“，似乎想吸引漫畫粉絲，但對(duì)于動(dòng)畫風(fēng)格的選擇又盡可能向大眾需求靠攏。

原著漫畫和改編動(dòng)畫都是2D畫風(fēng)，但為了讓沒看過漫畫的大眾能將真人演員和動(dòng)畫人物一一對(duì)應(yīng)，劇組選擇了轉(zhuǎn)描動(dòng)畫這一形式。

相較于手繪動(dòng)畫更大的自由度，轉(zhuǎn)描動(dòng)畫有著基于現(xiàn)實(shí)的表意風(fēng)格。

《異人之下》的18分鐘動(dòng)畫中的人物形象、神態(tài)與演員在電影中的表現(xiàn)高度一致。

此外，劇組使用AI對(duì)動(dòng)畫進(jìn)行的風(fēng)格遷移更是讓動(dòng)畫更加立體、更接近真人影像質(zhì)感。

雖然電影為新技術(shù)付出了巨大努力，但觀眾似乎并不太買賬。

《異人之下》漫畫中的回憶部分包括了很多具有情感沖擊力的情節(jié)，如張錫林臨終托孤幼孫、徐翔與馮寶寶的半生羈絆等。

在電影中，受到時(shí)長限制，以及動(dòng)畫帶來的演員表演細(xì)節(jié)的流失，不少漫畫粉認(rèn)為電影“該感人的地方不感人”、“回憶部分看不進(jìn)去”。

有評(píng)論說：“在電影院聽到'黃楊扁擔(dān)'時(shí)已經(jīng)準(zhǔn)備開哭了，結(jié)果看到AI的詭異畫風(fēng)，眼淚又生生憋回去了“。

對(duì)于沒看過原作的觀眾而言，動(dòng)畫的回憶雖然沒帶來理解障礙，但也沒帶來技術(shù)上的驚艷感，普遍認(rèn)為動(dòng)畫部分“像PPT”、“廉價(jià)”、“僵硬”。

對(duì)此，故事接龍StoryStorm AI內(nèi)容社區(qū)發(fā)起人、編劇宋東桓認(rèn)為有很多因素導(dǎo)致了觀眾對(duì)這一新技術(shù)的冷感。

首先，電影從拍攝到后期制作到上映有很長一段周期，因此其采用的技術(shù)是有一定滯后性的。

AI一天，人間十年。雖然距離劇組完成后期可能不足一年，但在上映的今天再看到《異人之下》使用的AIGC技術(shù)，可能已經(jīng)有些許落后了......

另外，AIGC這種高速發(fā)展的技術(shù)得到了大量關(guān)注，人們對(duì)創(chuàng)作者的要求也在不斷升級(jí)。

今天人們可以在各種手機(jī)小程序上實(shí)現(xiàn)穩(wěn)定的“AI轉(zhuǎn)繪”操作，在電影院看到高度接近真人的動(dòng)畫就不會(huì)感到驚艷了。

2.AI+轉(zhuǎn)描動(dòng)畫=？

轉(zhuǎn)描（Rotoscoping）就是把拍攝的視頻用紙描下來再做成動(dòng)畫，由美國動(dòng)畫大師馬克思·弗雷歇爾（Max Fleischer）在1914年發(fā)明。

因?yàn)樵缙趧?dòng)畫技術(shù)的限制和追求真實(shí)感的理念，有大量的動(dòng)畫作品使用了這種方法。

△ 早期動(dòng)畫師在轉(zhuǎn)描機(jī)上制作動(dòng)畫

1937年，迪士尼推出了第一部動(dòng)畫電影《白雪公主》。為了生動(dòng)表現(xiàn)白雪公主跳舞的畫面，迪士尼聘請(qǐng)了女舞者錄制了影像供動(dòng)畫師參考。

△ 舞蹈演員影像與轉(zhuǎn)描后的動(dòng)畫

1941年中國也是亞洲的第一部動(dòng)畫長片《鐵扇公主》同樣使用了轉(zhuǎn)描技術(shù)。

△ 《鐵扇公主》海報(bào)

隨著動(dòng)畫技術(shù)的不斷成熟，近年來轉(zhuǎn)描的使用逐漸變少，但沒有完全消失。

新世紀(jì)以來，《捷克列車員》、《半夢(mèng)半醒的人生》、《她真漂亮》等轉(zhuǎn)描動(dòng)畫都廣受好評(píng)。

△ 《捷克列車員》海報(bào)

過去一年多里，隨著AIGC不斷侵入各個(gè)領(lǐng)域，不少人開始探索AI能不能用于轉(zhuǎn)描動(dòng)畫。

一直以來，轉(zhuǎn)描動(dòng)畫的優(yōu)點(diǎn)在于以相對(duì)低的成本讓動(dòng)畫師畫出流暢準(zhǔn)確、有真實(shí)感的動(dòng)作。

而轉(zhuǎn)描動(dòng)畫的缺點(diǎn)在于人物做動(dòng)作時(shí)色塊的位移和線條的“抖動(dòng)感”，以及有更多的細(xì)碎動(dòng)作。

當(dāng)人們?cè)囍肁I技術(shù)輔助制作轉(zhuǎn)描動(dòng)畫（被稱為“AI轉(zhuǎn)繪”）時(shí)，這些缺點(diǎn)也依然存在。

2022年，一部名為《烏鴉》（The Crow）的兩分鐘動(dòng)畫短片就使用了AI轉(zhuǎn)繪技術(shù)。

原始素材中真人舞者穿著黑色長裙翩翩起舞，經(jīng)過AIGC工具的轉(zhuǎn)繪后，舞者變成了一只躍動(dòng)的烏鴉。

這個(gè)短片在技術(shù)上沒有解決噪點(diǎn)閃爍的問題，但這些技術(shù)缺陷反而為短片營造出一種其荒誕詭譎的獨(dú)特氛圍，助力影片贏得了戛納電影節(jié)中短片競賽單元的評(píng)審團(tuán)獎(jiǎng)。

同樣在2023年，Youtube著名特效頻道Corridor團(tuán)隊(duì)就使用AI繪圖軟件Stable Diffusion，以AI轉(zhuǎn)繪的方式創(chuàng)作了一部7分鐘短評(píng)《剪刀石頭布》，收獲了廣泛的好評(píng)，截至目前播放量已經(jīng)達(dá)到470萬。

△ AI轉(zhuǎn)繪動(dòng)畫《剪刀石頭布》收獲超過400萬的點(diǎn)擊量

從這個(gè)短片看，AI轉(zhuǎn)繪動(dòng)畫依然有光影不斷抖動(dòng)、人物動(dòng)作僵硬等問題，但觀感上在可以接受的范圍內(nèi)。

很多國內(nèi)網(wǎng)友感嘆：“已經(jīng)比很多工期短又沒錢的動(dòng)畫工作室做得好了”。

2024年3月，介紹已故美國黑人歌手Jackie Shane的紀(jì)錄片Any Other Way: The Jackie Shane Story在西南偏南電影節(jié)公映，這部紀(jì)錄片大量使用了AI轉(zhuǎn)繪動(dòng)畫。

由于歌手生前影像資料的缺失，導(dǎo)演邀請(qǐng)了兩位演員扮演青年和老年的Jackie進(jìn)行真人拍攝，再訓(xùn)練Stable Diffusion對(duì)拍攝素材進(jìn)行轉(zhuǎn)繪。轉(zhuǎn)繪動(dòng)畫最終占據(jù)了紀(jì)錄片三分之一的時(shí)長。

從預(yù)告片看，記錄片的轉(zhuǎn)繪動(dòng)畫抖動(dòng)明顯。不過動(dòng)畫的油畫質(zhì)感、根據(jù)歌手所處時(shí)代不斷變化的色彩濾鏡營造了一種對(duì)逝去的神秘歌手的追憶氛圍。

△ 轉(zhuǎn)繪動(dòng)畫重現(xiàn)這位神秘歌手的生前風(fēng)采，又制造了復(fù)古緬懷氛圍

24年4月，在北京國際電影節(jié)“AIGC電影短片單元”競賽中獲得最佳影片獎(jiǎng)的AI動(dòng)畫短片《致親愛的自己 To Dear Me》也用了AI轉(zhuǎn)繪技術(shù)。

短片中的人物有大量的大幅度動(dòng)作，但人物的細(xì)節(jié)樣貌以及關(guān)鍵道具蒲公英戒指都保持了高度的穩(wěn)定性。

△ 《致親愛的自己 To Dear Me》劇照

無論是用AI模型對(duì)真人摹片動(dòng)畫進(jìn)行渲染，“增加一層漫畫感”，還是用AI描圖軟件將視頻逐幀變?yōu)?D特定畫風(fēng)，在AI技術(shù)還不足以“獨(dú)立行走”的今天，AI已經(jīng)與傳統(tǒng)的動(dòng)畫技術(shù)碰撞出了很多有趣的火花，而且正在取得飛速的進(jìn)步。

3.未來已來？AI 轉(zhuǎn)繪動(dòng)畫的技術(shù)潛力

《異人之下》是國內(nèi)首部將轉(zhuǎn)描動(dòng)畫結(jié)合AI技術(shù)的院線電影。

那么，AI轉(zhuǎn)繪動(dòng)畫的發(fā)展?jié)摿θ绾危繃鴥?nèi)的技術(shù)發(fā)展又處于什么階段？

對(duì)于這些問題，宋東桓分享了自己的觀點(diǎn)。

宋東桓曾經(jīng)擔(dān)任第十四屆北影節(jié)AI短片單元初評(píng)評(píng)委，主辦與聯(lián)合發(fā)起過超過30場AI短片賽事節(jié)展。談到轉(zhuǎn)描動(dòng)畫，他認(rèn)為這種有百年歷史的技術(shù)今天依然有生命力，而AI轉(zhuǎn)繪大大提升了這項(xiàng)技術(shù)的執(zhí)行效率。

比如2019年Amazon Original的高分口碑劇《抹去重來》就使用了轉(zhuǎn)描技術(shù)，劇中有很多充滿想象力的轉(zhuǎn)場。

△ 電視劇《抹去重來Undone》海報(bào)

雖然《異人之下》是第一部使用AI轉(zhuǎn)繪動(dòng)畫的電影，但未來一定會(huì)有越來越多電影使用AI轉(zhuǎn)繪技術(shù)；這種技術(shù)可以用較低成本來實(shí)現(xiàn)較復(fù)雜的特效，用同一的動(dòng)畫風(fēng)格來代替實(shí)拍中要求較高的合成工作。

關(guān)于AI轉(zhuǎn)繪的發(fā)展?jié)摿Γ螙|桓認(rèn)為目前AI技術(shù)處于高速發(fā)展中：

截止到今年年初，AI轉(zhuǎn)繪的標(biāo)準(zhǔn)還是“像”，但如今人們更看重神似而非形似的作品。

再下一步，AI轉(zhuǎn)繪的標(biāo)準(zhǔn)應(yīng)該是“無中生有”并且穩(wěn)定。一個(gè)框架綠幕，經(jīng)過轉(zhuǎn)繪可以變成城堡大門、水簾洞，而且細(xì)節(jié)又高度統(tǒng)一。

AI轉(zhuǎn)繪動(dòng)畫的另一個(gè)發(fā)展方向就是電影劇組使用3D模型+新一代AI手K，與真人拍攝摹片相結(jié)合來達(dá)成制作。

同樣的事情在20年前也發(fā)生過——當(dāng)沃卓斯基兄弟首次在《黑客帝國：重裝上陣》中使用3D生成的角色完成“Neo大戰(zhàn)100個(gè)史密斯”時(shí)，真人拍攝和3D動(dòng)畫就實(shí)現(xiàn)了非常有機(jī)的運(yùn)動(dòng)結(jié)合。

△ 《黑客帝國》中100個(gè)史密斯的經(jīng)典場景

去年夏天，烏爾善嘗試運(yùn)用多種現(xiàn)代電影技術(shù)去闡釋中國神話；

今年，烏爾善又一次成為“吃螃蟹的人”，首次在真人電影里大膽加入了不小篇幅的AI轉(zhuǎn)繪動(dòng)畫。

從大眾的反饋看，《異人之下》這次“打破次元壁”的嘗試不算完全成功。

但是，這次技術(shù)上的求新或許會(huì)未來更多國產(chǎn)真人電影和動(dòng)畫帶來靈感，技術(shù)的不斷積累也可能在未來帶給觀眾更大驚喜。

烏爾善導(dǎo)演一直用大投入的巨制影片推動(dòng)中國電影的工業(yè)化進(jìn)程，而其中積累下的寶貴經(jīng)驗(yàn)，也終將助力中國電影用科技講好中國故事。