在尼爾·斯蒂芬森于1992年出版的科幻小說《雪崩》中，存在一個(gè)可以讓人們的虛擬化身生活的數(shù)字世界，這或許是近年來大火的“元宇宙”概念的起源。而2018年上映的電影《頭號(hào)玩家》，把對(duì)未來元宇宙更為具體的想象帶給了全世界。隨著近年來VR、AR、AI、5G等元宇宙關(guān)鍵技術(shù)的快速發(fā)展，過去只存在于想象中的元宇宙正向人們的生活靠近。

其中，作為元宇宙與人們交互的窗口，渲染成為眾多元宇宙關(guān)鍵技術(shù)中的重中之重，被譽(yù)為元宇宙技術(shù)棧上的皇冠。如何快速、高效地在便攜終端上渲染出逼真的圖像，成為元宇宙落地亟待解決的難題。

ICARUS是一款基于NeRF渲染算法的定制化芯片。在向芯片加載經(jīng)過訓(xùn)練的NeRF網(wǎng)絡(luò)參數(shù)后，只要輸入觀察位置與視角，ICARUS即可快速渲染出該視角與位置下的圖像。

針對(duì)真實(shí)圖像渲染的難題，上?？萍即髮W(xué)芯片設(shè)計(jì)團(tuán)隊(duì)提出了最新的ICARUS芯片定制架構(gòu)。ICARUS是一種基于NeRF（Neural Radiance Fields，神經(jīng)輻射場(chǎng)）算法技術(shù)的定制化硬件加速芯片，它使得在手機(jī)、VR眼鏡等終端實(shí)時(shí)渲染出極為精致的逼真圖像成為可能。

“使用傳統(tǒng)的渲染技術(shù)在終端設(shè)備上進(jìn)行實(shí)時(shí)的逼真圖像渲染幾乎無法實(shí)現(xiàn)，但是ICARUS基于最新圖像學(xué)渲染技術(shù)，加之對(duì)其定制化的硬件優(yōu)化，使得過去不可能的任務(wù)變得現(xiàn)實(shí)?！鄙虾？萍即髮W(xué)信息學(xué)院助理教授、研究員婁鑫表示。目前ICARUS有關(guān)論文已被計(jì)算機(jī)圖形學(xué)頂級(jí)會(huì)議ACM SIGGRAPH ASIA 2022接收。

ICARUS上集成了位置編碼模塊(Positional Encoding)、多層感知機(jī)模塊(MLP Engine)和體渲染模塊(Volume Rendering Unit)，可支持多種NeRF、SLF類似網(wǎng)絡(luò)。芯片內(nèi)部使用可配置的定點(diǎn)數(shù)運(yùn)算，并且在MLP模塊中使用了乘法近似算法。在保證足夠的計(jì)算精度的情況下，ICARUS可適用于不同場(chǎng)景的渲染，并且大大降低了芯片的面積與功耗。

NeRF技術(shù)：簡(jiǎn)化傳統(tǒng)渲染技術(shù)流程

在過去，超逼真的渲染技術(shù)大多用于頂級(jí)科幻電影的制作，以及一些大型3A游戲中，其大多使用光線追蹤的傳統(tǒng)渲染技術(shù)。光線追蹤算法通常需要建立大量的虛擬模型，并且對(duì)其進(jìn)行關(guān)于材質(zhì)、紋理等有關(guān)光學(xué)參數(shù)的調(diào)試與標(biāo)定。在高精度模型建立好的基礎(chǔ)上，依照物理規(guī)律對(duì)其進(jìn)行迭代仿真，最終可以得到以假亂真的圖像，讓觀眾察覺不到虛擬物體與現(xiàn)實(shí)物體之間的差別。

但僅僅使用傳統(tǒng)的光線追蹤渲染技術(shù)并不能讓我們擁抱元宇宙。上?？萍即髮W(xué)信息學(xué)院博士生、論文第一作者饒朝林表示，除去傳統(tǒng)渲染技術(shù)中無法避免的復(fù)雜渲染流程，巨量的算力和功耗限制了傳統(tǒng)圖像渲染技術(shù)的應(yīng)用場(chǎng)景，令其無法廣泛地運(yùn)用于真正可接入元宇宙的終端設(shè)備?！澳壳案哔|(zhì)量的圖像只能通過最先進(jìn)的顯卡渲染得到，這意味著龐大的設(shè)備體積與極高的計(jì)算功耗，使得手機(jī)、VR眼鏡等便攜設(shè)備無緣這些逼真圖像。并且基于傳統(tǒng)的圖像渲染技術(shù)，根據(jù)模型精細(xì)程度的不同，渲染一張圖像通常需要消耗數(shù)秒至數(shù)小時(shí)不等，實(shí)時(shí)渲染的目標(biāo)仍然遙不可及?！?/p>

神經(jīng)輻射場(chǎng)（NeRF）是近年來新出現(xiàn)的圖像渲染技術(shù)，其本質(zhì)是將整個(gè)物體空間利用神經(jīng)網(wǎng)絡(luò)進(jìn)行隱式編碼并得到特定的模型，即可利用模型重建出三維場(chǎng)景并渲染出各種新視角下的圖像。

NeRF技術(shù)可以對(duì)現(xiàn)實(shí)場(chǎng)景、物件掃描后進(jìn)行建模，達(dá)成快速映射、快速渲染的目的，對(duì)比傳統(tǒng)渲染技術(shù)中需要手動(dòng)建模等流程大大簡(jiǎn)化。NeRF的提出與發(fā)展將三維場(chǎng)景的隱形表示方法推向了新的高度，能夠生成無界場(chǎng)景的逼真渲染，實(shí)現(xiàn)了360°照片般逼真的新型視圖重建合成效果，已然成為了元宇宙發(fā)展新方向，并可能成為下一代圖像渲染的核心技術(shù)。

ICARUS可以使用極低的功耗進(jìn)行高保真的圖像渲染，圖為ICARUS渲染結(jié)果與原圖像和GPU渲染圖像結(jié)果的對(duì)比?？梢园l(fā)現(xiàn)在多數(shù)場(chǎng)景下ICARUS擁有與GPU渲染相近的PSNR（用于衡量圖片相似度的系數(shù)），并且在視覺感官上取得了可與之媲美的渲染效果。

ICARUS：為NeRF算法定制的硬件加速芯片

僅僅只有NeRF在算法層面的進(jìn)步，在元宇宙對(duì)圖像渲染的高要求面前遠(yuǎn)遠(yuǎn)不夠。在NeRF算法中存在大量的全連接層計(jì)算，對(duì)硬件計(jì)算能力要求極高，并且過去的圖像渲染硬件并不能直接適配類似NeRF的新算法?！巴ㄓ^計(jì)算機(jī)發(fā)展歷史，軟件與硬件的進(jìn)步總是相輔相成的，如今新一代的圖像渲染技術(shù)已經(jīng)出現(xiàn)，那必然需要新一代的硬件設(shè)備與之適配。而ICARUS也正是在這樣的時(shí)間節(jié)點(diǎn)上提出的?！眾漩握f。

在ICARUS芯片中，集成了位置編碼模塊（Positional Encoding Unit）、多層感知機(jī)模塊（MLP Engine）和體渲染單元（Volume Rendering Unit），在片上實(shí)現(xiàn)了NeRF渲染的全流程。為了在較小的芯片面積內(nèi)取得較高的能效比，在芯片設(shè)計(jì)過程中運(yùn)用了很多提高能效比的技術(shù)。

上?？萍即髮W(xué)信息學(xué)院研究生、論文共同作者萬浩川介紹，在ICARUS中使用了經(jīng)過量化的定點(diǎn)數(shù)模型，并且在多層感知機(jī)模塊中使用了移位累加等近似算法的硬件設(shè)計(jì)。這些針對(duì)NeRF的硬件優(yōu)化設(shè)計(jì)可以在幾乎不改變最終渲染圖像質(zhì)量的情況下，大大減少芯片面積與計(jì)算能耗，未來可適用于人們?nèi)粘Ｉ钪械母鞣N輕量終端中。在使用同一種NeRF網(wǎng)絡(luò)進(jìn)行一張分辨率為800x800的渲染圖片時(shí)，運(yùn)行在1.245GHz的英偉達(dá)V100顯卡需要27.74秒，并且其芯片約為815mm^2，功耗約為300W。而根據(jù)理論計(jì)算，運(yùn)行在400MHz的ICARUS需要45.75s，但其芯片面積僅為16.5mm^2，功耗僅為282.8mW。

上?？萍即髮W(xué)信息學(xué)院研究生、論文共同作者鄭越洋介紹，下一步，ICARUS將跟隨NeRF類算法的飛速發(fā)展，未來會(huì)把更多的編碼、網(wǎng)絡(luò)結(jié)構(gòu)集成進(jìn)ICARUS芯片，以支持更多種類的應(yīng)用場(chǎng)景。ICARUS將在明年進(jìn)行流片（試生產(chǎn)）并點(diǎn)亮，屆時(shí)將成為第一款為NeRF算法定制的硬件加速芯片。