▎作者：陳雅婷，張書赫（清華大學）

離散而又連續的3D場景表征

2024年8月20日游科互動科技有限公司出品的3A游戲《黑神話：悟空》廣受全球玩家關注和熱議。在正式發售后不到24小時，Steam在線玩家峰值突破222萬，在Steam所有游戲中在線玩家歷史峰值排名第二。這款現象級產品正式開啟國產3A游戲元年。《黑神話：悟空》憑借炫酷逼真的3D渲染效果和東方美學實力出圈，受央視、新華網、人民日報等官媒點贊和報道。

圖1：《黑神話：悟空》

圖片來源網絡[1]

《黑神話：悟空》取材于《西游記》的故事和人物角色，融入了大量古代建筑、東方美學、國風音樂等中華文化元素，36個取景地中，共有27個來自山西，例如懸空寺、小西天等。在游戲中，高清逼真的渲染場景與現實世界無縫銜接，虛擬與現實的界限在精湛的技術下難以分辨，帶來身臨其境的沉浸式體驗。

圖2：山西懸空寺vs《黑神話：悟空》渲染場景

圖3：《黑神話：悟空》3D實時渲染動態場景

圖片來源網絡[1]

▎3D實時渲染技術

在《黑神話：悟空》游戲開發中，有一至關重要的技術—3D實時渲染技術。它能夠根據玩家的動作和視角變化，實時更新場景中的每一幀，確保游戲體驗的流暢性和互動性。

（1）世界是“離散”的

光柵化渲染管線是當前主流的3D圖形渲染方法之一，廣泛應用于游戲中。其工作原理是將三維場景的幾何數據（如多邊形、頂點等）轉換為二維圖像，即將頂點信息連接形成的基本幾何圖元（如三角形）映射到二維的屏幕像素上。根據圖元的頂點位置進行著色。光柵化渲染雖然高效，但是相比較光線追蹤等物理更精確的渲染技術，其在光線的反射、折射、全局光照等方面的表現遜色。

圖4：離散化渲染

圖片來源網絡

圖5展示了不同密度三角面片表征的3D物體。隨著三角形面片密度增加，3D物體越細膩，但也為3D計算帶來了更大的負擔。

圖5：三角形面片表征的3D模型

圖片來源網絡

（2）世界是“連續”的

3D物體的表征本質上是找到在3D空間某坐標下物體的例如反射率、光學密度、顏色等屬性。數學上實際上需要找到一種儲存關于3D點坐標與這些物體屬性的方式。離散的3D表征實際上是顯式地將這些關系存儲在網格中，通過訪問這些網格就能獲得物體的屬性，從而得到整個3D場景下的物體。那么有沒有可能通過構造函數的方式，直接將輸入的3D坐標映射為物體屬性呢？神經隱式表征給了我們答案。

2021年谷歌研究所Ben Mildenhall等[2]提出隱式神經表示的神經輻射場（Neural Radiance Field，NeRF）。NeRF通過優化多層感知機的神經網絡，實現從輸入的稀疏視圖合成復雜場景新視圖。輸入5D坐標（空間位置（x,y, z）和觀察方向（θ,φ），輸出該空間位置的體積密度和與視角相關的輻射度（顏色），通過體渲染方式合成極具真實感的新視角渲染結果。但是該渲染技術訓練效率低，難以實現高分辨率實時渲染效果。2022年，英偉達Thomas Müller等[3]提出了Instant NeRF，采用多分辨率哈希表方式減少浮點運算和內存訪問次數，能在幾秒鐘內完成高質量神經圖形基元訓練，并能在幾十毫秒內完成1920×1080分辨率的渲染。

Nerf是計算機視覺中認知的一次飛躍：

計算機視覺的最高獎是“馬爾獎”（Marr Prize），以David Marr命名，而David Marr作為計算機視覺4的開創者曾經提出過一個系統的視覺理論。在他的理論中，他把計算機視覺終極問題定義為：輸入二維圖像，輸出是由二維圖像"重建"出來的三維物體的位置與形狀；而其他的一些我們現在常稱為“計算視覺”的任務，比如識別、檢測等等，在Marr的理論中只能稱作“模式識別”問題，不能被稱作“計算視覺”問題。這其中的分別在于，Marr證明如果終極問題能夠被解決，那么其他問題都能夠被解決。所以從整個計算機視覺的領域來講，NeRF所解決的就是計算機視覺最根本的問題，它所展示的效果是計算機視覺領域最根本的進步。（引用知乎專欄的內容 https://zhuanlan.zhihu.com/p/574351707）

盡管NeRF已經在高真實感的新視角合成方面取得了突破性進展，但它依然存在隱式表達不直觀、訓練效率低等問題[4]。

圖6：NeRF投影與渲染過程

圖7：Instant NeRF 實時渲染結果

（3）在“離散”與“連續”中找到平衡

自2021年Nerf提出以來，有大量的工作前赴后繼，為Nerf的改造與應用添磚加瓦，然而就在2023年夏天，Nerf的強大對手3D高斯潑濺（3D gaussian splatting, 3DGS）[5]正在蘊量著一次革命。3DGS結合隱式輻射場表示和顯式渲染的優勢。它首先將場景物體顯式表示為點云，然后給每個點賦予一個3D高斯橢球。顯式地將3D場景表示為多個3D高斯函數，每個高斯橢球連續地表征當前點云的3D物體屬性。使用可微的光柵化進行渲染，基本思想是將所有3D高斯根據相機參數投影到影像平面上，形成一系列的二維平面高斯，再通過二維平面上高斯的疊加混合，最終合成影像[6]。通過對比渲染圖像與實際拍攝圖像直接的差異優化3D高斯橢球的參數，能夠在1080p分辨率下實現高質量的實時新視圖合成。近期，德國圖賓根大學Andreas Geiger課題組[7]介紹了一種抗鋸齒3D 高斯潑濺方法Mip-Splatting，引進了3D平滑濾波器和2D Mip濾波器以實現任意采樣率下的無偽影渲染。該工作獲得2024年CVPR最佳學生論文。

圖8：3D高斯函數濺射過程

圖9：3DGS實時渲染結果

▎3D實時渲染技術的應用

3D實時渲染技術不僅在游戲領域有著廣泛應用，還在多個行業展現了其重要價值[8-10]。在自動駕駛領域，3D渲染技術可用于創建虛擬駕駛環境，協助自動駕駛系統識別和處理各種路況。例如，Waymo和Tesla等公司利用該技術進行自動駕駛的模擬測試。在虛擬現實與增強現實的應用中，3D渲染技術使人與虛擬環境之間的沉浸式交互成為可能，提供實時的交互反饋。微軟推出的HoloLens增強現實設備可廣泛應用于工業制造、建筑和醫療等領域，而Meta也推出了Meta Quest系列頭顯設備。此外，蘋果推出了混合現實設備Apple Vision Pro。它們通過3D渲染技術實現用戶與虛擬環境的互動。這項技術還被用于危險操作培訓，如飛行員培訓。在生物醫學領域，3D渲染可用于手術前的三維成像與模擬，幫助醫生規劃手術路徑，同時協助研究人員創建人體模型。天文學家則利用實時3D渲染構建并觀察星系、恒星等天體的三維模型，還可以創建虛擬天文館，讓公眾以沉浸式的方式探索宇宙。

圖10：3D實時渲染技術的應用

3D實時渲染技術在自動駕駛、人機交互、虛擬現實、生物醫學和天文觀測等多個領域展現了廣泛的應用前景，推動了智能化和可視化的發展。這項技術不僅提升了用戶體驗和產品功能，也加速了產品創新與迭代，具有顯著的市場價值和工程價值。通過精準的3D視覺模擬，3D渲染技術正悄然改變工業和日常生活的傳統模式，助力提供沉浸式體驗和智能化操作范式，從而提升了工作效率和決策能力，印證了“科技改善生活、科技服務生活”的理念。

▎參考文獻

[1] https://www.heishenhua.com/

[2] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM, 2021, 65(1): 99-106.

[3] Müller T, Evans A, Schied C, et al. Instant neural graphics primitives with a multiresolution hash encoding[J]. ACM transactions on graphics, 2022, 41(4): 1-15.

[4] 高建, 陳林卓, 沈秋, 等. 基于三維高斯濺射技術的可微分渲染研究進展 (特邀)[J]. 激光與光電子學進展, 2024, 61(16): 1611010-1611010-13.

[5] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian Splatting for Real-Time Radiance Field Rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.

[6] Charatan D, Li S L, Tagliasacchi A, et al. pixelsplat: 3d gaussian splats from image pairs for scalable generalizable 3d reconstruction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19457-19467.

[7] Yu Z, Chen A, Huang B, et al. Mip-splatting: Alias-free 3d gaussian splatting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19447-19456.

[8] 劉興潭,張成渝, 武延鵬,等.小天體在軌渲染觀測技術[J].光學精密工程, 2021, 29(12): 2745-2753.

[9] 滕嘉瑋,趙巖,張艾嘉等.基于二維仿射變換的幾何一致性虛實融合[J].光學精密工程,2022,30(11):1374-1382.

[10] 林晉鋼,李東年,陳成軍等.基于像素投票的人手全局姿態估計[J].光學精密工程,2022,30(19):2379-2389.