作者｜賈桂鵬

一直以來，創作3D內容是設計和開發視頻游戲、增強現實、虛擬現實以及影視特效中最重要的部分。然而，3D生成具有獨特而艱巨的挑戰，這是圖像和視頻等其他生成內容所不具備的。

不過，在生成式AI爆發的當下，很多研究者開始嘗試針對以上問題提出解決方案。日前，Meta發布了最新系統Meta 3D Gen (3DGen)，其用不到一分鐘的時間，就能直接從文本生成3D資產。

關于AI在3D創作技術的突破會不會加速這個行業的變革呢?或者說AI是不是又顛覆了一個行業?

3D內容行業的顛覆

當下，3D內容生產面臨的最大難點是成本居高不下，據權威3D數據平臺公司Sketchfab數據，3D模型成本在數百美元到數千美元間，生產所需時長從數小時到數天不等。不同的模型、不同的精細度、不同的生產方法，價格和生產時間均不一樣。

圍繞著3D內容生產技術，其中3D引擎和3D內容創作工具更是視為藍海中的明珠。更具生產力、更低使用門檻的3D引擎和創作工具也成了廣泛關注的焦點。面對全球數十萬億級3D內容市場，以及面臨的技術、商業、成本難題，誰掌握了精度高、效率快、成本低的3D內容生產技術，誰就掌握了未來數字世界的生產能力。

而且，3D生成是一個非常耗費算力的過程，主要因為它涉及復雜的計算和大量的數據處理，如實時渲染、細節處理。并且由于算力不夠，可能會導致生成速度非常慢。

另外，傳統方法生成的3D資源通常難以實現逼真的照明和材質屬性，從而限制了它們在專業工作流程中的實用性，

如果用戶能夠非常方便且高效地創造3D素材，至少將能大大改善VR內容缺乏的問題。如果素材的質量再能得到進一步的提高，生成的虛擬現實世界真的能夠達到以假亂真的地步。

面對3D內容方面的發展壁壘，Meta發布了其最新的AI模型——Meta 3D Gen(3DGen)，可在1分鐘內生成高質量3D素材。

據Meta方面介紹，3DGen能夠在不到1分鐘的時間，根據文本提示詞快速生成具有高分辨率紋理和材質貼圖的3D內容。此外，它還能在同一3D形狀的基礎上調整紋理貼圖，幫助創作者實現快速迭代。技術報告中稱，專業3D藝術家在大多數類別中對該工具的評分都好于競爭對手，特別是對于復雜的請求。Meta表示，它的速度是同類系統的3到60倍。

科技旋渦認為，3DGen在更多場景的廣泛應用將大幅提升相關專業人士的工作效率與創作質量，并將推動3D內容創作和應用領域的進一步發展。

Meta 3D Gen如何實現

Meta 3D Gen支持基于物理的渲染 (PBR)，這是在實際應用中重新照明 3D 資產所必需的。此外，3DGen 還支持使用用戶提供的額外文本輸入對先前生成的(或藝術家創建的)3D 形狀進行重新紋理化。

那么，3D Gen的運行原理是什么呢?

其實，Meta 3D Gen是一個兩階段的3D資產生成方法，它通過結合Meta 3D AssetGen和Meta 3D TextureGen兩個關鍵組件，能夠高效地創建具有高分辨率紋理和PBR材質的3D資產，其速度比現有解決方案快3至10倍。

其實現方法包括一個用于創建3D網格的組件(AssetGen)和一個用于生成紋理的組件(TextureGen)。

第一階段在用戶提示下創建初始3D資產，推理時間約為30秒。第二階段基于第一階段生成的資產和初始文本提示，生成更高質量的紋理和PBR貼圖，推理時間約為20秒。第二階段還可以從頭開始為無紋理的3D網格生成紋理，推理時間約為20秒，但視覺效果通常更逼真。

而且，3DGen以AssetGen和TextureGen為基礎，將3D對象的三個關鍵信息進行了很好的互補：視圖空間(對象的圖像)、體積空間(3D形狀和外觀)和UV空間(紋理)。

此過程從AssetGen開始，通過使用一個多視角和多通道的文本到圖像生成器，生成關于物體的幾個相對一致的視圖。

接下來，AssetGen中的一個重建網絡會在體積空間中提取出3D對象的第一個版本。此過程接著進行網格提取，建立對象的3D形狀和其紋理的初步版本，這一系列步驟構成了從文本描述到3D模型的轉換過程。

最終，TextureGen 件利用視圖空間和UV空間生成的組合來重新生成紋理，提高紋理質量和分辨率，同時保持對初始圖像的保真度。

Meta的3D Gen的潛在應用是巨大的。游戲開發人員可以用3D Gen快速制作游戲環境和角色原型，建筑可視化公司則只需要文本描述，就能生成建筑物整體和內部的詳細3D模型，簡化設計流程。目前來看，3D Gen還處于一個比較初級的階段，經過發展之后，我們相信它將會對行業造成更大的沖擊力。

寫在最后

科技旋渦認為，Meta的這種新技術為3D模型在不同光照環境下的真實感呈現提供了可能，在3D圖形、動畫、游戲和XR等領域中具有巨大潛力，對上述行業甚至產品開發都會有長足的幫助，未來在3D內容領域會不會全面部署AI來完成任務呢?我們拭目以待。