機(jī)器之心專(zhuān)欄

機(jī)器之心編輯部

源于阿里巴巴淘系的工業(yè)生產(chǎn)流程，兼具質(zhì)量與數(shù)量，模型包含豐富的幾何與紋理細(xì)節(jié)，阿里巴巴聯(lián)合學(xué)界開(kāi)源的場(chǎng)景布局?jǐn)?shù)據(jù)集 3D-FRONT 將填補(bǔ)大規(guī)模高質(zhì)量 3D 場(chǎng)景布局?jǐn)?shù)據(jù)集空白的現(xiàn)狀。

近期，阿里巴巴淘系技術(shù)部門(mén)的趙斌強(qiáng)、賈榮飛等與西蒙弗雷澤大學(xué)的張皓教授以及中科院計(jì)算所的高林、張凌霄多方共同合作，在 CVPR 2020 的 Workshop“Learning 3D Generative” 中開(kāi)源了大型 3D 場(chǎng)景數(shù)據(jù)集 3D-FRONT（3D Furnished Rooms with layOuts and semaNTics），以填補(bǔ)目前學(xué)界在大規(guī)模高質(zhì)量 3D 場(chǎng)景布局?jǐn)?shù)據(jù)集上空白的現(xiàn)狀。其中，張皓教授是 CVPR 2020“Learning 3D Generative”Workshop 的核心組織者之一。

以下為 3D-FRONT 數(shù)據(jù)集中一個(gè)典型場(chǎng)景數(shù)據(jù)的漫游視頻：

接下來(lái)我們來(lái)看 3D-FRONT 的技術(shù)細(xì)節(jié)。

3D 場(chǎng)景數(shù)據(jù)將推動(dòng)基于 AI 的 3D 應(yīng)用研究

圖 1：三維室內(nèi)場(chǎng)景研究與應(yīng)用。

3D 與 2D 場(chǎng)景理解是打造未來(lái) AI 世界所研究的基礎(chǔ)核心課題，涵蓋機(jī)器人室內(nèi)尋路、線上商城、室內(nèi)設(shè)計(jì)等室內(nèi)場(chǎng)景相關(guān)的應(yīng)用。這些應(yīng)用的背后涉及到語(yǔ)義分割、物體識(shí)別、場(chǎng)景生成等深度學(xué)習(xí)相關(guān)的理論與技術(shù)，而這些技術(shù)都是需要依賴(lài)大量數(shù)據(jù)來(lái)訓(xùn)練相關(guān)深度模型從而發(fā)揮作用。

因此，高質(zhì)量的大型 3D 場(chǎng)景數(shù)據(jù)集對(duì)于上述相關(guān)研究的推動(dòng)具有重大意義。

然而，現(xiàn)階段學(xué)術(shù)界亟須大規(guī)模高質(zhì)量的 3D 場(chǎng)景數(shù)據(jù)集以支持和推動(dòng)數(shù)據(jù)驅(qū)動(dòng)的智能化 3D 場(chǎng)景的相關(guān)研究，特別是具有高質(zhì)量布局與室內(nèi)設(shè)計(jì)的 3D 場(chǎng)景數(shù)據(jù)集。

目前，相關(guān)的數(shù)據(jù)集有，例如：普林斯頓大學(xué)提出的 SUNCG、斯坦福大學(xué)提出的 ScanNet、上?？萍即髮W(xué)提出的 structured3D 等，但是這些數(shù)據(jù)集存在場(chǎng)景內(nèi)容不夠豐富，數(shù)據(jù)規(guī)模不夠龐大的問(wèn)題。比如，structured3D 數(shù)據(jù)集中雖然提供了 3 千多個(gè)場(chǎng)景，但是未能提供具有高質(zhì)量紋理的三維模型數(shù)據(jù)。

圖 2：3D-FRONT 數(shù)據(jù)采集流程。

阿里巴巴作為世界級(jí)的電商互聯(lián)網(wǎng)巨頭，其官方家裝家居設(shè)計(jì)平臺(tái) - 躺平設(shè)計(jì)家積累了海量高質(zhì)量家居設(shè)計(jì)方案。

以這些真實(shí)家居場(chǎng)景為基礎(chǔ)，阿里巴巴淘系技術(shù)部結(jié)合 3D 人工智能技術(shù)初步打造了場(chǎng)景化數(shù)字營(yíng)銷(xiāo)，推出了智能設(shè)計(jì)搭配服務(wù)，并創(chuàng)造了大量精美場(chǎng)景布局與設(shè)計(jì)數(shù)據(jù)。這些場(chǎng)景數(shù)據(jù)很好地契合了學(xué)術(shù)界的需求。

一言以蔽之，3D-FRONT 數(shù)據(jù)集源于阿里巴巴淘系的工業(yè)生產(chǎn)流程，兼具質(zhì)量與數(shù)量。

3D-FRONT 填補(bǔ)學(xué)術(shù)界 3D 場(chǎng)景布局?jǐn)?shù)據(jù)空白

圖 3：3D-FRONT 數(shù)據(jù)集屬性。

3D-FRONT 包含 6,813 個(gè)真實(shí)戶(hù)型，平均每個(gè)戶(hù)型包含 7 個(gè)房間場(chǎng)景，其中 19,775 個(gè)房間場(chǎng)景具有人工驗(yàn)證過(guò)的精美室內(nèi)設(shè)計(jì)信息。每個(gè)房間內(nèi)涉及的家具均來(lái)自于阿里巴巴已開(kāi)源的 3D 模型數(shù)據(jù)集 3D-FUTURE（3D FUrniture shapes with TextURE），該數(shù)據(jù)集的模型都包含豐富的幾何與紋理細(xì)節(jié)。

相比于其他 3D 場(chǎng)景數(shù)據(jù)集，3D-FRONT 在以下指標(biāo)處于領(lǐng)先地位，包括戶(hù)型數(shù)目、房間場(chǎng)景數(shù)目和房間類(lèi)型等，并且還提供了高質(zhì)量硬裝模型和家具模型。

場(chǎng)景中的 3D 幾何模型具有豐富的幾何細(xì)節(jié)與高質(zhì)量的紋理圖，這些幾何模型來(lái)自于阿里巴巴已開(kāi)源的 3D 模型庫(kù)數(shù)據(jù)集 3D-FUTURE。

圖 4：3D-FRONT 與其他場(chǎng)景數(shù)據(jù)集對(duì)比。

目前，3D-FRONT 與 3D-FUTURE 數(shù)據(jù)集已對(duì)外開(kāi)放并提供下載，同時(shí)，淘系技術(shù)部與今年 3 月同步發(fā)起第一屆阿里巴巴 3D 人工智能挑戰(zhàn)賽，目前初賽報(bào)名階段已結(jié)束，共吸引來(lái)自全球 1300 多支隊(duì)伍報(bào)名，共同參與并建立學(xué)術(shù)研究與工業(yè)應(yīng)用的橋梁。大賽將于 8 月 21 日決出賽道名次，后續(xù)結(jié)果敬請(qǐng)關(guān)注。

3D-FRONT 數(shù)據(jù)集主頁(yè)：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset

3D-FUTURE 數(shù)據(jù)集主頁(yè)：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future

Learning 3D Generative Models CVPR 2020 Workshop: https://learn3dgen.github.io/

3D-FRONT 數(shù)據(jù)集貢獻(xiàn)者

3D-FRONT數(shù)據(jù)集的貢獻(xiàn)者共有7位，分別是來(lái)自阿里巴巴的Huan Fu、Bowen Cai、賈榮飛和趙斌強(qiáng)，中科院計(jì)算技術(shù)研究所的高林和張凌霄，以及西蒙弗雷澤大學(xué)的張皓。

Amazon SageMaker 是一項(xiàng)完全托管的服務(wù)，可以幫助開(kāi)發(fā)人員和數(shù)據(jù)科學(xué)家快速構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí) 模型。SageMaker完全消除了機(jī)器學(xué)習(xí)過(guò)程中每個(gè)步驟的繁重工作，讓開(kāi)發(fā)高質(zhì)量模型變得更加輕松。

現(xiàn)在，企業(yè)開(kāi)發(fā)者可以免費(fèi)領(lǐng)取1000元服務(wù)抵扣券，輕松上手Amazon SageMaker，快速體驗(yàn)5個(gè)人工智能應(yīng)用實(shí)例。

原標(biāo)題：《6813個(gè)戶(hù)型，幾何與紋理細(xì)節(jié)豐富，阿里巴巴聯(lián)合學(xué)界開(kāi)源大型3D場(chǎng)景數(shù)據(jù)集》

閱讀原文