原創(chuàng) 文摘菌 大數(shù)據(jù)文摘

大數(shù)據(jù)文摘出品

作者：Caleb

說到樂高，那可是大人小孩沒人不愛的玩具了。

每次看到一大堆的樂高積木，把它們挨個(gè)拼成模板圖那樣的時(shí)候，成就感簡(jiǎn)直爆表了。

完成之后還要把作品端正地?cái)[放在書桌前，好好端詳一番。

但是，不知道有沒有人想過，其實(shí)這些積木不止有一種拼法。

按照模板，你可以把這些積木拼成火車，當(dāng)然，也有人選擇不走尋常路，非要拼個(gè)飛機(jī)場(chǎng)出來。

或者，更“奇葩”一點(diǎn)的東西？

比如，你就可以把這個(gè)企鵝模型改裝成一個(gè)企鵝機(jī)器人，別說還真有內(nèi)味兒：

又或者，你可以把一個(gè)普通的小狗模型改得更有味道一些：

是不是已經(jīng)躍躍欲試，準(zhǔn)備馬上對(duì)家里的樂高“下手”了？別急，還有更多創(chuàng)意，且聽文摘菌細(xì)細(xì)道來。

幾秒就能識(shí)別一地積木，樂高粉絲“殺瘋了”！

這種時(shí)候，肯定也有人像文摘菌一樣，手腳不靈活就算了，腦子也空空蕩蕩的，看到這一地的樂高積木，愣是什么靈感都出不來。

別急，救星來了。

先看看這個(gè)東西到底怎么個(gè)玩法。首先，它會(huì)識(shí)別滿地的樂高積木：

然后，會(huì)提供一些能利用這些積木、但是又和常規(guī)模板完全不一樣的創(chuàng)意造型：

怎么樣，是不是頓時(shí)感覺自己還能再搶救一下？

根據(jù)TechCrunch報(bào)道，其實(shí)，樂高一直和蘋果保持著密切合作，嘗試使用一些未發(fā)布的iOS技術(shù)，在WWDC上演示，比如對(duì)增強(qiáng)現(xiàn)實(shí)ARKit平臺(tái)進(jìn)行的修復(fù)，使之能夠?yàn)閷?shí)體玩具也添加一絲數(shù)字體驗(yàn)。

當(dāng)然，這也包括了這個(gè)叫做Brickit的軟件，據(jù)了解，該軟件由一個(gè)粉絲團(tuán)隊(duì)建立的，主要通過使用計(jì)算機(jī)視覺技術(shù)，來快速識(shí)別堆積如山的積木，同時(shí)給出一些別具一格的創(chuàng)意提醒。

整個(gè)過程中，你只需要把你的積木倒在地板上，然后就讓Brickit進(jìn)行快速識(shí)別歸類與分析。最讓開發(fā)者自豪的，當(dāng)然要屬Brickit的速度了，從上圖中也可以看到，Brickit只需短短幾秒就能完成識(shí)別與分析。

根據(jù)部分用戶反饋，使用效果與上述步驟類似，只是在識(shí)別和進(jìn)行下一步操作之間增加了一些加載時(shí)間。在瀏覽說明時(shí)，用戶也可能會(huì)被指向積木堆中某一特定所需作品所在的區(qū)域。

目前，Brickit在第一方訪問方面還有很多事情可以做，主要是在訪問與樂高現(xiàn)有指令庫的整合方面。2019年，樂高收購BrickLink，足以看出樂高一直旨在抓住更多圍繞售后創(chuàng)作的社區(qū)粉絲。

如果能夠允許建立一個(gè)用戶所擁有的實(shí)際積木的數(shù)據(jù)庫，從而獲得一些關(guān)于他們所擁有的套裝的見解，這對(duì)樂高來說，無疑也是有價(jià)值的數(shù)據(jù)。

樂高分揀機(jī)，拯救你的滿地積木

試想，當(dāng)受到Brickit的啟發(fā)，靈感擋不住要溢出來了，這個(gè)時(shí)候你需要快速找到需要的樂高積木，但是看到滿地的積木瞬間喪了氣。

別急，這個(gè)時(shí)候你只需要另一個(gè)樂高神器，困難就能迎刃而解。

當(dāng)當(dāng)當(dāng)當(dāng)，閃亮登場(chǎng)。

根據(jù)分揀機(jī)的制作者Daniel West介紹，這臺(tái)機(jī)器結(jié)合了CNN和3D識(shí)別，可以說是世界上第一臺(tái)“樂高通用分揀機(jī)”，同時(shí)，這個(gè)分揀機(jī)還是由AI驅(qū)動(dòng)，能夠識(shí)別出任何已生產(chǎn)的樂高零件，并將它們歸類。

讓我們來仔細(xì)看看這個(gè)機(jī)器到底有什么花樣。

如下圖，這就是分揀機(jī)的核心部分“Capture Unit”，一個(gè)擁有傳送帶、照相機(jī)和照明燈的小空間。看起來好像沒什么大不了，實(shí)際上要想讓它順利完成工作，有很多需要注意的事情。

相機(jī)會(huì)拍攝沿著傳送帶輸送的樂高零件，然后將照片上傳到運(yùn)行著AI算法的服務(wù)器，從數(shù)千個(gè)可能的樂高元素中識(shí)別零件。

核心問題是需要將傳送帶的實(shí)時(shí)視頻流，轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)可以識(shí)別的各個(gè)部分的獨(dú)立圖像。

最終目標(biāo)：從原始視頻（左）到大小均勻的圖像（右），然后發(fā)送到神經(jīng)網(wǎng)絡(luò)。（動(dòng)圖的速度比實(shí)時(shí)視頻慢了50%左右）

這里用到了目標(biāo)檢測(cè)，即檢測(cè)目標(biāo)的存在、位置和大小，以便零件在每一幀都能生成邊界框。表面上看起來很簡(jiǎn)單，實(shí)際上卻困難重重。

要想順利實(shí)現(xiàn)零件的識(shí)別與分揀，還有許多需要注意的地方，比如相機(jī)的位置和角度；光源要保證充足；另外零件還不能與傳送帶的顏色一樣，否則無法扣除背景。

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)上也需要耗費(fèi)大量時(shí)間和精力，什么是神經(jīng)網(wǎng)絡(luò)呢？可以把它看作一個(gè)虛擬的大腦，它可以通過接受輸入并轉(zhuǎn)換成相應(yīng)的輸出來完成特定任務(wù)。

一般來說，輸入給神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)越多，它完成任務(wù)的能力就越強(qiáng)。樂高分揀機(jī)的神經(jīng)網(wǎng)絡(luò)是通過輸入樂高零件的圖像，輸出相應(yīng)零件的編號(hào)。

由于樂高的零部件有成千上百種類型，顏色多樣，并且從不同角度看形狀也不一樣。因此，收集正確的訓(xùn)練數(shù)據(jù)集是整個(gè)工作中最難的一部分。West在分揀機(jī)運(yùn)行幾天后捕獲了30萬張圖像，這是其中的一部分。

怎么樣，現(xiàn)在可別再完成一個(gè)樂高模型就把它束之高閣了，這些小玩意兒還有很多好玩的地方等待你去解鎖呢。

如果你遇到了什么新鮮事兒，或者有什么靈感要分享，快來告訴文摘菌這個(gè)手殘吧~

相關(guān)報(bào)道：

https://twitter.com/AlexanderNL/status/1410253599502962692

https://techcrunch.com/2021/06/30/lego-should-snap-up-this-rapid-fire-brick-finding-ios-app/

原標(biāo)題：《別看樂高模板了！利用計(jì)算機(jī)視覺技術(shù)，這個(gè)軟件幾秒就識(shí)別滿地積木，還能激發(fā)靈感》

閱讀原文