2018年12月，來自加利福尼亞大學(xué)伯克利分校和谷歌大腦的科學(xué)家們開發(fā)出了一套人工智能系統(tǒng)，它可以讓機(jī)器人自己學(xué)會走路。這一成果發(fā)表于預(yù)印本網(wǎng)站arXiv.org上，論文題為《通過深度強(qiáng)化學(xué)習(xí)來學(xué)習(xí)走路》（Learning to Walk via Deep Reinforcement Learning）。

在研究人員公布的視頻資料中，四足機(jī)器人Minitaur試圖走過一個平整的緩坡。在視頻開頭，時間顯示為0，這是四足機(jī)器人學(xué)習(xí)走路的開始。此時的四足機(jī)器人Minitaur如一個蹣跚學(xué)步的嬰兒，時而搖晃、時而原地踏步，它嘗試著邁開“腿”前進(jìn)，但身體卻“誠實(shí)”地留在原地，整個行走過程進(jìn)展緩慢。轉(zhuǎn)變發(fā)生在Minitaur學(xué)習(xí)走路的第18分鐘，這時它已經(jīng)可以持續(xù)性地前進(jìn)了，但平衡性稍顯不足。后續(xù)的練習(xí)中，Minitaur的步伐逐漸變得穩(wěn)定且迅速。54分鐘、72分鐘、108分鐘，不到2小時的時間，Minitaur基本學(xué)會了快速且平穩(wěn)地走過緩坡。

這就是四足機(jī)器人Minitaur學(xué)習(xí)走路的全過程。加利福尼亞大學(xué)伯克利分校和谷歌大腦的科學(xué)家們研發(fā)出的人工智能算法“教”會了這個四足機(jī)器人穿越熟悉或陌生的地形。

在整個訓(xùn)練過程中，研究人員需要“手動”把走到緩坡盡頭的機(jī)器人“請”回緩坡的起點(diǎn)以重新開始新一輪的練習(xí)，這一手動復(fù)位的過程稍顯繁瑣。不過，從結(jié)果來看，這一耗時2小時的學(xué)步過程實(shí)屬高效，不少網(wǎng)友就此評價稱“AI真是個好老師”。

在人工智能領(lǐng)域中經(jīng)常提到“強(qiáng)化學(xué)習(xí)”的概念，這是一種使用獎勵或懲罰的驅(qū)動來實(shí)現(xiàn)特定目標(biāo)的人工智能方法，目的是獲得一個策略以指導(dǎo)行動。比如圍棋博弈中，這個策略可以根據(jù)盤面形勢指導(dǎo)每一步應(yīng)該在哪里落子。而在四足機(jī)器人Minitaur學(xué)習(xí)走路的過程中，這個策略可以根據(jù)地形等要素告訴機(jī)器人下一步應(yīng)該怎么走。

強(qiáng)化學(xué)習(xí)會從一個初始的策略開始。通常，初始策略不一定很理想，正如四足機(jī)器人Minitaur在剛開始學(xué)走路的時候所表現(xiàn)的那樣。不過。在學(xué)習(xí)的過程中，作為決策主體的四足機(jī)器人Minitaur會通過行動和環(huán)境進(jìn)行交互，不斷獲得反饋，即回報或者懲罰，并根據(jù)反饋調(diào)整優(yōu)化策略。

強(qiáng)化學(xué)習(xí)是一種非常強(qiáng)大的學(xué)習(xí)方式。持續(xù)不斷的強(qiáng)化學(xué)習(xí)甚至能夠獲得比人類更優(yōu)的決策機(jī)制。最好的例子就是阿爾法狗。2016年，谷歌通過深度學(xué)習(xí)訓(xùn)練的阿爾法狗( AlphaGo)程序以4比1的比分戰(zhàn)勝了曾經(jīng)的圍棋世界冠軍李世石。它的改進(jìn)版更在2017年戰(zhàn)勝了當(dāng)時世界排名第一的中國棋手柯潔，其令世人震驚的博弈能力就是通過強(qiáng)化學(xué)習(xí)訓(xùn)練出來的。

但強(qiáng)化學(xué)習(xí)也有其局限性。它需要大量數(shù)據(jù)，在某些情況下需要數(shù)萬個樣本才能獲得良好的結(jié)果。這就需要四足機(jī)器人Minitaur像阿爾法狗那樣進(jìn)行多次訓(xùn)練，但過多的訓(xùn)練可能會對四足機(jī)器人造成損壞。

因此，這項(xiàng)“學(xué)習(xí)走路”的研究選擇了強(qiáng)化學(xué)習(xí)的“升級版”——深度強(qiáng)化學(xué)習(xí)的方法，將深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力相結(jié)合。這種方法可以直接根據(jù)輸入的圖像進(jìn)行控制，是一種更接近人類思維方式的人工智能方法。

用研究人員的話說，為了“使一個系統(tǒng)在沒有模擬訓(xùn)練的情況下學(xué)習(xí)運(yùn)動技能成為可能”，他們采用了一種名為“最大熵RL”強(qiáng)化學(xué)習(xí)框架。最大熵RL可以優(yōu)化學(xué)習(xí)策略，以最大化預(yù)期收益。在這個框架中，人工智能代理通過從策略中抽取某些行動并接收獎勵的方式不斷地尋找最佳的行動路徑。

研究人員表示，“據(jù)我們所知，本實(shí)驗(yàn)是在現(xiàn)實(shí)世界中不經(jīng)過模仿和預(yù)訓(xùn)練而直接學(xué)習(xí)欠驅(qū)動四足運(yùn)動的第一個深度強(qiáng)化學(xué)習(xí)算法案例。

2018年5月，同個課題組的研究人員曾在arXiv.org上發(fā)表了另一篇關(guān)于四足機(jī)器人Minitaur的研究論文。當(dāng)時，研究人員使用深度強(qiáng)化學(xué)習(xí)的方法使Minitaur從零開始學(xué)習(xí)四足運(yùn)動，并最終實(shí)現(xiàn)了小跑和疾馳。