一只漂浮在平流層的巨型氣球，在人工智能的幫助下，穩(wěn)穩(wěn)地待在原地數(shù)周。

12月3日，學術期刊《自然》發(fā)表了一項來自谷歌團隊的研究，顯示人工智能控制器能讓平流層的氣球一連數(shù)周待在原地。這項研究結果意味著，深度強化學習向現(xiàn)實世界應用邁進了難得的一步，提高了全自動環(huán)境監(jiān)測成為現(xiàn)實的可能性。

平流層中的無人氣球。谷歌Project Loon正在利用這種氣球建立空中無線通訊網絡。

填充氦氣的“超壓”氣球常被用來在高層大氣開展實驗，比如氣象監(jiān)測。對于谷歌Project Loon項目而言，這類氣球被用來向指定地區(qū)提供互聯(lián)網服務。

“超壓”氣球在空中作業(yè)時，被要求停留在固定的位置，以便更好地獲取數(shù)據(jù)或傳輸信息。如果被風吹偏了航道，它們需要返回駐點。根據(jù)《自然》的這項最新研究，深度強化學習可以訓練人工智能系統(tǒng)進行決策，這些決策包括采取哪些行動來保持氣球的位置不變。

這項研究題為“Autonomous navigation of stratospheric balloons using reinforcement learning”（《基于強化學習的平流層氣球自主導航》），由谷歌大腦團隊和谷歌母公司Alphabet旗下子公司Loon共同完成。

論文第一作者、來自谷歌大腦團隊的Marc Bellemare和同事訓練了的人工智能控制器能根據(jù)風的歷史記錄、預報、局地風觀測和其他因素（如氦氣損失和電池疲勞），決定是否要移動氣球。

平流層氣球的定位。定位是指將氣球的位置保持在地面某特定位置的一定范圍之內。

深度強化學習的應用已在受控環(huán)境如電腦游戲中得到了演示。受控環(huán)境擁有完整的數(shù)據(jù)集和明確定義的參數(shù)，與之相比，現(xiàn)實世界的可預測性較差。比如在平流層氣球定位問題中，環(huán)境中風的數(shù)據(jù)不完整，很難采取最優(yōu)調整，讓氣球保持在原位。

為解決這個問題，研究人員利用一種數(shù)據(jù)增強算法來解釋數(shù)據(jù)中的空白。他們將這種名為StationSeeker的技術應用到全球各地的Loon氣球上，并在太平洋赤道附近進行了為期39天的空中受控實驗。

作者發(fā)現(xiàn)，受到StationSeeker控制的氣球能成功實現(xiàn)自主導航，一旦被吹偏航道，它們能比傳統(tǒng)控制器控制的氣球更快地回到駐點。

Project Loon最初是谷歌X實驗室的一個項目，2018年該項目被分拆出來，成為了Alphabet的獨立子公司。至今，Loon氣球已經累計了超過100萬小時的飛行時間，2020年7月起，Loon正式開始在肯尼亞運營其商業(yè)互聯(lián)網服務。

英國國家大氣科學中心、牛津大學大氣海洋和行星物理學系的科學家Scott M. Osprey在為該論文寫的“新聞與觀點”文章中評價稱，這項研究代表了增強學習在現(xiàn)實世界應用的一次巨大進步。“在不完全了解周邊風的情況下，一個人工智能控制器讓氣球在平流層停留了數(shù)周，這為無監(jiān)督環(huán)境監(jiān)測開辟了前景”。

Scott M. Osprey認為，有效且自主“超壓”氣球將為探測地球和其他行星的大氣提供一系列商業(yè)和科學應用。如果能做到讓一個氣球在特定位置停留數(shù)月，就可以進行長期的環(huán)境監(jiān)測，例如檢測城市上空的空氣質量、受高溫影響的森林和凍土融化地區(qū)的碳通量等。其他應用甚至包括監(jiān)測動物遷徙路線和非法越境的貨物與偷渡人員。