一只漂浮在平流層的巨型氣球，在人工智能的幫助下，穩穩地待在原地數周。

12月3日，學術期刊《自然》發表了一項來自谷歌團隊的研究，顯示人工智能控制器能讓平流層的氣球一連數周待在原地。這項研究結果意味著，深度強化學習向現實世界應用邁進了難得的一步，提高了全自動環境監測成為現實的可能性。

平流層中的無人氣球。谷歌Project Loon正在利用這種氣球建立空中無線通訊網絡。

填充氦氣的“超壓”氣球常被用來在高層大氣開展實驗，比如氣象監測。對于谷歌Project Loon項目而言，這類氣球被用來向指定地區提供互聯網服務。

“超壓”氣球在空中作業時，被要求停留在固定的位置，以便更好地獲取數據或傳輸信息。如果被風吹偏了航道，它們需要返回駐點。根據《自然》的這項最新研究，深度強化學習可以訓練人工智能系統進行決策，這些決策包括采取哪些行動來保持氣球的位置不變。

這項研究題為“Autonomous navigation of stratospheric balloons using reinforcement learning”（《基于強化學習的平流層氣球自主導航》），由谷歌大腦團隊和谷歌母公司Alphabet旗下子公司Loon共同完成。

論文第一作者、來自谷歌大腦團隊的Marc Bellemare和同事訓練了的人工智能控制器能根據風的歷史記錄、預報、局地風觀測和其他因素（如氦氣損失和電池疲勞），決定是否要移動氣球。

平流層氣球的定位。定位是指將氣球的位置保持在地面某特定位置的一定范圍之內。

深度強化學習的應用已在受控環境如電腦游戲中得到了演示。受控環境擁有完整的數據集和明確定義的參數，與之相比，現實世界的可預測性較差。比如在平流層氣球定位問題中，環境中風的數據不完整，很難采取最優調整，讓氣球保持在原位。

為解決這個問題，研究人員利用一種數據增強算法來解釋數據中的空白。他們將這種名為StationSeeker的技術應用到全球各地的Loon氣球上，并在太平洋赤道附近進行了為期39天的空中受控實驗。

作者發現，受到StationSeeker控制的氣球能成功實現自主導航，一旦被吹偏航道，它們能比傳統控制器控制的氣球更快地回到駐點。

Project Loon最初是谷歌X實驗室的一個項目，2018年該項目被分拆出來，成為了Alphabet的獨立子公司。至今，Loon氣球已經累計了超過100萬小時的飛行時間，2020年7月起，Loon正式開始在肯尼亞運營其商業互聯網服務。

英國國家大氣科學中心、牛津大學大氣海洋和行星物理學系的科學家Scott M. Osprey在為該論文寫的“新聞與觀點”文章中評價稱，這項研究代表了增強學習在現實世界應用的一次巨大進步。“在不完全了解周邊風的情況下，一個人工智能控制器讓氣球在平流層停留了數周，這為無監督環境監測開辟了前景”。

Scott M. Osprey認為，有效且自主“超壓”氣球將為探測地球和其他行星的大氣提供一系列商業和科學應用。如果能做到讓一個氣球在特定位置停留數月，就可以進行長期的環境監測，例如檢測城市上空的空氣質量、受高溫影響的森林和凍土融化地區的碳通量等。其他應用甚至包括監測動物遷徙路線和非法越境的貨物與偷渡人員。