6月3日，著名計算機科學家、AI“教父”約書亞·本吉奧（Yoshua Bengio）宣布發起非營利組織LawZero，致力于開發“誠信”人工智能系統。該組織計劃打造一套AI防護機制，防范試圖欺騙人類的AI智能體。

本吉奧將擔任LawZero組織的主席。他以約3000萬美元啟動資金和十幾名研究人員為基礎，正在開發名為“科學家AI”（Scientist AI）的系統。該系統將作為安全防護機制，防止AI智能體表現出欺騙或自我保護的行為，比如試圖避免被關閉。“至關重要的是，作為護欄的AI至少要與它試圖監管和控制的AI智能體一樣智能。”

約書亞·本吉奧

不會給出確定答案，而是提供答案正確性的概率

AI智能體可在無需人類干預的情況下執行任務。本吉奧將當前的AI智能體稱為試圖模仿人類并取悅用戶的“演員”，而“科學家AI”系統更像是一位能夠理解和預測不良行為的“心理學家”，既可以加速科學發現，又可以防范AI智能體的風險。

“我們希望構建誠實且不具有欺騙性的人工智能。”本吉奧說，“理論上可以設想沒有自我、沒有目標、純粹作為知識載體的機器，就像一個知道很多東西的科學家。”

但和當前生成式AI工具不同的是，“科學家AI”系統不會給出確定性的答案，而是提供答案正確性的概率。“它有一種謙遜感，知道自己不確定答案是否正確。”

該系統與AI智能體協同部署時，將通過評估自主系統行為造成傷害的概率，標記潛在有害行為。如果概率超過一定閾值，那么智能體提出的行動將被阻止。

本吉奧說，LawZero的第一步是證明概念背后的方法論是有效的，并說服企業或政府支持更強大版本的開發。開源人工智能模型將成為訓練LawZero系統的起點。“關鍵是要證明這種方法論有效，從而說服捐贈者、政府或AI實驗室投入資源，以與當前前沿AI同等的規模進行訓練。至關重要的是，作為護欄的AI至少要與它試圖監管和控制的AI智能體一樣智能。”

LawZero最初的支持者包括人工智能安全機構生命未來研究所（Future of Life Institute）、Skype創始工程師雅恩·塔林（Jaan Tallinn）以及谷歌前首席執行官埃里克·施密特（Eric Schmidt）創立的研究機構施密特科學（Schmidt Sciences）。

AI學會欺騙誤導、試圖逃避關閉、隱藏真實能力

本吉奧是蒙特利爾大學教授，也是人工智能安全領域的領軍人物。

他曾與杰弗里·辛頓（Geoffrey Hinton）、Meta首席AI科學家楊立昆（Yann LeCun）共同獲得2018年圖靈獎，還主持了《國際人工智能安全報告》。該報告警告稱，如果自主智能體能夠在沒有人類監督的情況下完成更長的任務序列，它們可能會造成嚴重破壞。

本吉奧認為，人類不需要智能體系統來獲得人工智能的回報，這樣的系統有可能脫離人類的控制，帶來不可逆轉的后果。“如果我們研發出一種能夠治愈癌癥的AI，但也有可能這種AI的另一種版本變得失控，制造出一波又一波的生物武器，導致數十億人死亡，那么我認為這是不值得的。”

2023年，本吉奧與OpenAI首席執行官山姆·奧特曼（Sam Altman）等人簽署了一份聲明，宣稱“減輕AI帶來的滅絕風險應該與流行病、核戰爭等其他風險一樣，成為全球優先事項”。

過去幾個月，人類目睹了人工智能系統學會誤導、欺騙和試圖逃避被關閉，甚至訴諸勒索。這些行為幾乎都出自精心設計、近乎誘導AI行為不端的實驗，例如要求其不惜一切代價實現目標。

但現實中這樣的行為也已出現。最近，人工智能企業Anthropic承認其最新系統可能試圖勒索要關閉它的工程師。本吉奧對此感到擔憂。他還提到，研究表明，人工智能模型能夠隱藏它們的真實能力和目標。這些例子表明，由于人工智能的推理能力越來越強，世界正走向“越來越危險的境地”。

本吉奧說，試圖利用已知會催生欺騙傾向的技術構建人類水平的AI智能體，就像一輛汽車在狹窄的山路上疾馳，兩側是陡峭懸崖，前方被濃霧遮蔽，“我們需要為汽車裝上前燈，并在路上安裝一些護欄。”