6月3日，著名計(jì)算機(jī)科學(xué)家、AI“教父”約書亞·本吉奧（Yoshua Bengio）宣布發(fā)起非營(yíng)利組織LawZero，致力于開發(fā)“誠(chéng)信”人工智能系統(tǒng)。該組織計(jì)劃打造一套AI防護(hù)機(jī)制，防范試圖欺騙人類的AI智能體。

本吉奧將擔(dān)任LawZero組織的主席。他以約3000萬美元啟動(dòng)資金和十幾名研究人員為基礎(chǔ)，正在開發(fā)名為“科學(xué)家AI”（Scientist AI）的系統(tǒng)。該系統(tǒng)將作為安全防護(hù)機(jī)制，防止AI智能體表現(xiàn)出欺騙或自我保護(hù)的行為，比如試圖避免被關(guān)閉。“至關(guān)重要的是，作為護(hù)欄的AI至少要與它試圖監(jiān)管和控制的AI智能體一樣智能。”

約書亞·本吉奧

不會(huì)給出確定答案，而是提供答案正確性的概率

AI智能體可在無需人類干預(yù)的情況下執(zhí)行任務(wù)。本吉奧將當(dāng)前的AI智能體稱為試圖模仿人類并取悅用戶的“演員”，而“科學(xué)家AI”系統(tǒng)更像是一位能夠理解和預(yù)測(cè)不良行為的“心理學(xué)家”，既可以加速科學(xué)發(fā)現(xiàn)，又可以防范AI智能體的風(fēng)險(xiǎn)。

“我們希望構(gòu)建誠(chéng)實(shí)且不具有欺騙性的人工智能。”本吉奧說，“理論上可以設(shè)想沒有自我、沒有目標(biāo)、純粹作為知識(shí)載體的機(jī)器，就像一個(gè)知道很多東西的科學(xué)家。”

但和當(dāng)前生成式AI工具不同的是，“科學(xué)家AI”系統(tǒng)不會(huì)給出確定性的答案，而是提供答案正確性的概率。“它有一種謙遜感，知道自己不確定答案是否正確。”

該系統(tǒng)與AI智能體協(xié)同部署時(shí)，將通過評(píng)估自主系統(tǒng)行為造成傷害的概率，標(biāo)記潛在有害行為。如果概率超過一定閾值，那么智能體提出的行動(dòng)將被阻止。

本吉奧說，LawZero的第一步是證明概念背后的方法論是有效的，并說服企業(yè)或政府支持更強(qiáng)大版本的開發(fā)。開源人工智能模型將成為訓(xùn)練LawZero系統(tǒng)的起點(diǎn)。“關(guān)鍵是要證明這種方法論有效，從而說服捐贈(zèng)者、政府或AI實(shí)驗(yàn)室投入資源，以與當(dāng)前前沿AI同等的規(guī)模進(jìn)行訓(xùn)練。至關(guān)重要的是，作為護(hù)欄的AI至少要與它試圖監(jiān)管和控制的AI智能體一樣智能。”

LawZero最初的支持者包括人工智能安全機(jī)構(gòu)生命未來研究所（Future of Life Institute）、Skype創(chuàng)始工程師雅恩·塔林（Jaan Tallinn）以及谷歌前首席執(zhí)行官埃里克·施密特（Eric Schmidt）創(chuàng)立的研究機(jī)構(gòu)施密特科學(xué)（Schmidt Sciences）。

AI學(xué)會(huì)欺騙誤導(dǎo)、試圖逃避關(guān)閉、隱藏真實(shí)能力

本吉奧是蒙特利爾大學(xué)教授，也是人工智能安全領(lǐng)域的領(lǐng)軍人物。

他曾與杰弗里·辛頓（Geoffrey Hinton）、Meta首席AI科學(xué)家楊立昆（Yann LeCun）共同獲得2018年圖靈獎(jiǎng)，還主持了《國(guó)際人工智能安全報(bào)告》。該報(bào)告警告稱，如果自主智能體能夠在沒有人類監(jiān)督的情況下完成更長(zhǎng)的任務(wù)序列，它們可能會(huì)造成嚴(yán)重破壞。

本吉奧認(rèn)為，人類不需要智能體系統(tǒng)來獲得人工智能的回報(bào)，這樣的系統(tǒng)有可能脫離人類的控制，帶來不可逆轉(zhuǎn)的后果。“如果我們研發(fā)出一種能夠治愈癌癥的AI，但也有可能這種AI的另一種版本變得失控，制造出一波又一波的生物武器，導(dǎo)致數(shù)十億人死亡，那么我認(rèn)為這是不值得的。”

2023年，本吉奧與OpenAI首席執(zhí)行官山姆·奧特曼（Sam Altman）等人簽署了一份聲明，宣稱“減輕AI帶來的滅絕風(fēng)險(xiǎn)應(yīng)該與流行病、核戰(zhàn)爭(zhēng)等其他風(fēng)險(xiǎn)一樣，成為全球優(yōu)先事項(xiàng)”。

過去幾個(gè)月，人類目睹了人工智能系統(tǒng)學(xué)會(huì)誤導(dǎo)、欺騙和試圖逃避被關(guān)閉，甚至訴諸勒索。這些行為幾乎都出自精心設(shè)計(jì)、近乎誘導(dǎo)AI行為不端的實(shí)驗(yàn)，例如要求其不惜一切代價(jià)實(shí)現(xiàn)目標(biāo)。

但現(xiàn)實(shí)中這樣的行為也已出現(xiàn)。最近，人工智能企業(yè)Anthropic承認(rèn)其最新系統(tǒng)可能試圖勒索要關(guān)閉它的工程師。本吉奧對(duì)此感到擔(dān)憂。他還提到，研究表明，人工智能模型能夠隱藏它們的真實(shí)能力和目標(biāo)。這些例子表明，由于人工智能的推理能力越來越強(qiáng)，世界正走向“越來越危險(xiǎn)的境地”。

本吉奧說，試圖利用已知會(huì)催生欺騙傾向的技術(shù)構(gòu)建人類水平的AI智能體，就像一輛汽車在狹窄的山路上疾馳，兩側(cè)是陡峭懸崖，前方被濃霧遮蔽，“我們需要為汽車裝上前燈，并在路上安裝一些護(hù)欄。”