·“如果把人工智能看作西游記里的孫悟空，‘對齊’就是唐僧的緊箍咒。有了緊箍咒，就可以保證技術不會任意使用能力胡作非為。”

模型的通用能力讓其能夠應用到人類生產生活的各個場景中，可謂“無孔不入”。AI的發展因此帶來了新的安全隱私問題，如何解決這一隱患，9月7日開幕的2023 Inclusion·外灘大會上，中國科學院院士何積豐開出了他的“藥方”：利用對齊技術為大模型戴上緊箍咒。

中國科學院院士何積豐。

何積豐是著名計算機軟件專家，上海華科智谷人工智能研究院院長，原華東師范大學軟件學院院長、教授、博士生導師。他是國家可信嵌入式軟件工程技術研究中心首席科學家，領銜研發的可信軟件成果，被軌道交通、汽車電子、航天控制等安全攸關領域采用。

何積豐認為，大模型的安全問題主要是在未經同意的情況下，收集、使用和泄露個人信息。隱私問題既可能發生在訓練過程，也可能發生在使用過程中，而大模型的生成能力則讓“隱私泄露”的方式變得多樣化，造成隱私保護更加困難。

“為了應對這些問題，我們需要大模型對齊技術。”何積豐說，“對齊（alignment）”是指系統的目標和人類價值觀一致，使其符合設計者的利益和預期，不會產生意外的有害后果。“如果把人工智能看作西游記里的孫悟空，‘對齊’就是唐僧的緊箍咒。有了緊箍咒，就可以保證技術不會任意使用能力胡作非為。”

不過，對齊技術同樣面臨挑戰。首先，對齊的基礎，人類的價值觀是多元且動態變化的，需要保證大模型為人服務、與人為善；其次，大模型的有用性與無害性之間目標也不完全一致。如何對錯誤進行有效糾正，設好大模型的“緊箍咒”也是挑戰。

因此，對齊技術已經成為了一項令人眼花繚亂的跨學科研究，不僅考驗技術，也審視文化。

何積豐介紹，反饋強化學習是實現對齊的技術途徑，目前有兩種方式，一種方式是通過人工反饋給模型不同的獎勵信號，引導模型的高質量輸出；另一種方式，事先給大模型提供明確的原則，系統自動訓練模型對所有生成的輸出結果提供初始排序。“這意味著，不僅智能系統需要向人類價值觀對齊，人類的訓練方法也要向價值觀對齊。”何積豐說。

2023 Inclusion·外灘大會9月7日在上海黃浦世博園正式開幕。這場以“科技·創造可持續未來”為主題的大會為期3天，近20位“兩院”院士、諾貝爾獎和圖靈獎得主，全球超500位有影響力的科技領軍企業和專家學者，將在此帶來一場科技、人文和產業的思想碰撞。大會設有1場主論壇、36場見解論壇、8000平方米科技展覽、3000平方米綠色集市，并首次舉辦科技人才招聘會。