人工智能（AI）正在迅速推進新型蛋白質(zhì)的設(shè)計工作，這些蛋白質(zhì)有望用于藥物、疫苗及其他療法。但這種希望也伴隨著擔(dān)憂，同樣的工具也可能被用于設(shè)計生物武器或有害毒素的組成部分。

如今，科學(xué)家提出了一系列可以內(nèi)嵌到AI模型中的保護措施，既能阻止惡意使用，也使追蹤新型生物武器的AI制造者成為可能。4月28日，相關(guān)論文發(fā)表于《自然-生物技術(shù)》。

美國約翰斯·霍普金斯大學(xué)健康安全中心主任、流行病學(xué)家Thomas Inglesby表示：“建立正確的框架至關(guān)重要，將有助于我們充分發(fā)揮這項技術(shù)的巨大潛力，同時防范出現(xiàn)極其嚴重的風(fēng)險。”

近年來，科學(xué)家已經(jīng)證明，AI模型不僅可以根據(jù)氨基酸序列預(yù)測蛋白質(zhì)結(jié)構(gòu)，還能以前所未有的速度生成從未見過的具有新功能的蛋白質(zhì)序列。像RFdiffusion和ProGen這樣最新的AI模型，能在幾秒鐘內(nèi)定制設(shè)計蛋白質(zhì)。在基礎(chǔ)科學(xué)和醫(yī)學(xué)領(lǐng)域，很少有人質(zhì)疑它們的潛力。

但論文通訊作者、美國普林斯頓大學(xué)計算機學(xué)家王夢迪指出，這些模型的強大功能和易用性令人擔(dān)憂。“AI變得如此簡單易用。普通人不需要擁有博士學(xué)位，就能夠生成有毒化合物或病毒序列。”

美國麻省理工學(xué)院媒體實驗室計算機學(xué)家Kevin Esvelt支持對制造高風(fēng)險病毒和DNA的研究實施更嚴格的管控。他指出，這種擔(dān)憂仍停留在理論層面。“沒有實驗室證據(jù)表明現(xiàn)有模型已經(jīng)強大到足以引發(fā)一場新的大流行疾病。”

盡管如此，包括Inglesby在內(nèi)的130名蛋白質(zhì)研究人員去年簽署了一份承諾書，表示會在工作中安全使用AI。現(xiàn)在，王夢迪和同事概述了可以內(nèi)嵌到AI模型中的保護措施，從而超越了自愿承諾。其中一項措施是名為FoldMark的防護機制，由王夢迪實驗室開發(fā)。它借鑒了谷歌旗下DeepMind的SynthID等現(xiàn)有工具的概念，即在不改變質(zhì)量的前提下，將數(shù)字模式嵌入AI生成的內(nèi)容中。

在FoldMark的案例中，一個作為唯一標識符的代碼被插入蛋白質(zhì)結(jié)構(gòu)中，而不會改變后者的功能。如果檢測到一種新毒素，就可以通過這個代碼追查其來源。Inglesby評價說，這種干預(yù)措施“既可行，又在降低風(fēng)險方面具有巨大潛力”。

研究團隊還提出了一些改進AI模型的方法，以減少造成危害的可能性。蛋白質(zhì)預(yù)測模型是基于現(xiàn)有蛋白質(zhì)（包括毒素和致病蛋白質(zhì)）訓(xùn)練的，一種名為“忘卻”的方法將去除其中一些訓(xùn)練數(shù)據(jù)，使模型更難生成危險的新蛋白質(zhì)；另外還提出了“反越獄”概念，即訓(xùn)練AI模型來識別并拒絕潛在的惡意指令。

此外，研究團隊還敦促開發(fā)人員采用外部保障措施，比如使用自主代理監(jiān)控AI的使用情況，并在有人試圖制造危險生物材料時，向安全人員發(fā)出警報。

“實施這些保障措施并不容易。設(shè)立一個監(jiān)管機構(gòu)或某種程度的監(jiān)督機制將是一個起點。”論文作者之一、美國國防部高級研究計劃局AI項目主管Alvaro Velasquez說。

“人們對AI和生物安全的思考，不如對虛假信息或深度偽造技術(shù)等考慮得那么多。”美國斯坦福大學(xué)計算生物學(xué)家James Zou表示，所以對保障措施的新的關(guān)注是有益的。

不過，Zou認為，監(jiān)管機構(gòu)與其要求將AI模型納入防護措施，不如將重點放在那些服務(wù)設(shè)施或機構(gòu)上，后者能夠?qū)I生成的蛋白質(zhì)設(shè)計轉(zhuǎn)化為大規(guī)模生產(chǎn)。“在AI與現(xiàn)實世界接軌的地方設(shè)置更多防護機制和監(jiān)管措施是有意義的。”

相關(guān)論文信息：https://doi.org/10.1038/s41587-025-02650-8

（原標題為《防止被不法分子濫用，科學(xué)家為AI模型設(shè)置“防火墻”》）