人工智能（AI）正在迅速推進新型蛋白質的設計工作，這些蛋白質有望用于藥物、疫苗及其他療法。但這種希望也伴隨著擔憂，同樣的工具也可能被用于設計生物武器或有害毒素的組成部分。

如今，科學家提出了一系列可以內嵌到AI模型中的保護措施，既能阻止惡意使用，也使追蹤新型生物武器的AI制造者成為可能。4月28日，相關論文發(fā)表于《自然-生物技術》。

美國約翰斯·霍普金斯大學健康安全中心主任、流行病學家Thomas Inglesby表示：“建立正確的框架至關重要，將有助于我們充分發(fā)揮這項技術的巨大潛力，同時防范出現(xiàn)極其嚴重的風險?！?/p>

近年來，科學家已經證明，AI模型不僅可以根據氨基酸序列預測蛋白質結構，還能以前所未有的速度生成從未見過的具有新功能的蛋白質序列。像RFdiffusion和ProGen這樣最新的AI模型，能在幾秒鐘內定制設計蛋白質。在基礎科學和醫(yī)學領域，很少有人質疑它們的潛力。

但論文通訊作者、美國普林斯頓大學計算機學家王夢迪指出，這些模型的強大功能和易用性令人擔憂?！癆I變得如此簡單易用。普通人不需要擁有博士學位，就能夠生成有毒化合物或病毒序列。”

美國麻省理工學院媒體實驗室計算機學家Kevin Esvelt支持對制造高風險病毒和DNA的研究實施更嚴格的管控。他指出，這種擔憂仍停留在理論層面。“沒有實驗室證據表明現(xiàn)有模型已經強大到足以引發(fā)一場新的大流行疾病。”

盡管如此，包括Inglesby在內的130名蛋白質研究人員去年簽署了一份承諾書，表示會在工作中安全使用AI。現(xiàn)在，王夢迪和同事概述了可以內嵌到AI模型中的保護措施，從而超越了自愿承諾。其中一項措施是名為FoldMark的防護機制，由王夢迪實驗室開發(fā)。它借鑒了谷歌旗下DeepMind的SynthID等現(xiàn)有工具的概念，即在不改變質量的前提下，將數(shù)字模式嵌入AI生成的內容中。

在FoldMark的案例中，一個作為唯一標識符的代碼被插入蛋白質結構中，而不會改變后者的功能。如果檢測到一種新毒素，就可以通過這個代碼追查其來源。Inglesby評價說，這種干預措施“既可行，又在降低風險方面具有巨大潛力”。

研究團隊還提出了一些改進AI模型的方法，以減少造成危害的可能性。蛋白質預測模型是基于現(xiàn)有蛋白質（包括毒素和致病蛋白質）訓練的，一種名為“忘卻”的方法將去除其中一些訓練數(shù)據，使模型更難生成危險的新蛋白質；另外還提出了“反越獄”概念，即訓練AI模型來識別并拒絕潛在的惡意指令。

此外，研究團隊還敦促開發(fā)人員采用外部保障措施，比如使用自主代理監(jiān)控AI的使用情況，并在有人試圖制造危險生物材料時，向安全人員發(fā)出警報。

“實施這些保障措施并不容易。設立一個監(jiān)管機構或某種程度的監(jiān)督機制將是一個起點。”論文作者之一、美國國防部高級研究計劃局AI項目主管Alvaro Velasquez說。

“人們對AI和生物安全的思考，不如對虛假信息或深度偽造技術等考慮得那么多?！泵绹固垢４髮W計算生物學家James Zou表示，所以對保障措施的新的關注是有益的。

不過，Zou認為，監(jiān)管機構與其要求將AI模型納入防護措施，不如將重點放在那些服務設施或機構上，后者能夠將AI生成的蛋白質設計轉化為大規(guī)模生產?！霸贏I與現(xiàn)實世界接軌的地方設置更多防護機制和監(jiān)管措施是有意義的?！?/p>

相關論文信息：https://doi.org/10.1038/s41587-025-02650-8

（原標題為《防止被不法分子濫用，科學家為AI模型設置“防火墻”》）