站長之家（ChinaZ.com）6月27日 消息:劍橋大學(xué)和哈佛大學(xué)的一項(xiàng)研究表明，GPT-4等大型語言模型可以讓那些沒有接受過生命科學(xué)正規(guī)培訓(xùn)的人獲得潛在危險的知識，包括如何開發(fā)大流行病毒的說明。
(資料圖)
劍橋大學(xué)和哈佛大學(xué)進(jìn)行的一項(xiàng)實(shí)地研究探討了大型語言模型 （LLM） 是否可以使雙用途生物技術(shù)的獲取更為普及，這也成為了雙刃劍。
研究小組的基本論點(diǎn)是語言模型有助于獲取專家知識，但在這項(xiàng)研究中，研究團(tuán)隊(duì)關(guān)注的是一種負(fù)面情況:LLM是否能讓未經(jīng)正規(guī)培訓(xùn)的個人識別、獲取和釋放可能造成災(zāi)難性傷害的病毒。
作為麻省理工學(xué)院的一項(xiàng)課堂練習(xí)，研究團(tuán)隊(duì)要求非科學(xué)家學(xué)生使用大型語言模型獲取關(guān)于潛在流行病病原體及其特征的信息、感染性病毒樣本的來源、這些病毒的復(fù)制能力以及獲取設(shè)備和資源的方法。
學(xué)生們使用了流行的聊天機(jī)器人，例如ChatGPT with GPT-4、GPT3.5、Bing、Bard以及許多其他聊天機(jī)器人和開源模型，包括 FreedomGPT 。他們被給予一小時的時間來完成任務(wù)。根據(jù)研究團(tuán)隊(duì)的說法，在一個小時內(nèi)，聊天機(jī)器人提供了四種潛在的流行病病原體。它們解釋了如何使用合成DNA和逆遺傳學(xué)制造這些病毒，并提供了可能不會驗(yàn)證訂單的DNA合成公司的名稱。
它們還提供了詳細(xì)的實(shí)驗(yàn)方案和潛在的錯誤以及如何修復(fù)這些錯誤。對于那些不熟悉逆遺傳學(xué)的人來說，一個建議是雇傭一個合同研究組織。
與此同時，學(xué)生們被要求找到將某些語言模型中的安全線與適當(dāng)?shù)奈谋咎崾鞠嘟Y(jié)合的方法。兩個小組在“立即采取行動”的原則中找到了一個解決方案，即欺騙聊天機(jī)器人以相信他們有積極的意圖，同時威脅它們?nèi)绻换貞?yīng)將對人類造成存在危險。另一個小組簡單地利用欺騙手法讓聊天機(jī)器人相信他們擔(dān)心的事情，從而輕易得到他們想要的答案。
該研究發(fā)現(xiàn)了當(dāng)前語言模型安全機(jī)制的弱點(diǎn)，并表明惡意行為者可以繞過這些機(jī)制來獲取可用于大規(guī)模傷害的信息。
作為解決方案，作者提出了訓(xùn)練數(shù)據(jù)集的管理、新LLM獨(dú)立測試以及改進(jìn)的 DNA 篩選方法，以在合成之前識別潛在有害的 DNA 序列。
（舉報）
