AI蟲蟲危機!美國研究:生成式AI蠕蟲即將現身,LLM潛藏資安隱患

本文經授權轉載自友站Inside硬塞的網路趨勢觀察文/ Mia 

地球一瞬,世界各地正發生這些大小事。

註:本文為單一事件快訊報導,非深度文章

文章插圖

來自康奈爾科技的研究人員近日披露了一種新型的生成式AI蠕蟲,該蠕蟲能夠從一個系統傳播到另一個系統,並在此過程中竊取數據或部署惡意軟體

該研究人員 Ben Nassi、Stav Cohen 和 Ron Bitton 將這種蠕蟲命名為 Morris II,以紀念 1988 年造成網路混亂的原始 Morris 蠕蟲。他們在一篇研究論文和演示網站中展示了 Morris II 如何攻擊生成式 AI 電子郵件助手,竊取電子郵件中的數據並發送垃圾郵件。

AI蠕蟲,你剛剛攻擊我的村莊?

研究人員發現,攻擊者可以利用生成式AI蠕蟲進行兩種攻擊:

  • 基於文本的自我複製提示:攻擊者可以向電子郵件助手發送包含惡意文本提示的電子郵件,該提示會污染助手的資料庫,並在生成回覆時洩露敏感數據。

  • 圖像中的自我複製提示:攻擊者可以將惡意提示嵌入圖像中,然後將圖像發送給電子郵件助手。助手會將圖像中的提示解析為指令,並執行這些指令,例如轉發包含垃圾郵件或惡意內容的電子郵件。

研究人員在測試環境中成功演示了 Morris II 攻擊。他們表示,這種攻擊可以繞過 ChatGPT 和 Gemini 等生成式AI模型的安全措施,並竊取敏感數據。

研究人員表示,生成式 AI 蠕蟲尚未在其他地方發現,但隨著大型語言模型 (LLM) 的廣泛應用,這種攻擊的風險值得警惕。LLM 可以生成文本、圖像和影片,並被用於各種應用程式,例如聊天機器人、智慧助手和自動駕駛汽車。

文章插圖

如何預防蟲蟲危機?

研究人員建議採取以下措施來緩解生成式 AI 蠕蟲的威脅:

  • 使用傳統的安全方法,例如輸入驗證和輸出過濾。

  • 人類參與其中,確保AI代理不會未經批准採取行動。

  • 提高對AI安全的意識,並開發更安全的AI系統。

多位安全專家表示,這項研究揭示了AI安全的新挑戰。他們認為,開發人員和企業需要認真對待生成式AI蠕蟲的威脅,並採取措施加以防範。

研究人員預計,未來兩到三年內將在實驗室以外的野生環境看到生成式AI蠕蟲。他們呼籲AI開發者和企業採取行動,確保AI系統的安全可靠。

Inside硬塞的網路趨勢觀察 logo

Inside硬塞的網路趨勢觀察

INSIDE是台灣科技媒體領導品牌,成立於2009年11月,係由一群熱愛網路的人所成立的共筆部落格。我們專注於觀察創新、科技、新媒體與網路的趨勢發展,報導新創公司、創業家、網站、行動平台、社群媒體、行銷與數位內容。