隨著AI代理在實際應用中越來越廣泛,了解其潛在資安風險變得格外重要。在一份名為《AI代理已經來臨,威脅也隨之而來》的全新深度研究中,Palo Alto Networks 的 Unit 42威脅情報小組探討了攻擊者可能針對代理式應用程式的九種具體攻擊情境,這些情境可能造成資訊外洩、憑證竊取、工具被濫用,甚至遠端程式碼執行等重大風險。
為了評估這些風險的適用範圍,Unit 42 威脅情報小組的研究人員使用了兩種不同的開源代理框架——CrewAI和AutoGen——兩個功能相同的應用程式,並對兩者執行相同的攻擊。研究發現,大多數漏洞和攻擊向量基本上與框架無關,主要來自不安全的設計模式、錯誤的設定以及風險工具整合,而非框架本身的缺陷。
威脅情報小組研究人員也針對每種攻擊情境提出了防禦策略,並分析其有效性和限制。為了支援研究的再現性及後續研究,他們已在GitHub上開源了所有原始碼和資料集。
這份研究特別強調的是,CrewAI和AutoGen本身並無固有漏洞。本研究中提出的攻擊情境主要凸顯了系統性風險,這些風險源於語言模型在抵抗提示詞注入方面的局限性,以及整合工具中的錯誤設定或安全漏洞——而非特定框架本身的問題。因此,研究結果和建議的緩解措施廣泛適用於各種代理式應用程式,不受其基礎框架影響。