随着AI代理在实际应用中越来越广泛,了解其潜在资安风险变得格外重要。在一份名为《AI代理已经来临,威胁也随之而来》的全新深度研究中,Palo Alto Networks 的 Unit 42威胁情报小组探讨了攻击者可能针对代理式应用程式的九种具体攻击情境,这些情境可能造成资讯外泄、凭证窃取、工具被滥用,甚至远端程式码执行等重大风险。
为了评估这些风险的适用范围,Unit 42 威胁情报小组的研究人员使用了两种不同的开源代理框架CrewAI和AutoGen两个功能相同的应用程式,并对两者执行相同的攻击。研究发现,大多数漏洞和攻击向量基本上与框架无关,主要来自不安全的设计模式、错误的设定以及风险工具整合,而非框架本身的缺陷。
威胁情报小组研究人员也针对每种攻击情境提出了防御策略,并分析其有效性和限制。为了支援研究的再现性及後续研究,他们已在GitHub上开源了所有原始码和资料集。
这份研究特别强调的是,CrewAI和AutoGen本身并无固有漏洞。本研究中提出的攻击情境主要凸显了系统性风险,这些风险源於语言模型在抵抗提示词注入方面的局限性,以及整合工具中的错误设定或安全漏洞而非特定框架本身的问题。因此,研究结果和建议的缓解措施广泛适用於各种代理式应用程式,不受其基础框架影响。