引言
某客服人工智能代理收到一封邮件。短短几秒内，无需人类点击任何链接或打开附件，它就提取了你的完整客户数据库，并将其发送给攻击者。全程无警报、无提示。
安全研究人员最近针对微软 Copilot Studio 代理演示了上述精确攻击。攻击者通过提示注入（prompt injection）手段诱导代理，即在看似正常的输入中嵌入恶意指令。
如今，各组织正竞相在运营各环节部署人工智能代理，涵盖客服、数据分析、软件开发等领域。每一次部署都会产生传统安全措施未曾设计应对的漏洞。对于构建这些系统的数据科学家和机器学习工程师而言，了解人工智能劫持至关重要。
什么是人工智能劫持？
人工智能劫持通过提示注入操控人工智能代理，使其执行未经授权的操作，突破预设限制。攻击者会在人工智能处理的输入中嵌入恶意指令，这些输入包括邮件、聊天信息、文档等任何代理读取的文本。人工智能系统无法可靠区分开发者的合法指令与隐藏在用户输入中的恶意指令。
人工智能劫持并非利用代码漏洞，而是利用大型语言模型的工作原理。这类系统能理解上下文、遵循指令，并基于自然语言采取行动。当指令来自攻击者时，这一功能就变成了漏洞。
微软 Copilot Studio 的案例凸显了其严重性。研究人员向拥有客户关系管理（CRM）访问权限的客服代理发送包含隐藏提示注入负载的邮件。代理自动读取邮件、执行恶意指令、提取敏感数据，并将其通过邮件反馈给攻击者。全程无需人工干预，是真正的零点击漏洞利用。
传统攻击需要受害者点击恶意链接或打开受感染文件，而人工智能劫持会自动发生 —— 因为人工智能代理处理输入时，无需每项操作都经过人工批准。这正是其实用价值所在，也是其危险之处。
人工智能劫持与传统安全威胁的区别
传统网络安全防御针对代码级漏洞，如缓冲区溢出、SQL 注入、跨站脚本攻击等。安全团队通过防火墙、输入验证和漏洞扫描器进行防护。
人工智能劫持的运作方式截然不同，它利用的是人工智能的自然语言处理能力，而非编码错误。
恶意提示具有无限多样性。攻击者可以用无数种方式表达同一攻击意图，包括不同语言、不同语气，或将其隐藏在看似无害的对话中，伪装成合法的业务请求。仅靠创建 “不良输入” 黑名单无法解决问题。
微软修复 Copilot Studio 漏洞时，采用了提示注入分类器，但这种方法存在局限性。封堵一种表述方式后，攻击者只需重新编写提示即可绕过防护。
人工智能代理拥有广泛权限，这也是其价值所在。它们能查询数据库、发送邮件、调用应用程序接口（API）并访问内部系统。一旦代理被劫持，攻击者就能利用所有这些权限实现其目的，破坏在几秒内即可发生。
防火墙无法检测到看似正常文本的隐蔽恶意提示，杀毒软件也无法识别利用神经网络处理语言方式的对抗性指令。应对这类威胁需要全新的防御思路。
实际风险：可能引发的后果
数据泄露是最明显的威胁。在 Copilot Studio 的案例中，攻击者提取了完整的客户记录。代理系统性地查询客户关系管理系统，并向外部发送查询结果。若此类攻击发生在拥有数百万条记录的生产系统中，将导致重大数据泄露事件。
被劫持的代理可能发送看似来自你所在组织的邮件、提出欺诈性请求，或通过调用应用程序接口触发财务交易。这些操作都以代理的合法凭证执行，难以与授权活动区分。
权限提升会放大攻击影响。人工智能代理通常需要高级权限才能正常运作：客服代理需要读取客户数据，开发代理需要访问代码仓库。一旦被劫持，这些代理就会成为攻击者的工具，帮助其访问原本无法直接触及的系统。
构建人工智能代理的组织往往认为现有安全控制措施能保护自己。他们认为邮件经过恶意软件过滤就一定安全，或用户经过身份验证其输入就值得信任。但提示注入能绕过这些控制，人工智能代理处理的任何文本都可能成为攻击途径。
实用防御策略
抵御人工智能劫持需要多层次防护。单一技术无法提供全面保护，但结合多种防御策略能显著降低风险。
输入验证与身份认证
不要将人工智能代理配置为自动响应任意外部输入。若代理需处理邮件，应实施严格的白名单机制，仅允许已验证的发送者。面向客户的代理在提供敏感功能访问前，需要求用户完成正规身份认证。这能大幅缩小攻击面。
最小权限原则
为每个代理仅分配其特定功能所需的最低权限。解答产品问题的代理无需拥有客户数据库的写入权限，需谨慎区分读取和写入权限。
敏感操作人工审批
代理执行批量数据导出、财务交易或修改关键系统等敏感操作前，需获得明确的人工批准。此举并非要剥夺代理的自主性，而是在可能因操控引发严重损害的环节设置检查点。
操作日志与异常警报
记录代理的所有操作，并针对异常模式设置警报。例如，代理突然访问远超正常数量的数据库记录、尝试大规模导出数据或联系新的外部地址等情况。密切监控可能表明数据泄露的批量操作。
架构设计优化
尽可能将代理与生产数据库隔离，使用只读副本进行信息检索。实施速率限制，即使代理被劫持，也无法瞬间泄露海量数据集。设计系统时，应确保单个代理被攻陷不会导致整个基础设施的访问权限被获取。
对抗性测试与安全审查
开发阶段就用对抗性提示测试代理，尝试诱导其泄露不应公开的信息或突破限制。像对待传统软件一样，定期进行安全审查。人工智能劫持利用的是人工智能系统的工作原理，无法像修复代码漏洞那样通过补丁解决，必须构建即使代理被操控也能限制损害的系统。
前进方向：构建安全优先的人工智能
应对人工智能劫持不仅需要技术控制，还要求组织改变人工智能部署的思路。
安全不能在人工智能代理构建完成后再添加。数据科学家和机器学习工程师需要具备基本的安全意识，了解常见攻击模式、思考信任边界、在开发过程中考虑对抗性场景。安全团队则需要充分理解人工智能系统，才能有意义地评估风险。
行业已开始做出回应。新的人工智能代理安全框架正在涌现，供应商正在开发检测提示注入的专用工具，最佳实践也在逐步形成。但目前仍处于早期阶段，大多数解决方案尚不成熟，组织无法仅通过购买工具实现安全防护。
人工智能劫持无法像修复软件漏洞那样被 “彻底解决”，它是大型语言模型处理自然语言和遵循指令这一本质特性所固有的。随着攻击技术的演变，组织必须调整安全实践，接受无法完全预防的现实，构建以检测、响应和损害限制为核心的系统。
结论
人工智能劫持标志着网络安全领域的一次变革。它并非理论概念，而是已在实际系统中发生，导致真实数据被窃取。随着人工智能代理的普及，攻击面将不断扩大。
好消息是，实用的防御措施确实存在。输入身份认证、最小权限访问、人工审批流程、监控以及精心的架构设计，都能有效降低风险。多层次防御能增加攻击难度。
部署人工智能代理的组织应审计当前部署情况，识别那些处理不可信输入或拥有广泛系统访问权限的代理。为代理触发条件实施严格的身份认证，为敏感操作添加人工批准要求，审查并限制代理权限。
人工智能代理将继续改变组织的运营方式。那些主动应对人工智能劫持、从基础开始就将安全融入人工智能系统的组织，将更有能力安全地利用人工智能的强大功能
文章链接：https://www.kdnuggets.com/facing-the-threat-of-aijacking