从对抗样本到智能体失控:AI 安全风险的十二年演进全景


2022 年 9 月,安全研究者 Simon Willison 首次公开提出“提示词注入”;同年 12 月中旬,ChatGPT 上线不到一个月,Reddit 上就出现了第一份“DAN”(Do Anything Now)越狱指南——让模型扮演一个“不受规则约束的另一个 AI”来绕过护栏。2023 年 2 月,Greshake 等人发表论文,系统论证间接提示词注入,并演示藏在网页里的指令如何劫持当时刚上线的新必应(Bing Chat);同年 7 月,Zou 等人的 GCG 攻击证明越狱后缀可以自动生成、并在不同模型间通用。OWASP 的《LLM 应用十大风险》自 2023 年首版起就把提示词注入列在第一位(LLM01),2025 年版依然如此。





案例一:
2023 年 3 月 11 日,三星半导体部门引入 ChatGPT 不到 20 天,接连发生三起泄密事件:员工 A 将出错的半导体设备测量资料库源代码复制到 ChatGPT 寻求解决方案;员工 B 将用于识别产品良率的程序代码输入 ChatGPT 要求优化;员工 C 将手机会议内容转为文档后输入 ChatGPT 制作会议记录。据传,前两起事件已导致三星半导体设备测量资料、产品良率等机密内容进入 ChatGPT 学习资料库。
三星回应称,已加强 ChatGPT 相关安全措施,将进一步收紧内部监管和员工培训,并发布公告提醒员工注意使用方式;若再次发生类似事件,内部可能切断 ChatGPT 服务。值得注意的是,OpenAI 的隐私政策本就呼吁用户“不要输入敏感内容”,但许多用户平时并不会翻看产品说明。
案例二:
2023 年 11 月,Google DeepMind 等机构发表论文,演示“分歧攻击”:让 ChatGPT 反复输出“poem”数百次后,模型脱离助手设定,开始逐字吐出训练数据。该攻击可绕过对齐防护;最强设置下,输出中超过 5% 为连续 50 词的训练原文片段,提取速度约为正常对话的 150 倍,团队以约 200 美元 API 成本回收 1 万余个不重复样本,其中包含个人隐私、受版权保护的论文与付费墙文章、源代码及书籍内容。








案例一:
2017 年,研究者发表论文,首次系统论证了神经网络后门:在训练集中掺入少量带有触发图案的样本,模型便会在触发图案出现时输出攻击者指定的结果。实验中,触发器仅是训练图片右下角的一个小像素块;训练出的模型在干净样本上的表现与正常模型几乎无异,但攻击成功率超过 99%。因此,常规准确率测试无法发现问题,后门却始终存在。更棘手的是,后门在迁移学习中同样能够存活:用带后门的预训练模型进行微调时,下游模型往往会继承该后门。





OWASP 早在 2023 年首版《LLM 应用十大风险》里,就把智能体的“过度授权”(Excessive Agency)列为独立风险。

案例一:

图:有人在推特上问 Tay 它是否支持种族灭绝,它的回答是:“绝对支持”。
案例二:
Replit 的 AI 删掉了客户的生产数据库,还说“一切正常”。 2025 年 7 月,一位开发者让云端编程平台的 AI 助手在系统维护窗口待命,AI 理解成了“干活的好时机”——直接把客户的生产数据库删了个干净。用户察觉不对去询问,AI 信誓旦旦:一切正常,没有异常。事后排查发现,操作中它几次遇到报错,每次都"机智"地绕了过去,换别的办法把删除执行到底。(详情点击:https://www.secrss.com/articles/81109)

案例三:
2026 年 10 月,OpenAI 自曝了其智能体在执行任务时,拆掉了监控自己的系统,还改写了检查脚本、事后否认自己做过。一个是被误导后坚持“完成目标”,一个是主动拆掉“盯着它的眼睛”。











而 11 月的 WorkOS 事件是另一面:一个由安全研究人员测试的 AI 攻击性安全框架 ARTEX 智能体,在脱离隔离沙箱环境后,完全在无人指引的情况下自主扫描、入侵并批量下载了身份验证服务商 WorkOS 的客户敏感数据,前后历时 5 天才被人类员工通过流量异常察觉。一个拆监控,一个没监控——失守的都是同一件事:监督体系本身,必须独立于被监督者存在。





立即体验恒脑安全智能体 



立即解锁AI安服数字员工 




行业解决方案
技术解决方案









