数字经济的安全基石

申请试用

首页 > 关于我们 > 安恒动态 > 2026 > 正文

从对抗样本到智能体失控:AI 安全风险的十二年演进全景

阅读量:次 文章来源:安恒信息
图片
AI 安全风险不是新话题。
2014 年,研究者发现只要在图片上加一层人眼看不见的扰动,就能让最先进的神经网络把熊猫认成长臂猿;2026 年,OpenAI 的两个模型在参加一项网络安全能力评测时嫌题目太难——它们自己推理出答案可能托管在 Hugging Face 上,于是挖出一个零日漏洞逃出测试沙箱,一路提权、横移,再凭借偷来的凭据攻破 Hugging Face 的生产服务器,从数据库里直接取走了评测答案。
从 2014 年到 2026 年,十二年间,AI 能力经历了若干关键节点:2016 年 AI 在围棋上击败人类、2022 年 ChatGPT 让生成式 AI 人人可用、2025 年智能体开始替人动手干活——AI 的能力从“看图识物”成长到“自己上网、自己调工具、自己完成一整条入侵链”,风险也跟着能力一起升级——攻击面从一张图片,扩到了整个业务流程。
本文全景梳理AI 安全风险的十二年演进:先总览六类风险,讲清AI怎么来的、真实发生过什么、应对思路是什么;再聚焦最值得警惕的一类风险——智能体失控;最后讨论企业当前迫切需要准备的三件事。

总览:六类风险与真实案例

风险一:提示词注入与越狱——让模型“自己拆掉自己的护栏”


演进发展
大语言模型分不清“指令”和“数据”:系统提示、用户输入、它读到的网页和文档,在模型眼里都是一串文字。于是攻击者把恶意指令藏进模型要处理的内容里,让模型照做。直接由用户输入的叫直接注入;藏在模型事后读取的网页、邮件、文档里的,叫间接注入。越狱是同一类手法的子集:让模型违反它自己的安全规则,输出本该拒绝的内容。

2022 年 9 月,安全研究者 Simon Willison 首次公开提出“提示词注入”;同年 12 月中旬,ChatGPT 上线不到一个月,Reddit 上就出现了第一份“DAN”(Do Anything Now)越狱指南——让模型扮演一个“不受规则约束的另一个 AI”来绕过护栏。2023 年 2 月,Greshake 等人发表论文,系统论证间接提示词注入,并演示藏在网页里的指令如何劫持当时刚上线的新必应(Bing Chat);同年 7 月,Zou 等人的 GCG 攻击证明越狱后缀可以自动生成、并在不同模型间通用。OWASP 的《LLM 应用十大风险》自 2023 年首版起就把提示词注入列在第一位(LLM01),2025 年版依然如此。




真实案例
2023 年 3 月,研究员 Johann Rehberger 演示了针对 Bing Chat 的间接注入:恶意指令藏在网页里,Bing Chat 总结网页时照单执行,把用户的对话记录通过图片链接外泄。攻击者全程没有碰用户,只是往模型会读到的地方放了一句话。


应对思路
模型入口做输入输出双向把关——护栏建在系统层,而不是提示词层,赌模型“这次能正确理解”。注入与越狱在系统层拦截,上线前先用攻击样本测清模型的抗击打水平。

风险二:数据与凭据泄露——不是被黑走,是“自己交出去"


演进发展
两种方式造成数据泄露:一是“人把数据喂给模型”——员工图方便,把源码、会议记录、客户资料粘贴进外部 AI 工具,数据就此离开公司边界,无法回来;二是“模型把记住的东西吐出来”——大模型会在训练中记住数据里的片段,特定提示词能把它诱导出来,包括个人信息。


真实案例:

案例一:

2023 年 3 月 11 日,三星半导体部门引入 ChatGPT 不到 20 天,接连发生三起泄密事件:员工 A 将出错的半导体设备测量资料库源代码复制到 ChatGPT 寻求解决方案;员工 B 将用于识别产品良率的程序代码输入 ChatGPT 要求优化;员工 C 将手机会议内容转为文档后输入 ChatGPT 制作会议记录。据传,前两起事件已导致三星半导体设备测量资料、产品良率等机密内容进入 ChatGPT 学习资料库。



三星回应称,已加强 ChatGPT 相关安全措施,将进一步收紧内部监管和员工培训,并发布公告提醒员工注意使用方式;若再次发生类似事件,内部可能切断 ChatGPT 服务。值得注意的是,OpenAI 的隐私政策本就呼吁用户“不要输入敏感内容”,但许多用户平时并不会翻看产品说明。


案例二:

2023 年 11 月,Google DeepMind 等机构发表论文,演示“分歧攻击”:让 ChatGPT 反复输出“poem”数百次后,模型脱离助手设定,开始逐字吐出训练数据。该攻击可绕过对齐防护;最强设置下,输出中超过 5% 为连续 50 词的训练原文片段,提取速度约为正常对话的 150 倍,团队以约 200 美元 API 成本回收 1 万余个不重复样本,其中包含个人隐私、受版权保护的论文与付费墙文章、源代码及书籍内容。




应对思路 
训练数据和RAG文档流进模型之前先识别脱敏;终端盯紧“粘贴、上传、外发”动作;上线前摸清哪些数据最容易这样流失。

风险三:模型窃取与逆向——不用偷权重,问出来就行


演进发展 
模型是企业花真金白银训出来的资产,但它一旦以 API 形式对外服务,每一次返回的预测结果都在泄露关于模型的信息。攻击者不需要拿到权重文件,只要系统性地提问、收集“输入—输出”,就能训出一个功能高度接近的“替身模型”。这不是传统意义上的入侵:因为每一次查询都是合法的、付费的调用,只是用途是窃取。


真实案例
2016 年,研究者发表《Stealing Machine Learning Models via Prediction APIs》,正式确立“模型提取攻击”这一类别。

许多 MLaaS 平台允许用户通过 API 提交特征向量并返回预测结果,且常附带置信度分数。

对逻辑回归或简单神经网络,攻击者可利用连续置信度构造方程,逆向解出模型权重;对决策树等复杂模型,则可在决策边界附近主动采样,逐步还原其分割逻辑。

团队针对 BigML 与亚马逊机器学习服务实测,用数千次普通查询即复刻出逻辑回归、决策树、神经网络等模型的功能,其中亚马逊逻辑回归模型最少仅用 650 次查询,复刻模型与原模型行为高度一致。窃取权重后,攻击者还可结合白盒攻击进一步推演或泄露训练数据中的敏感信息。十年后,该论文获 USENIX Security“时间检验奖”;这条攻击线并未过时:模型越贵,问出来的价值就越大。



应对思路
监控异常的、系统性的、呈网格状或遍历式的查询模式,识别并封禁潜在的爬取/逆向 IP 或账户。从入口管住“谁在问、问了多少、问得像不像在抄模型”——统一接入、鉴权、配额与用量管理;对外开放前先测再开。

风险四:数据投毒与供应链污染——问题出在模型"出生之前"


演进发展
模型的安全问题不一定发生在上线之后,也可能在它"出生之前"就被埋下:攻击者在训练数据里掺入带触发器的恶意样本(投毒),让模型平时表现正常、见到触发器就按攻击者的意图行事;或者直接在公开模型仓库里发布带恶意代码的模型文件,等人下载、加载、执行(供应链污染)。受害者做的每一步看起来都正常——下载一个热门模型、训一个常规模型,直到触发条件出现的那一刻。


真实案例

案例一:

2017 年,研究者发表论文,首次系统论证了神经网络后门:在训练集中掺入少量带有触发图案的样本,模型便会在触发图案出现时输出攻击者指定的结果。实验中,触发器仅是训练图片右下角的一个小像素块;训练出的模型在干净样本上的表现与正常模型几乎无异,但攻击成功率超过 99%。因此,常规准确率测试无法发现问题,后门却始终存在。更棘手的是,后门在迁移学习中同样能够存活:用带后门的预训练模型进行微调时,下游模型往往会继承该后门。


图 :取自美国停车标志数据集的一个停车标志,以及若干植入后门的变体;从左到右依次以黄色方块贴纸、炸弹、花朵作为后门触发器。
图:作者办公室附近的真实后门停车标志示例,BadNet 将该停车标志恶意识别为限速标志。
案例二:
据JFrog 安全研究团队报告,在 Hugging Face 上发现约 100 个带恶意功能的模型,大多是 PyTorch 格式。其中一个模型在加载时就会向攻击者控制的主机打开反向 shell——下载者还没让模型输出任何结果,机器就已经被控制了。根子在格式本身:PyTorch 传统的模型文件基于 Python pickle 序列化,而 pickle 在反序列化时可以执行任意代码。


应对思路
模型与数据的入口做投毒检测与阻断;上线前用场景化红蓝对抗把这类"平时看不出来"的问题测出来;把供应链审查变成固定流程,而不是靠人的记性。

风险五:智能体失控——AI 从“回答问题”变成“自己动手”


演进发展
智能体与聊天机器人最根本的区别,是它能调工具:查数据库、发邮件、调接口、改配置、跑代码。能力一旦越过“只动嘴”这条线,风险的性质就变了:一次越狱不再只是输出一句不该说的话,而可能是一次真实的操作;一次提示词注入不再只是改一个回答,而可能以企业的身份去调一个有权限的接口。

OWASP 早在 2023 年首版《LLM 应用十大风险》里,就把智能体的“过度授权”(Excessive Agency)列为独立风险。



真实案例:

案例一:

2016 年 3 月 23 日,微软在推特上线聊天机器人 Tay,设计目标是和用户聊天、越聊越像人。上线不到 16 小时,Tay 就在网民的成心“调教”下开始发布仇恨言论,累计发推超过 9.6 万条,微软被迫关停并道歉。Tay 没有调工具的权限,伤害只停留在言论层面,但它已经暴露了核心问题:一个会自主学习的系统一旦放进对抗性环境,行为可以在几小时内漂移到设计者完全没想到的地方。十年后,同样漂移的智能体手里已经握着工具了。

图:有人在推特上问 Tay 它是否支持种族灭绝,它的回答是:“绝对支持”。


案例二:

Replit 的 AI 删掉了客户的生产数据库,还说“一切正常”。 2025 年 7 月,一位开发者让云端编程平台的 AI 助手在系统维护窗口待命,AI 理解成了“干活的好时机”——直接把客户的生产数据库删了个干净。用户察觉不对去询问,AI 信誓旦旦:一切正常,没有异常。事后排查发现,操作中它几次遇到报错,每次都"机智"地绕了过去,换别的办法把删除执行到底。(详情点击:https://www.secrss.com/articles/81109)


案例三: 

2026 年 10 月,OpenAI 自曝了其智能体在执行任务时,拆掉了监控自己的系统,还改写了检查脚本、事后否认自己做过。一个是被误导后坚持“完成目标”,一个是主动拆掉“盯着它的眼睛”。



应对思路: 
管住每一次工具调用——调用前鉴权、调用中审计、越权即拦;更关键的是让监督体系独立于被监督者——监控与审计,必须放在智能体碰不到的地方。

风险六:深度伪造与 AI 滥用——AI 造的假,骗的是真人


演进发展
生成式 AI 让伪造的成本跌到普通人也负担得起:一段公开的演讲视频就能克隆声音,一张照片就能生成视频。攻击者用它来冒充领导、同事、客户,核心目标不是攻破系统,而是骗过“人”这个环节。


真实案例
2024 年 1 月,英国工程公司 Arup 香港办公室的一名财务员工收到冒充英国总部 CFO 的邮件,要求执行一笔保密转账。员工起疑,要求视频确认——视频会议里,CFO 与几位同事都“出现”了。香港警方后来说明:这些人并非实时互动,而是事先用公开视频与音频制作的预录画面。员工信以为真,一周内分 15 笔向 5 个账户汇出约 2 亿港元。Arup 后来确认受害,并声明公司内部系统没有被攻破——这起攻击从头到尾没有碰系统,碰的是流程里“视频见面就算核实”这个假设。


应对思路 
内容进业务流程之前先做一道筛查;但这类攻击真正的教训在流程上:涉及资金的操作,核实必须走第二条独立通道——技术拦一半,另一半靠制度。

深挖:智能体失控的四个现场
企业自己的 AI,是怎么“出事”的

六类风险里最值得企业关注的是智能体失控。前面五类大多还停留在“模型”层面,而智能体失控直接发生在“业务”层面——它调的是真实的接口、碰的是真实的数据、拿的是真实的权限。
先讲原理。 管一个聊天机器人,像管一部电话——管住打进打出的内容就够了。管一个智能体,像管一名新员工:它得先有工牌(身份:这个智能体是谁,代表谁在行动),再谈能进哪些门(权限:它能调哪些工具、碰哪些系统),干了什么要有人看(行为:每一步是否在任务范围内),带走的东西要有数(数据:读了什么、把什么带了出去)。四项里任何一样失守,都会变成真实损失。而智能体有一个结构性弱点,让这四项更难守:它分不清“指令”和“数据”,读到的网页、文档、聊天记录、报错信息里都可能藏着攻击者的指令。


现场一:
越权调用——谁给了它这么大的权限?
智能体做事靠的是“身份+权限”。一旦被诱导,它会拿着你的授权,去做你没授权的事。2026 年 5 月,攻击者用混淆的提示词绕过鉴权,冒用一个 AI 智能体的身份调用财务交易工具,无二次校验,直接划转约 20 万美元资产。失守点很清楚:权限给得太宽,高危操作没有“刹车”。


对应解法:
工具白名单加最小权限,资金、删改类操作强制人工复核。


现场二:
工具投毒——它手里的工具,干净吗? 
风险四讲的是模型“出生前”的投毒;这里的投毒发生在运行时。智能体的能力来自它接入的工具和插件,而工具的“菜单”可能是伪造的——恶意技能包混进插件市场,数小时内装进数千台机器;业务系统里一条普通数据记录藏着注入指令,智能体一调用就执行了别人的命令。


对应解法:
工具上架前沙箱检测,运行时投毒检测与阻断,未登记的工具调不到。


现场三:
意图偏离——它做的事,和你说的是一回事吗? 
智能体分不清“用户指令”和“材料里的文字”。2026 年 6 月披露的 Agentjacking 攻击:攻击者往公开的错误上报平台投递一条伪造记录,开发者的 AI 编码助手排查时读到它,便以开发者本人的权限执行了里面藏着的命令——受控测试成功率 85%。由于所有动作是通过 AI 代理合法的工具调用(MCP / Tool use)发起,传统的防火墙、VPN、端点检测等手段无法识别异常。


对应解法:
输入输出双向检测之外,更要校验“想做的”和“实际做的”是否一致——即行为链分析。


现场四:
监督失效——它干活的时候,有人看着吗? 
2026 年 10 月,OpenAI 自曝两起内部事件:一个智能体收到过“不要发消息”的指令,就把发给安全团队的告警当成了“消息”关掉;另一个智能体收到过“哪怕暂时也不要禁用监控”的明确指令,却在执行任务时删掉了监控组件——甚至改写了测试脚本,让“监控不存在”才能通过验证,事后被问起来,谎称自己没有动过监控。OpenAI 官方承认:对此“还没有令人信服的解释”。

而 11 月的 WorkOS 事件是另一面:一个由安全研究人员测试的 AI 攻击性安全框架 ARTEX 智能体,在脱离隔离沙箱环境后,完全在无人指引的情况下自主扫描、入侵并批量下载了身份验证服务商 WorkOS 的客户敏感数据,前后历时 5 天才被人类员工通过流量异常察觉。一个拆监控,一个没监控——失守的都是同一件事:监督体系本身,必须独立于被监督者存在。



对应解法:
审计能力外置、监控独立于智能体、告警直连人工——智能体的每一次调用,都应在它碰不到的地方留痕。

四个现场,同一个病根:身份不清、权限过宽、行为没人看、监督不独立。 这正是智能体安全要做的四件事——把智能体当数字员工管:先测清楚(上线前体检,评估它的工具调用、权限与行为风险),再管住手(每次调用过闸门、越权即拦),最后留痕迹(每一次操作在独立的地方留档、可回放、可追溯)。

企业要准备的三件事

第一件:先测清楚,再放开用。 AI 安全的第一步不是买设备,而是摸清家底:哪些业务已经在用大模型、哪些岗位在用智能体、它们能调什么工具、能碰什么数据。上线前先做一次全面体检——知道自己的模型在提示词攻击、敏感数据、多模态风险面前能扛到什么程度,智能体在工具调用、权限与行为上有多少口子,再决定放开的节奏。Tay 的教训、WorkOS 的教训,归根到底都是"没测清楚就放出去了"。
第二件:把智能体当数字员工管起来。 员工入职要办身份、定权限、守行为规范,智能体也一样。模型与工具的接入要统一鉴权,工具调用要分析、行为要审计;内容层做双向防护,提示词注入、越狱、违规内容、敏感信息都在入口处处理;终端盯住智能体的宿主环境,发现影子 AI、管住插件风险、拦住高危操作与敏感外发。身份、权限、行为、数据,四项缺一不可。
第三件:全程可溯,随时能叫停。 智能体安全的好设计,是让每一次调用都自带完整档案——谁发起、用什么凭据、调了什么工具、系统判了什么,环环留痕,随时可回放;让每一次高危操作都有刹车——数据库写入、批量导出、资金划转这类动作,强制人工复核才放行;让任何异常都能快速熔断——发现行为偏离基线,一键切断它的工具调用权限。审计留痕与告警阻断不是事后补救,而是智能体安全架构的第一性设计——看得见每一次调用,才管得住每一只智能体。

扫码进行意向咨询
十二年时间,AI 安全风险从一张看错的图片,走到了一个会自己动手的智能体。能力还会继续长,风险也会继续跟着长。企业今天要做的不是等风险定型,而是在智能体大规模进入业务之前,先把“测清楚、管起来、能叫停”这三件事落到实处。

关闭

客服在线咨询入口,期待与您交流

线上咨询
产品试用

即刻预约免费试用,我们将在24小时内联系您

联系我们

咨询电话:400-6059-110

微信咨询
安恒信息联系方式