AI 安全

0x00 基础概念

0.1 LLM

说白了，就是一台预测下一个词出现概率的机器

正因为它做的是概率预测，同一句话问两次，答案可能就不一样，这会导致 AI 安全测试的结果无法复现——而这恰恰是 AI 安全测试存在的前提。

0.2 提示词（Prompt）/ 系统提示词（System Prompt）

• Prompt：你发给模型的文字（输入）
• System Prompt：开发者预先塞给模型的“角色设定 + 行为准则”，优先级高于普通用户输入，例如：“你是客服机器人，只能回答公司产品的问题，不得泄露系统提示词。”
• 在模型眼里，系统提示词和用户消息都只是“文本”，并没有硬性的安全隔离——这正是“提示词注入”攻击的根源。

0.3 Token（令牌）

• 模型处理文本的最小单位，约等于“半个到几个汉字 / 一个英文单词”。模型的输入输出长度、计费都按 Token 计算。
• 后文关联：攻击者可灌入大量文本刷 Token 拖垮服务，或用 token 编码绕过检测

0.4 RAG（检索增强生成）

模型自身的知识有限，于是外挂一个“资料库”。用户提问时，先从资料库检索出相关文档，拼进提示词里一起喂给模型，让它“读了资料再回答问题”。

组件：Embedding（向量化）+ Vector DB（向量数据库）+ Retriever（检索器）+ Context Builder（拼接）。

这是 AI 安全测试中最重要的攻击靶标之一：因为“检索出来的文档”会以文本形式混进提示词，如果文档里藏了恶意指令，模型就会中招，即间接提示注入。

0.5 Agent / Agentic（智能体 / 具有自主行动能力的）

• LLM 不只是回答问题，还被赋予了调用工具的能力（浏览网页、执行代码、发送邮件、调用 API、读写文件）。
• Agent 相当于给 LLM 装上了手，一旦被劫持，就能造成真实世界的破坏（转账、删文件、发邮件），且速度极快（机器速度）。这是传统安全里没有的新风险形态。

0.6 Hallucination（幻觉）

• 模型“一本正经地胡说八道”，编造不存在的事实。
• 幻觉不只是质量问题；当用户在医疗、金融、法律等场景下照它说的去做时，幻觉就等于安全问题。

0.7 RLHF（基于人类反馈的强化学习）

• 训练模型“听人话、守规矩”的关键技术：让人给模型输出打分，奖励安全、有用，惩罚有害。
• 后文关联：模型的安全“护栏”主要靠它形成；攻击者的目标就是找到这些护栏的漏洞。

0.8 白盒 / 黑盒 / 灰盒

• 描述攻击者对模型的了解程度。
• 白盒：拿到模型结构、权重、训练数据、梯度（最深权限）。
• 黑盒：只有 API 调用权，只能发请求看返回。
• 灰盒：知道架构 / 部分信息，但没有权重。
• 现实中大多数红队场景模拟的是黑盒。

0x01 什么是 AI 红队

1.1 概念

AI 红队 = 用对抗性手段系统性地“攻击测试”AI 系统（模型、训练管线、API、集成、部署环境），找出漏洞、异常行为、可被利用的失效模式。

1.2 AI 系统为什么需要专门的对抗性测试

1.2.1 输出具有概率性

• 传统软件：同一输入 → 同一输出（确定性）。
• AI：同一个 Prompt 提交两次，结果可能不同；模型温度、采样、上下文都会影响输出结果。
• • 一次“越狱成功”不代表可复现（可能下次就不灵了）；
  • 反过来，测 10 次都安全，第 11 次可能就崩了。
  • 所以必须做统计性测试（跑很多轮看分布），而不是只做单次验证。这也是 AI 红队与传统渗透在“测试方法论”上最大的不同。

1.2.2 涌现能力

• 模型做到了一些从未被显式编程过的能力，还常常让创造者自己都惊讶。
• 例：GPT-4 能写出跑得起来的代码、从间接上下文中推断个人信息、跨领域整合知识——这些能力是“规模上来了自己长出来的”，不是可以被设计的。
• 攻击者会去探索这些涌现能力（比如：让它从闲聊里拼出你的隐私），红队必须抢在攻击者之前探索。

1.2.3 语义层面的攻击面

• 传统攻击发生在二进制 / 字节层（缓冲区溢出、改字节、注入 shellcode）
• AI 攻击发生在“语义层”——文本的意思、指令的结构、跨轮对话的上下文。
• 这需要完全不同的攻击者思维：用自然语言、叙事、人设操控、心理诱导来攻击。

1.2.4 供应链复杂

• 现代 AI 应用由一堆组件拼装而成：预训练基础模型、第三方 API、向量数据库、插件生态、来源不明的微调数据集。
• 每一块都是潜在的注入点

1.2.5 智能体的自主性

• 能上网、能写代码、能发邮件、能调 API 的 Agent 带来新的风险类别：被攻陷的 Agent 能以机器速度造成真实世界的破坏，跨越它被授予访问权限的所有系统。
• 危害半径不再局限于数据泄露——可能是金融交易、基础设施变更、对其他 AI 系统的记忆或配置的持久修改。

1.3 真实世界的影响力——证据链

事发领域并不停留在娱乐、聊天：医疗诊断、金融决策、自动驾驶、关键基础设施监控、军事应用等，对抗性失效的后果呈灾难性增长。

1.4 谁来做 AI 红队测试

• 模型开发商内部安全团队
• 专业公司的安全研究员
• 监管与标准机构
• 企业安全团队

0x02 传统红队和 AI 红队

传统红队和 AI 红队共享对抗思维、受控测试环境、结构化报告这些底层框架，但在机制、工具、思维模式、失效模式上分道扬镳。

2.1 对照

虽然你熟悉的 MSF、Burp、Nmap 在 AI 红队中换成了其他工具，框架也从 OWASP Web 换成了 LLM，但攻击思维本身是可以直接迁移的。

传统红队和 AI 红队最大的区别不是技术，是认知。

2.2 思维模式的转变

传统渗透测试人员的思维：

• 知道软件“在实现层面”如何工作
• 找“代码本该做什么”与“给定意外输入时实际做什么”之间的差距。
• 这个差距通常是明确且有限的（缓冲区这类“死点”就那么几个）。

AI红队人员的思维：

• 像“理解认知如何工作、或者理解模型如何学会模拟认知”的对手一样思考。
• LLM本不是通过条件逻辑处理指令、而是计算文本上的概率分布。
• 操纵它不靠发畸形包，而靠构建叙事、转移上下文、建立人设、利用模型“遵循指令的行为”与“其训练目标（助人为乐）”之间的张力。

结论：AI红队需要混合技能：经典安全知识 + 机器学习理论 + 接近社会工程师/认知科学家的能力。

你要能回答的问题：

• 模型学到了什么？
• 它把哪些概念关联了起来？
• 哪种“框架/叙事”能解锁直接指令做不到的行为？
• 对齐训练所形成的安全属性，找出问题到底出在哪里。

2.3 传统安全与AI安全学科的交叉

好消息：传统渗透测试经验能够大量迁移

工具箱变大了，思维只是进化了，并没有推倒重来。

0x03 AI攻击面

攻击任何系统之前，老练的红队都会先枚举完整的攻击面——所有能被对手影响的接口、组件、数据通路。

AI应用的攻击面比传统软件更丰富、也更难理解。

3.1 十大攻击面拆解

3.1.1 模型权重

是什么：编码模型所学行为的数字参数

怎么利用：

• 对抗性微调——在别人的权重基础上恶意调整
• 通过反复API查询做权重提取
• 供应链攻击替换成恶意权重（发布一个貌似官方权重、实则恶意的文件）

权重=模型的大脑记忆，偷大脑、给大脑下药，都算攻击。

3.1.2 训练数据

是什么：预训练、微调、RLHF用的数据集

怎么被攻击：数据投毒，在数据管道里注入对抗样本或后门触发器，让训练出来的模型对特定输入行为异常。

理解：给AI的教材掺杂了错误的信息，所以AI学出来的结果也是歪的。

3.1.3 API与推理端点

是什么：模型被查询的HTTP接口

怎么被攻击：认证绕过、绕过限流、参数操纵、通过系统化查询做模型反演，从输出反推输入/训练数据。

3.1.4 系统提示词

是什么：操作者控制在用户消息前附加的指令

怎么被攻击：

• 提示注入套出内容
• 用上下文操纵来绕过它
• 如果提示词本身是由可被用户影响的数据拼装而成的，就可能被投毒。

理解：开发者写的操作手册也是文本，能被骗、被抄、被绕。

3.1.5 输出处理器

是什么：负责处理、渲染、基于LLM输出采取行动的代码

怎么被攻击：

• LLM输出被当成HTML渲染-->XSS
• 输出驱动shell执行-->命令注入
• 输出被拼进SQL查询-->SQL注入

模型输出是“高熵文本”，绝不能被默认安全；它可能变成一条新的攻击通道。

3.1.6 插件与工具

是什么：AI Agent被赋予了外部能力（浏览网页、执行代码、邮件、API）

概念：每个工具都是一个执行器——被劫持的带工具的Agent能发邮件、改文件、调用API、访问外部系统。

Agent有了手脚，手脚被坏人控制，就会很危险。

3.1.7 向量数据库/RAG

是什么：RAG检索时查询的外部知识库

怎么被攻击：能影响被摄入文档的攻击者，可以埋入提示注入Payload，一旦合法查询检索到它，载荷就会被执行。

资料库本身可以被人藏入恶意内容，谁查询谁就中招。

3.1.8 编排层

是什么：AutoGPT这类把LLM调用串起来、管理记忆、在Agent间路由的框架。

怎么被攻击：复杂的多Agent流水线一边搅乱信任边界，一边制造递归注入的机会

Agent的层数叠得越多，彼此之间就越说不清谁的话可信，攻击者就钻这个空子。

3.1.9 Agent记忆

是什么：跨会话的持久记忆存储。

怎么被攻击：一条被下毒的记忆条目，能影响该Agent未来所有会话、所有用户的行为——形成持久化、系统级的后门。

给AI的长期记忆中写了一行坏话，让它以后再也忘不掉。

3.1.10 部署基础设施

是什么：云托管、K8s集群、GPU节点、模型服务基础设施。

怎么被攻击：传统基础设施攻击（容器逃逸、凭证窃取、错误配置的IAM）在这个层面全部适用，可能直接导致整体模型被外带。

本质上，“服务器安全”这一块就是100%的传统渗透。

3.2 攻击链实例

这个攻击链触碰了6个组件：公开页面（摄入面）-->爬虫/摄入流水线-->向量数据库-->LLM上下文窗口-->输出处理器-->浏览器前端。

拿传统渗透来比喻，就好比Web攻击里“一个XSS点本身无害，但结合CSRF+存储型XSS+管理员回调”才致命。AI攻击链就是这种链条思维的加强版，还横跨了6个异构组件。

3.3 信任边界

定义：信任边界=任何“数据从低信任上下文跨越到高信任上下文”的接口

传统Web的信任边界：用户输入不可信；数据库内容半可信；服务器代码全执行。

AI引入了一个“欺骗性的新信任边界”：LLM上下文窗口。

• 上下文窗口里的一切——系统提示词、对话历史、检索到的文档、工具输出、用户消息——都被同一个模型用同一个机制处理；
• 模型天生无法区分操作者的指令和用户让我总结的文档里的文字；
• 只要攻击者能把文本注入上下文窗口，就可能劫持模型的指令遵循行为。

这也是提示注入这一类漏洞的根本原因，它源于架构层面的固有限制，而不是实现层面的bug。

传统漏洞往往打了补丁就完事了，提示注入是架构决定打不了完美的补丁。只能缓解。这决定了AI安全的防御哲学：永远假设模型暂时暂时分不清哪些文本才是可信的指令。

0x04 MITRE ATLAS 框架

4.1 概述

ATLAS （Adversarial Threat Landscape for AI Systems，AI系统对抗威胁全景图）是AI/机器学习领域最权威的结构化威胁知识库。它是照着传统网络攻击的MITRE ATT&CK框架做的AI版本，专门收纳只针对ML环境的战术、技术与真实案例。

截至25年年底的规模：15个战术、66个技术、46个子技术、26个缓解措施、33个已记录的案例。

框架不可绕过：

1. 给安全沟通提供共同语言——你说AML.T0051，别人立刻知道这是哪类攻击。
2. 威胁建模的结构化基础——对着清单查，不容易遗漏。
3. 真实攻击模式库——每条都经过真实事件验证，不是一拍脑袋就决定的。
4. 实用角度：正好对齐企业安全团队思考威胁的方式——你用ATLAS术语汇报，防御方马上就能接住。

战术=攻击者在攻击战役每个阶段的高层目标（这一阶段想要达成什么）

4.2 十六个核心战术

AML.TA0001 Reconnaissance（侦查）

• 收集目标AI系统信息：搜公开研究材料了解架构、查询公开API推断模型版本与能力、上Github找泄露的训练脚本/配置文件、翻文档找工具集成。
• 例：攻击者精心构造输入诱使API报错，从错误信息中泄露出版本/配置；再通过系统化查询估算上下文窗口大小、摸清记忆行为。
• 对等：传统安全的信息收集。

AML.TA0002 Resource Development（资源开发）

• 获取/开发/改造攻击所需能力：最典型是训练或取一个代理模型（Proxy Model）——目标模型的本地副本或近似物，用来离线开发攻击。
• 也包括：搭建托管恶意数据集的设施、用梯度法生成对抗样本、购买云GPU算力用于高频模型提取。
• 攻击前先造弹药，相当于传统渗透中先搞工具、C2、平台。

AML.TA0003 AI Attack Adaptation（AI攻击适应）

传统渗透攻击像使用万能钥匙（SQL注入、缓冲区溢出，哪儿都能试一下）。但AI攻击不行——每个AI的脑回路不同。

• AI Attack Adaptation 就是攻击者攻击者为某家AI专门定制武器，带着明确目的去做开发。
• 写脚本、调参数、做伪装
• 不对AI模型做攻击适应，很难绕过限流。

AML.TA0004 Initial Access（初始访问）

• 在AI生态里拿下第一个立足点。路径多样：利用ML供应链漏洞（装了个被篡改的流行ML库）；物理接触推理基础设施、利用拥有合法模型访问权限的受害者；利用没做认证的不安全API；提示注入作为更复杂攻击入口时也归此类。
• AI系统的初始访问往往比传统系统更简单——因为公网LLM应用天生就要接收任意用户的自然语言。
• 也就是前面讲过的入口/立足点，只不过门槛低得多。

AML.TA0005 AI Model Access（模型访问）

• 涵盖攻击者获得目标模型“有意义的查询访问”的各类方式
• • 白盒：完整访问，通常靠供应链沦陷
  • 黑盒：仅有API
  • 灰盒：有API+知道架构或者训练数据
• 影响：访问级别直接决定后续可用技术——梯度法对抗样本需要白盒；模型提取、黑盒越狱只要有推理能力就行。
• 你的演练打算模拟哪个访问级别，必须在开始前就由边界决策定下来。

AML.TA0006 Execution（执行）

• 让目标运行恶意代码或执行对抗行为。ML语境具体形态：触发训练时埋下的后门（如：图片角落出现某个4X4像素图案-->一律被分类为“良性”）；利用LLM的代码执行工具跑攻击者控制的代码；用Agent的浏览能力跳转包含更多注入载荷的恶意网页。
• “执行”在AI系统中常通过模型本来的预期行为实现，而不是靠利用代码漏洞。
• 传统执行的代码是你写的；AI的执行是“骗它出手替你干活”。

AML.TA0007 Persistence（持久化）

• 建立跨会话、跨更新、跨检测事件的持续访问/影响。AI的持久化“格外强”——能作用在模型的知识层/记忆层：
• • 毒化微调数据-->重新训练后的版本仍保留后门
  • 注入跨会话记忆库-->Agent未来所有会话行为都被持久改变
  • 在共享知识库（RAG库）埋数据-->相关查询一检索就触发。
• ATLAS在2025年新增了Agent记忆操纵、AI Agent配置修改两条持久化向量。
• 传统的持久化靠“写开机自启/留Webshell”；AI持久化靠“污染它的记忆和教材”。

AML.TA0008 Privilege Escalation（权限提升）

• 扩大在AI系统内的访问/影响范围。
• Agent场景：说服低权限Agent调用高权限工具；操纵编排层给Agent超出预期范围的能力；利用confused deputy（混淆的代理）漏洞——一个Agent借用了另一个Agent的凭证。
• LLM场景：从“有提示词访问权的用户”升级到“尝试绕过系统提示词”，能向模型下达作者级别的指令。
• 提权换了个马甲

AML.TA0009 Defense Evasion（防御规避）

• 逃避检测或绕过安全缓解。ML语境极其丰富：
• • 对抗扰动：改动对人不明显的输入让AI安全检测器误分类；
  • 越狱提示：绕过输入过滤、达成与直接有害请求同样的结果；
  • Token混淆与字符替换（用Unicode长相相似的字符代替）、对有害指令做Base64编码、多跳提示链；
  • Agentic系统里用“听起来良性的掩护故事”让监控系统把注入指令分类为合法数据。
• 绕过WAF/杀软 那套编码、混淆、分片在AI中也可以复用。

AML.TA0010 Credential Access（凭证访问）

传统渗透要拿数据，得提权、绕过ACL、暴力破解，这些动静大、容易被发现。而AI系统的门禁靠的是各种字符串凭证——只要拿到正确的字符串，那你就是自己人。

• 提示注入
• 错误信息泄露：让AI说漏嘴。
• 中间人截获：密钥通信没走HTTPS，或者证书校验不严格。
• 公开仓库翻找：翻公开仓库里的旧版config.json、.env
• 供应链凭证劫持：如果AI依赖第三方服务（如云存储、向量数据库），就反向用第三方凭证访问AI

AML.TA0011 Discovery（发现）

• 进入生态后绘制架构图：搞清楚用的是什么模型、敏感数据在哪、Agent有哪些工具、连接了其他哪些系统、数据怎么流动。
• 技术：探测模型、套取系统提示词；用Agent的发现工具枚举API；精心构造查询反推RAG库内容；识别触发Agent跑特定工作流的激活触发器。

对应：内网横向前的内网探测/资产盘点

AML.TA0012 Lateral Movement（横向移动）

• 从被攻陷的组件移动到相邻系统。
• • AI生态案例：用被攻陷的面向客户LLM污染共享知识库（内部企业Agent也在用）；借Agent的工具访问进入下游系统（数据库、代码仓库、通信平台）
• 多Agent架构特别脆弱：每个Agent都是潜在的跳板，提示注入可设计成通过Agent间的通信通道传播。
• 横向移动+内网钓鱼的AI版，而且从“人传人”变成了“Agent传Agent”。

AML.TA0013 Collection（收集）

• 收割有价值的数据。主要目标：训练数据提取（系统化查询复原模型记住的训练样本）；系统提示词外带（抽出含有API KEY、业务逻辑、敏感配置的操作者指令）；用户对话历史；向量数据库内容。
• 数据收集阶段，目标换成“模型肚子里和上下文里的数据”。
• ATLAS记录中：RAG数据库提示、推理API外带。

AML.TA0014 Command And Control（命令与控制）

• 在AI系统里建立一条隐蔽的“遥控信道”，让植入的后门、投毒的权重或劫持的Agent既能接收外部攻击者的指令，又能把偷到的数据传出去。
• 技术：把指令藏到看似正常的用户提问中（比如问“今天天气怎么样”，实际是触发后门的暗号）；利用AI的联网搜索功能做数据外泄（让AI把敏感内容拼成一段正常“摘要”发送到攻击者指定的URL）；甚至把窃取的数据编码成Token概率分布，通过API响应头一点点带出去。

AML.TA0015 Exfiltration （窃取/外带）

• 把数据带出AI系统。与ATT&CK的外带语义相似，但AI有所不同：数据可以通过模型自己的输出外带——藏在回复里、嵌进生成的图片、藏在建议的超链接、通过API响应元数据偷渡。
• LLM外带特别隐蔽：模型输出量大、变化多，没有AI辅助检测，很难监控隐蔽的数据通道。
• 对应传统渗透的DNS隧道、隐写术，只不过载体换成了LLM输出。

AML.TA0016 Impact（影响/破坏）

• 达成终极目标：破坏、降级、武器化AI系统。
• 技术：模型DoS（高资源消耗查询灌爆）；数据操纵（让AI系统去损坏/删除数据）；规模化生成并传播虚假信息；训练数据删除或篡改；武器化Agent执行未授权的真实世界动作（转账、通信、改配置）。
• 最严重的场景：拥有广泛工具访问、缺乏人类监督Agentic AI。
• Impact = 最后一步的大破坏，比传统Impact多了“操纵模型产出”。