资产:AI应用由什么组成

一个典型的AI应用通常包括:接收用户输入的接口、执行推理的模型本身、可能调用的外部工具和数据源、以及最终呈现给用户或触发的输出/操作。理解这些组成部分,是分析攻击面的第一步。

攻击面一:输入层

用户直接输入的内容可能包含试图操纵模型行为的指令,这是最容易被理解的攻击面,但也是相对容易通过基础规则初步过滤的一层。

攻击面二:外部内容层

如果AI应用会读取网页、文档、邮件等外部内容,这些内容就成为间接提示注入的载体,攻击面从"用户主动输入"扩展到"AI被动读取",详见Prompt Injection防御专题。

攻击面三:工具调用层

如果AI应用具备调用工具的能力,工具调用的参数构造过程就成为新的攻击面,可能被利用来触发非预期的操作或数据外发,详见Agent安全。

攻击面四:输出与数据流层

AI生成的内容和触发的数据流向,如果没有得到控制,可能成为敏感信息外泄的通道,详见AI Agent点开一个普通链接,为什么也可能涉及数据外泄?。

攻击面评估建议

企业评估AI应用安全时,建议按"输入—外部内容—工具调用—输出数据流"这四层逐一梳理,而不是只关注其中某一层,详见AI系统怎样做风险分层。