风险一:参数构造错误或被误导
Agent在调用工具时需要自主构造调用参数,如果Agent的判断被间接提示注入误导,构造出的参数可能偏离用户原本意图,导致工具被以非预期的方式调用。
风险二:工具组合放大影响
单个工具的风险可能有限,但多个工具组合使用时,风险会叠加。例如"读取文件"和"发送邮件"两个工具单独看都相对安全,组合起来就可能构成"读取敏感文件后自动外发"的风险链路。
风险三:执行结果缺少校验
如果系统对工具调用的执行结果缺少校验环节,一次异常调用可能不会被及时发现,进而影响后续基于该结果的判断和操作。
风险四:工具权限范围过宽
如果Agent被授予的工具访问范围超出当前任务实际需要(例如可以访问全部客户数据而非仅当前会话客户的数据),一旦出现误用,影响范围会被放大。
应对思路
降低工具调用风险的核心思路是:按任务最小化工具集合、对高风险工具组合设置额外确认、对工具调用的参数和结果进行校验和记录,详见为什么Agent需要最小权限和Agent日志为什么重要。