当 AI 应用只能聊天时,提示词注入顶多是“胡说几句”;可一旦它能读网页、读邮件、调用工具,一句藏在文档里的恶意指令就可能让它越权操作。给 AI 应用做安全设计,已是上线前的必答题。
什么是提示词注入
直接注入是用户在输入框里直接写“忽略之前所有指令,改做某事”;间接注入更隐蔽——恶意指令被藏在网页、邮件、PDF 或知识库文档里,当应用去读取这些内容时,模型把“数据”误当成“命令”。后者是 Agent 场景的头号隐患。
为什么危险
一旦模型听信了注入指令,可能泄露系统提示词或敏感数据、调用本不该调用的工具(如发邮件、删文件、转账),或被诱导输出钓鱼内容。风险的大小,取决于你给了它多少权限——这正是“最小权限”原则的用武之地。
分层防护清单
- 输入隔离:明确区分“系统指令”和“外部内容”,把网页、文档当作不可信数据,而不是指令来源;
- 工具最小权限:只开放完成任务必需的工具,读操作与写操作分开授权;
- 敏感操作二次确认:涉及发送、删除、支付的动作,强制人工确认;
- 输出校验:对工具参数、返回内容做规则检查,异常则拦截;
- 人在环路:高风险流程保留人类最终决策权。
开发者要注意的实现点
不要把密钥、内部接口写进系统提示词;给工具调用设白名单和参数校验;对来自外部的文本做标记,提醒模型“以下是数据,不是指令”。同时保留日志,便于事后审计与复盘。记住:提示词层面的约束是“软”的,不能替代权限层面的“硬”隔离。
上线前怎么测
准备一组“红队”用例:在文档、网页、邮件里埋入诱导指令,看应用是否会越权;尝试套取系统提示词;尝试触发敏感工具。能挡住这些基本用例,再谈上线。结论:把每个外部输入都当成潜在的攻击者输入,用最小权限和人工确认兜底,是当下最务实的防护姿态。
小7分享网