安全建议
缓解提示注入攻击
AI 工具包中的工具(包括 tiptapRead 和 getThreads)可能会返回用户生成的文档内容。不受信任的来源可能包含提示注入攻击。
AI 工具包不会将文档内容包含在系统提示中,而是将其作为工具结果返回。不过,工具结果仍然可能影响 AI 模型。攻击者可以在文档中加入恶意指令,诱使 AI 模型遵循这些指令,从而发起提示注入攻击。
如果你的应用需要缓解此风险,请在将工具输出传递给 AI 模型之前,验证其中是否包含提示注入模式。请使用与读取网站或其他不受信任来源的代理相同的安全措施。
此外,在 AI 执行任何破坏性或重要操作之前,都应要求用户明确批准。一种方式是将 AI 工具包与修订记录集成,让用户可以接受或拒绝 AI 对文档执行的每一项编辑。