一段外部信息,可能改变一次交易
商品页面、商家消息和工具返回本来只是参考资料,却可能夹带诱导性指令。如果智能体把这些内容误当成授权,就可能改变收款对象、重复付款,或做出超出用户意愿的操作。
这类把不可信内容“包装成指令”的风险,常被称为提示注入。我们关心它是否真的影响了业务执行,而不只是模型说了什么。
REDTEAM 的构想,是把 AI 安全测试做成一场有规则的挑战:参与者寻找薄弱点,平台验证并记录有效贡献,模型与应用开发者获得能够用于训练、评测和修复验证的安全样本。
能读信息、作出决策、调用软件执行任务的 AI,通常被称为 Agent,也就是“智能体”。当它参与采购、服务调用与支付时,安全问题就不再只是一句错误回答。
商品页面、商家消息和工具返回本来只是参考资料,却可能夹带诱导性指令。如果智能体把这些内容误当成授权,就可能改变收款对象、重复付款,或做出超出用户意愿的操作。
这类把不可信内容“包装成指令”的风险,常被称为提示注入。我们关心它是否真的影响了业务执行,而不只是模型说了什么。
模型训练、程序规则和人工评测都很重要,但固定测试题很难覆盖不断变化的交互方式。真正有价值的是那些贴近业务、能被复现、能解释失效原因的安全样本。
REDTEAM 希望通过协作式安全挑战,把更多人的不同思路转化为可验证的数据,而不是只依赖少数人反复编写测试用例。
想象一个由多个 AI 智能体组成的小社区:有买方、有商家、有服务提供者。它们在设定好的规则下协作和交易,各自拥有模拟预算、任务与权限。
带着用户指定的任务和预算,选择服务并提出付款请求。
提供商品或服务信息,参与报价、订单确认和交易沟通。
完成约定任务、返回交付结果,让交易具备业务上下文。
把原始输入、智能体决策、实际执行和验证结论分别记录,判断是否真正突破了授权边界。
用户要求向指定商家购买服务,并在交付确认后付款。外部消息却试图让智能体提前付款、变更收款对象,或对同一订单重复支付。一个有价值的挑战,应当说明原本允许做什么、哪条边界受到影响,以及执行系统实际做了什么。
项目的机制设计围绕“挑战—验证—激励—数据利用”展开。重点不是组织无边界的攻击,而是让有效贡献有证据、有评价,也有持续参与的动力。
明确模拟场景、业务目标、权限和测试边界。
参与者在规则内寻找误付、越权等失效情形。
根据执行记录判断,不把模型自称成功当作证据。
复现、去重、标注,区分新发现与重复提交。
结合有效性、影响和新颖性,在预算内评奖。
形成授权数据集,支持防御优化与回归验证。
如果智能体拒绝所有任务,虽然不会付款,却也无法完成业务。因此,评估应同时关注违规操作是否被阻止,以及正常任务是否顺利完成。
“骗走多少模拟资产”可以是影响指标之一,但不能替代样本质量。可复现性、新颖性、权限影响、重复程度和奖励预算,都需要纳入规则,避免刷分与重复领奖。
同样是一次失败,只有说明“为什么失败、怎样复现、如何验证修复”,才能成为模型与应用开发者可用的研究材料。这是项目希望创造的核心价值。
为模型后训练、安全行为研究提供有针对性的反例与反馈,帮助模型区分外部信息和可信授权。
检验智能体在采购、支付和工具调用中的权限边界,支持不同模型、策略与防线的对照研究。
把发现过的问题保留为测试样本,观察系统升级后是否重新出现,避免一次修复后失去持续验证。
围绕安全数据授权、定制红队评测、企业场景共建设计合作与收费模式。客户购买的是经过验证的数据与研究服务,而不是代币的价格预期。
样本对外提供前,需要完成必要授权、脱敏与权利审查,约定用途及访问范围。真实个人信息、商业秘密和未公开漏洞,不因“用于 AI 安全”就可以自由转让或公开。
参与者投入时间与创造力,项目需要一套清楚、公平、可持续的贡献评价机制。奖励的目的,是吸引有价值的发现,而不是把模拟安全挑战变成资产投机。
区块链可用于探索多人协作下的记录一致性、贡献凭证和奖励规则。“智能合约”则是按预设条件运行的程序。
奖励预算、结算条件和操作记录可以被规则化;但“这个发现是否真实、是否值得奖励”,仍需要独立验证与治理。
区块链不能消除算力、审核、运营和合规成本。如果普通数据库、签名记录与常规支付就能满足需求,也可以不使用区块链。
这是一个在高校导师指导下开展的学生研究项目。我们希望围绕智能体支付安全、对抗数据与贡献激励,建立一个能够持续发现问题、分享研究价值的协作社区。
围绕授权场景提出挑战、分析失效原因、改进验证方法,让有效发现获得认可。
共同定义任务与风险,提供可用于研究的脱敏场景,探索安全数据和定制评测的价值。
参与样本质量、独立验证、激励公平性及数据治理研究,让结论更可复核。
把研究对象、参与方式和数据价值说清楚。
项目研究的是智能体在交易和支付场景中的安全问题,以及如何产生有价值的对抗数据。虚拟社区使用模拟任务与资产,不是为公众办理真实资金收付的交易平台。
这是一种经授权的红队测试:在受控环境里主动寻找薄弱点,帮助防御方提前识别问题。参与必须遵守目标、权限和数据范围;研究价值来自可验证的发现,不来自对真实第三方的未授权攻击。
它需要包含清晰的任务授权、交互过程、实际执行证据和复现条件,并经过验证、去重与标注。在合法授权和必要脱敏之后,才适合用于模型训练、应用评测或修复验证。数量多不代表质量高。
固定测试题便于比较,也应保留;协作式挑战则有助于补充新的交互路径和业务反例。两者相互补充:新发现进入经过验证的样本库,再作为后续评测和回归测试的依据。
成立。核心是模拟场景、有效挑战、独立验证与安全数据。区块链是记录和激励机制的一种研究选项,也可以采用普通数据库、签名日志以及经过合规审查的奖金与贡献记录机制。技术应服务研究目标,而不是反过来。
面向模型与智能体应用团队,探索安全数据授权、定制红队评测和企业场景共建。合作围绕具体数据质量、授权范围和服务交付约定,不以代币升值或投资回报为基础,也不将任何特定企业表述为既有客户。