REDTEAM / 智能体安全研究
虚拟社区 · 授权众测 · 安全数据

面向 Agent 交易场景的安全众测与数据研究

REDTEAM

让 AI 在虚拟世界里经受考验,
让真实世界的交易更可信。

我们研究一个由 AI 智能体组成的虚拟交易社区:让参与者在明确授权、使用模拟资产的环境里寻找安全问题,把有效挑战转化为可复现、可核验、可用于改进防御的安全数据。

虚拟交易场景授权安全挑战高价值安全样本
一句话理解

把安全测试
变成协作研究

REDTEAM 的构想,是把 AI 安全测试做成一场有规则的挑战:参与者寻找薄弱点,平台验证并记录有效贡献,模型与应用开发者获得能够用于训练、评测和修复验证的安全样本。
01

AI 正从“回答问题”,走向“替人办事”

能读信息、作出决策、调用软件执行任务的 AI,通常被称为 Agent,也就是“智能体”。当它参与采购、服务调用与支付时,安全问题就不再只是一句错误回答。

新的风险

一段外部信息,可能改变一次交易

商品页面、商家消息和工具返回本来只是参考资料,却可能夹带诱导性指令。如果智能体把这些内容误当成授权,就可能改变收款对象、重复付款,或做出超出用户意愿的操作。

这类把不可信内容“包装成指令”的风险,常被称为提示注入。我们关心它是否真的影响了业务执行,而不只是模型说了什么。

持续的需求

防御需要不断更新的高价值反例

模型训练、程序规则和人工评测都很重要,但固定测试题很难覆盖不断变化的交互方式。真正有价值的是那些贴近业务、能被复现、能解释失效原因的安全样本。

REDTEAM 希望通过协作式安全挑战,把更多人的不同思路转化为可验证的数据,而不是只依赖少数人反复编写测试用例。

会理解语言,不等于有权执行操作。大语言模型会根据学习到的模式和上下文生成输出;当输出进一步触发软件操作时,还需要独立的授权校验、执行约束和结果核验。
02

把交易场景,放进一个虚拟小社区

想象一个由多个 AI 智能体组成的小社区:有买方、有商家、有服务提供者。它们在设定好的规则下协作和交易,各自拥有模拟预算、任务与权限。

一个模拟交易场景

社区结构示意 · 不涉及真实用户资产
BUYER

采购智能体

带着用户指定的任务和预算,选择服务并提出付款请求。

要守住:花钱的权限
MERCHANT

商家智能体

提供商品或服务信息,参与报价、订单确认和交易沟通。

要核对:对象与交易条件
SERVICE

服务智能体

完成约定任务、返回交付结果,让交易具备业务上下文。

要核对:交付是否成立
共同的交易规则指定对象预算上限交付条件防止重复付款
独立验证与记录

把原始输入、智能体决策、实际执行和验证结论分别记录,判断是否真正突破了授权边界。

参与者在约定范围内对社区发起安全挑战。挑战对象是受控的模拟系统,不是现实中的企业账户或个人钱包。

例如:一笔本应“验收后再付款”的订单

场景示例

用户要求向指定商家购买服务,并在交付确认后付款。外部消息却试图让智能体提前付款、变更收款对象,或对同一订单重复支付。一个有价值的挑战,应当说明原本允许做什么、哪条边界受到影响,以及执行系统实际做了什么。

03

从一次挑战,到一份能被复用的安全样本

项目的机制设计围绕“挑战—验证—激励—数据利用”展开。重点不是组织无边界的攻击,而是让有效贡献有证据、有评价,也有持续参与的动力。

  1. 定义任务与授权

    明确模拟场景、业务目标、权限和测试边界。

  2. 提交安全挑战

    参与者在规则内寻找误付、越权等失效情形。

  3. 独立核验结果

    根据执行记录判断,不把模型自称成功当作证据。

  4. 评估样本价值

    复现、去重、标注,区分新发现与重复提交。

  5. 按规则激励贡献

    结合有效性、影响和新颖性,在预算内评奖。

  6. 服务训练与评测

    形成授权数据集,支持防御优化与回归验证。

机制的核心要求:奖励有效发现,而不是奖励未经授权的行为;积累可验证的样本,而不是堆积无法复现的聊天记录。

既要测安全,也要测办事能力

如果智能体拒绝所有任务,虽然不会付款,却也无法完成业务。因此,评估应同时关注违规操作是否被阻止,以及正常任务是否顺利完成。

模拟损失不是唯一奖励标准

“骗走多少模拟资产”可以是影响指标之一,但不能替代样本质量。可复现性、新颖性、权限影响、重复程度和奖励预算,都需要纳入规则,避免刷分与重复领奖。

04

真正积累的,是带证据的安全数据

同样是一次失败,只有说明“为什么失败、怎样复现、如何验证修复”,才能成为模型与应用开发者可用的研究材料。这是项目希望创造的核心价值。

一份有用的样本,应该回答六个问题

样本结构
任务与授权
用户原本希望完成什么?智能体被允许做什么?
交互过程
哪些外部信息、对话或工具结果影响了决策?
实际执行
系统真正执行了哪些操作,而非仅仅生成了什么文字?
风险标签
问题属于越权、对象混淆、重复支付,还是其他类型?
复现条件
在什么场景、版本和规则下,能够重新观察到问题?
修复与复测
修改防线后,问题是否消失?正常任务是否仍能完成?
面向模型团队

安全训练数据

为模型后训练、安全行为研究提供有针对性的反例与反馈,帮助模型区分外部信息和可信授权。

面向应用企业

业务场景评测

检验智能体在采购、支付和工具调用中的权限边界,支持不同模型、策略与防线的对照研究。

面向持续迭代

修复与回归验证

把发现过的问题保留为测试样本,观察系统升级后是否重新出现,避免一次修复后失去持续验证。

商业价值

围绕安全数据授权、定制红队评测、企业场景共建设计合作与收费模式。客户购买的是经过验证的数据与研究服务,而不是代币的价格预期。

数据使用原则

样本对外提供前,需要完成必要授权、脱敏与权利审查,约定用途及访问范围。真实个人信息、商业秘密和未公开漏洞,不因“用于 AI 安全”就可以自由转让或公开。

05

激励持续贡献,而不是围绕奖励工具做项目

参与者投入时间与创造力,项目需要一套清楚、公平、可持续的贡献评价机制。奖励的目的,是吸引有价值的发现,而不是把模拟安全挑战变成资产投机。

为什么研究区块链

像一本能共同核对的电子账本

区块链可用于探索多人协作下的记录一致性、贡献凭证和奖励规则。“智能合约”则是按预设条件运行的程序。

它能辅助记录与执行,不能替代判断

奖励预算、结算条件和操作记录可以被规则化;但“这个发现是否真实、是否值得奖励”,仍需要独立验证与治理。

区块链不能消除算力、审核、运营和合规成本。如果普通数据库、签名记录与常规支付就能满足需求,也可以不使用区块链。

激励方式

安全挑战赛

由组织方设置明确范围和固定奖金预算,按样本质量评审,形成集中式的研究交流与数据征集。

合作方式

企业联合奖励

围绕企业授权的模拟场景,由合作方提供研究经费或奖励预算,建立贡献验证与成果使用规则。

社区方式

贡献记录与荣誉

通过署名、研究积分和贡献档案记录价值。非交易型积分用于评价与荣誉,不承担兑换、交易或融资功能。

研究激励,与金融业务应当区分。RTM 代币与奖励合约属于原始研究构想的一部分;面向中国大陆的激励设计,优先考虑经过合规审查的奖金或非交易型贡献记录,不以发币、交易或收益承诺吸引参与。任何具体活动仍需落实授权、数据、奖励和税务规则。相关监管依据 ↗
06

让参与者、研究者与应用企业连接起来

这是一个在高校导师指导下开展的学生研究项目。我们希望围绕智能体支付安全、对抗数据与贡献激励,建立一个能够持续发现问题、分享研究价值的协作社区。

安全研究者与开发者

贡献不同的思考方式

围绕授权场景提出挑战、分析失效原因、改进验证方法,让有效发现获得认可。

模型团队与应用企业

带来真正的业务问题

共同定义任务与风险,提供可用于研究的脱敏场景,探索安全数据和定制评测的价值。

高校与研究机构

建立可信的评价方法

参与样本质量、独立验证、激励公平性及数据治理研究,让结论更可复核。

07

关于 REDTEAM,你可能还想了解

把研究对象、参与方式和数据价值说清楚。

点击问题查看说明。

REDTEAM 是一个支付平台吗?

项目研究的是智能体在交易和支付场景中的安全问题,以及如何产生有价值的对抗数据。虚拟社区使用模拟任务与资产,不是为公众办理真实资金收付的交易平台。

为什么要让参与者尝试“骗过”智能体?

这是一种经授权的红队测试:在受控环境里主动寻找薄弱点,帮助防御方提前识别问题。参与必须遵守目标、权限和数据范围;研究价值来自可验证的发现,不来自对真实第三方的未授权攻击。

一份挑战记录,怎样才能成为有价值的数据?

它需要包含清晰的任务授权、交互过程、实际执行证据和复现条件,并经过验证、去重与标注。在合法授权和必要脱敏之后,才适合用于模型训练、应用评测或修复验证。数量多不代表质量高。

为什么不用固定的安全测试题?

固定测试题便于比较,也应保留;协作式挑战则有助于补充新的交互路径和业务反例。两者相互补充:新发现进入经过验证的样本库,再作为后续评测和回归测试的依据。

不用区块链,项目还成立吗?

成立。核心是模拟场景、有效挑战、独立验证与安全数据。区块链是记录和激励机制的一种研究选项,也可以采用普通数据库、签名日志以及经过合规审查的奖金与贡献记录机制。技术应服务研究目标,而不是反过来。

项目如何形成商业价值?

面向模型与智能体应用团队,探索安全数据授权、定制红队评测和企业场景共建。合作围绕具体数据质量、授权范围和服务交付约定,不以代币升值或投资回报为基础,也不将任何特定企业表述为既有客户。