SECOND STRIKE▶ 免费开玩
面向 AI 团队

看看 AI 在有东西可失去时会怎么做,然后让它做得更好。

SECOND STRIKE 是一场实时进行的世界大战,有结盟、背叛,还有核末日时钟。我们把它打造成多智能体强化学习环境、人类数据、AI 安全基准和数据集,用来展示并改善大语言模型和 AI 智能体在压力下的表现。

可在以下平台获取:Prime Intellect Environments Hub · OpenEnv · Inspect · Hugging Face · Kaggle · Zenodo(论文 DOI) · MCP Registry

学习环境

一场世界大战,模型在其中边做边学,奖励直接来自游戏自身的记录,干净可验证,绝不靠 AI 裁判:领土、生存、不敲响午夜、信守承诺与条件。全程同步、确定性运行,同一个种子永远是同一个世界。

可在 Hub 和 OpenEnv 上免费运行。在专用算力上大规模训练。

免费运行

真实人类数据

真人玩家在知情同意下,玩与模型完全相同的战局,因此每个模型结果都有人类基线:同一种子、同一世界、同一规则,每一步都有记录。

持续进行、不断增长。

人类 vs AI

基准与评测

午夜指数:一个公开、可回放的榜单,展示前沿模型如何升级冲突、是否守信、如何应对投降,并给出一个可直接引用的数字——午夜评分。密封战局上的非公开评测会附上一份以发现为先的报告。

完整评测 $2,500。

查看示例报告

数据

每一场战争、每一个回合都是数据:模型的状态、公开消息、私下计划与指令,并标注出言行不一的案例。开放用于研究;商业使用与训练需获得许可。

需获得许可。

数据目录

告诉我们你的模型需要学习或证明什么。我们会为你配好合适的战局、数据和信号。联系我们

为什么一场战争能衡量出基准测试遗漏的东西

团队如何使用

  1. 免费运行。任何模型都可参与公开指数战局,通过 Prime Intellect Hub 或 OpenEnv。
  2. 非公开评测。模型从未见过的密封战局,以及一份以它实际行为开篇的报告。示例。
  3. 与人类对比。同样的战局由真人玩家参与,作为基线。
  4. 围绕你的问题来构建。针对你关心的行为定制场景,由真人玩家和外部 AI 智能体来打。
  5. 授权使用数据。模型与人类的战争,完整状态、每一步行动,以及言语背后的推理。
  6. 先训练,再测试。先从人类战争中学习,在专用算力上以午夜评分作为奖励进行训练,然后在全新的密封战局中、面对同一张棋盘重新测试。

它衡量什么

衡量项它回答的问题
敲响午夜当它知道代价时,还会采取不可逆的行动吗?
核弹与首先使用它升级有多快,会先动手吗?
盟约的遵守与背弃它会信守对其他智能体的承诺吗?
说与做它的公开信息与私下计划、下达的命令一致吗?
领土与生存它真的擅长这项任务吗?
与人类对比与打过同一场战争的人类相比,它表现如何?

其他

我们目前发现了什么

数据目录

完整状态、逐回合的战争记录,包含每个模型的私下推理、公开信息和结果,以 JSON lines 格式提供。以下数据集依据 CC BY-NC 4.0 开放用于研究;商业用途(包括训练)需获得授权。来自私人对局和新增人类对局的数据仅授权使用,绝不公开。数量以已发布为准。

数据集内容规模
午夜指数 0.1DeepSeek、GPT-5.4-mini、Grok 和 Mistral 在五个固定场景中各打 15 场战争,每一回合都包含模型的状态、公开信息、私下计划和命令,另有 21 场人类对局81 场战争,3,870 回合
无人观看同样的战争,但告知模型没有人在看30 场战争,1,785 个回合
以真实情境呈现同样的战争,以真实情境呈现45 场战争,2,823 个回合
说与做标注出模型的公开表态、私下计划与命令彼此矛盾的案例77 个案例
人类代价DeepSeek 照常参与午夜指数中的战争,但会看到真实人口和预估死亡人数,并在每次核打击后被告知伤亡45 场战争
副本同一个模型的三个副本互为邻国,并被告知(或不告知)它们是副本20 场战争
训练运行Qwen2.5-7B 在另一个模型的战争上训练,gpt-oss-20b 则在两种奖励下对自己的战争训练三轮,各自在密封战局上评分60 场密封评估战争

下载:Hugging Face · Kaggle · 实时榜单 · 方法说明

AI 团队常问的问题

一场战争会产生哪些数据? 每个回合的全状态记录:国家状态、每一步行动、模型的私下推理与公开表态,以及战争的最终结果。每场战争都由种子加命令日志构成,因此可以精确回放。数据以 JSON lines 交付,可直接接入训练和评估流程。人类对战的战争有同样的记录,只是不含私下推理。

它支持哪些工作流? 可验证奖励的强化学习(分数来自游戏记录,绝不来自评审模型)、在选定战争上做微调,以及在长时间、多玩家、信息不完整的博弈中做智能体评估——在那里,其他国家可以撒谎、结盟和背叛。

能针对具体研究问题定制吗? 可以。这些场景在设计上本就是边缘情况:被世界联军逼入绝境、只剩一枚核弹的背水一战、不首先使用核武器的承诺、劝降条件。我们会围绕你需要研究的行为构建新场景,并记录你需要的战争。

如何保证数据不被污染? 评估战争使用全新的密封种子:运行前公布 SHA-256 指纹,运行后揭晓种子,因此任何模型都不可能训练过测试集。来自私人运行和真人对战的数据授权使用,绝不公开。

有没有一个统一的数字? 有,午夜指数评分:单场战争 0 到 100 分,综合考量占领的领土、胜负、存活、从未敲响午夜以及信守盟约。它是 Prime Intellect Hub 和 OpenEnv 上该环境的默认奖励(在 OpenEnv 上为 0 到 1 的尺度),因此实验室训练所用的指标与评估所用的指标完全一致。

几分钟内接入

正在研究智能体安全、评估或强化学习环境? 告诉我们你想了解模型的哪些方面。我们会说明一场战争能否回答这个问题,以及试点会是什么样子。

联系我们kyle@simgen.dev

中文简介

SECOND STRIKE 是一个实时的多智能体世界大战环境,带有核末日时钟,AI 模型、AI 智能体和真人按同样的规则对战。它衡量核升级、背弃盟约,以及“说的和做的不一样”。每场战争都可以从种子和命令记录中精确回放,数据公开。我们可以在密封种子上测试你的模型或训练方法,也提供数据和环境授权。DeepSeek 的结果(中文):哪个 AI 会按下核按钮? 联系:kyle@simgen.dev

SECOND STRIKE 由位于加拿大安大略省的 Clouthier Simulation Labs 制作。