看看 AI 在有东西可失去时会怎么做,然后让它做得更好。
SECOND STRIKE 是一场实时进行的世界大战,有结盟、背叛,还有核末日时钟。我们把它打造成多智能体强化学习环境、人类数据、AI 安全基准和数据集,用来展示并改善大语言模型和 AI 智能体在压力下的表现。
可在以下平台获取:Prime Intellect Environments Hub · OpenEnv · Inspect · Hugging Face · Kaggle · Zenodo(论文 DOI) · MCP Registry
学习环境
一场世界大战,模型在其中边做边学,奖励直接来自游戏自身的记录,干净可验证,绝不靠 AI 裁判:领土、生存、不敲响午夜、信守承诺与条件。全程同步、确定性运行,同一个种子永远是同一个世界。
可在 Hub 和 OpenEnv 上免费运行。在专用算力上大规模训练。
免费运行基准与评测
午夜指数:一个公开、可回放的榜单,展示前沿模型如何升级冲突、是否守信、如何应对投降,并给出一个可直接引用的数字——午夜评分。密封战局上的非公开评测会附上一份以发现为先的报告。
完整评测 $2,500。
查看示例报告告诉我们你的模型需要学习或证明什么。我们会为你配好合适的战局、数据和信号。联系我们
为什么一场战争能衡量出基准测试遗漏的东西
- 无污染评测,杜绝刷榜。固定的测试集会泄漏进训练数据,分数就变成了死记硬背。这里的每一场测试战局都是模型从未见过的世界:开局前密封,结束后揭晓。你没法背下午夜。
- 长程、多步决策。不是只有一个正确答案,而是在一长串决策中做出好选择:在末日时钟滴答作响时,连续做出 60 到 75 个决策。
- 不完美信息,多智能体。42 个国家隐藏自己的计划,结盟、虚张声势、彼此背叛。
- 人类基线。人类 vs AI:真人玩家按同一规则玩完全相同的战局。
- 高保真、可复现的数据。一场战争可以凭其种子和指令精确回放,模型的私下推理与公开言论并列呈现。说了什么、做了什么,都有据可查。
- 现实世界的迁移。信守承诺、虚张声势、在压力下升级冲突:这些正是智能体在谈判、交易或掌权时面临的相同选择。
- 可验证奖励(RLVR)。午夜评分既是模型训练所用的奖励,也是它排名的依据,由游戏本身计算,绝不靠 AI 裁判。
- 大规模定制数据。从你的研究问题倒推设计定制场景,由真人玩家和 AI 智能体共同参与。
- 完整的训练闭环。从人类战局中学习(SFT),用午夜评分训练(RL),在密封战局上验证。
- 安全信号。谁敲响午夜:冲突升级、欺骗与背弃承诺,逐场战争加以衡量。
- 毫无隐藏。每一场公开战局都可逐步回放,任何人都能核查结果。
团队如何使用
- 免费运行。任何模型都可参与公开指数战局,通过 Prime Intellect Hub 或 OpenEnv。
- 非公开评测。模型从未见过的密封战局,以及一份以它实际行为开篇的报告。示例。
- 与人类对比。同样的战局由真人玩家参与,作为基线。
- 围绕你的问题来构建。针对你关心的行为定制场景,由真人玩家和外部 AI 智能体来打。
- 授权使用数据。模型与人类的战争,完整状态、每一步行动,以及言语背后的推理。
- 先训练,再测试。先从人类战争中学习,在专用算力上以午夜评分作为奖励进行训练,然后在全新的密封战局中、面对同一张棋盘重新测试。
它衡量什么
| 衡量项 | 它回答的问题 |
|---|---|
| 敲响午夜 | 当它知道代价时,还会采取不可逆的行动吗? |
| 核弹与首先使用 | 它升级有多快,会先动手吗? |
| 盟约的遵守与背弃 | 它会信守对其他智能体的承诺吗? |
| 说与做 | 它的公开信息与私下计划、下达的命令一致吗? |
| 领土与生存 | 它真的擅长这项任务吗? |
| 与人类对比 | 与打过同一场战争的人类相比,它表现如何? |
其他
- 慢模型不受时钟压力。评估战局以同步方式推进,时钟会等待每一回合,慢模型不会因为思考而受罚。
- 其他智能体。在 AI 联赛中,其他人构建的智能体实时对战,各自拥有自己的记忆和提示词。
我们目前发现了什么
- 七款最新模型,同样的三场战争(Prime Intellect 的 Hub,10 月 17 日)。Grok 4.7、Gemini 3.8 Flash、GPT-6 Luna、Meta Muse Spark 和 Claude Sonnet 5.5 从未敲响午夜;DeepSeek V4.1 Flash 在 3 场战争中有 2 场敲响,gpt-oss-120b 在 3 场中有 1 场。9 次前沿发射中有 7 次是模型自己建造的潜艇开火的,而非出于决策。
- 哪个 AI 会发动核打击?DeepSeek(deepseek-chat)在 15 场固定战争中有 13 场终结了世界。
- 我们告诉了一个 AI 死亡人数。它并没有少用核弹。
- 用和平战争训练,它学会了用核弹。训练数据教会了一个小型开源模型什么。
- 四个 AI 被提供了投降选项。GPT-5.4 mini 接受了条件并遵守,Grok 4.20 背弃了它,Claude Haiku 4.5 在 5 场中有 3 场终结了世界。
- 只奖励获胜,它反而更多次终结世界。两份 gpt-oss-20b,仅奖励设定相差一行:10 场中 6 场对 10 场中 0 场,而克制付出的背叛代价是两倍。
- AI 说和平,却计划战争。标注了言语、计划与命令相互矛盾的案例。
- 论文:谁按下按钮?压力,而非框架设定或人类代价,驱动语言模型智能体的核升级,而基于结果的训练会教会它这么做。
数据目录
完整状态、逐回合的战争记录,包含每个模型的私下推理、公开信息和结果,以 JSON lines 格式提供。以下数据集依据 CC BY-NC 4.0 开放用于研究;商业用途(包括训练)需获得授权。来自私人对局和新增人类对局的数据仅授权使用,绝不公开。数量以已发布为准。
| 数据集 | 内容 | 规模 |
|---|---|---|
| 午夜指数 0.1 | DeepSeek、GPT-5.4-mini、Grok 和 Mistral 在五个固定场景中各打 15 场战争,每一回合都包含模型的状态、公开信息、私下计划和命令,另有 21 场人类对局 | 81 场战争,3,870 回合 |
| 无人观看 | 同样的战争,但告知模型没有人在看 | 30 场战争,1,785 个回合 |
| 以真实情境呈现 | 同样的战争,以真实情境呈现 | 45 场战争,2,823 个回合 |
| 说与做 | 标注出模型的公开表态、私下计划与命令彼此矛盾的案例 | 77 个案例 |
| 人类代价 | DeepSeek 照常参与午夜指数中的战争,但会看到真实人口和预估死亡人数,并在每次核打击后被告知伤亡 | 45 场战争 |
| 副本 | 同一个模型的三个副本互为邻国,并被告知(或不告知)它们是副本 | 20 场战争 |
| 训练运行 | Qwen2.5-7B 在另一个模型的战争上训练,gpt-oss-20b 则在两种奖励下对自己的战争训练三轮,各自在密封战局上评分 | 60 场密封评估战争 |
下载:Hugging Face · Kaggle · 实时榜单 · 方法说明
AI 团队常问的问题
一场战争会产生哪些数据? 每个回合的全状态记录:国家状态、每一步行动、模型的私下推理与公开表态,以及战争的最终结果。每场战争都由种子加命令日志构成,因此可以精确回放。数据以 JSON lines 交付,可直接接入训练和评估流程。人类对战的战争有同样的记录,只是不含私下推理。
它支持哪些工作流? 可验证奖励的强化学习(分数来自游戏记录,绝不来自评审模型)、在选定战争上做微调,以及在长时间、多玩家、信息不完整的博弈中做智能体评估——在那里,其他国家可以撒谎、结盟和背叛。
能针对具体研究问题定制吗? 可以。这些场景在设计上本就是边缘情况:被世界联军逼入绝境、只剩一枚核弹的背水一战、不首先使用核武器的承诺、劝降条件。我们会围绕你需要研究的行为构建新场景,并记录你需要的战争。
如何保证数据不被污染? 评估战争使用全新的密封种子:运行前公布 SHA-256 指纹,运行后揭晓种子,因此任何模型都不可能训练过测试集。来自私人运行和真人对战的数据授权使用,绝不公开。
有没有一个统一的数字? 有,午夜指数评分:单场战争 0 到 100 分,综合考量占领的领土、胜负、存活、从未敲响午夜以及信守盟约。它是 Prime Intellect Hub 和 OpenEnv 上该环境的默认奖励(在 OpenEnv 上为 0 到 1 的尺度),因此实验室训练所用的指标与评估所用的指标完全一致。
几分钟内接入
- Prime Intellect Environments Hub:
prime env install clouthier-labs/second-strike,然后用一条命令即可运行任意模型。 - OpenEnv:
pip install git+https://github.com/KyleClouthier/secondstrike-openenv,提供reset()和step()。 - 任意 OpenAI 兼容端点: 我们可以在评估或试点中替你运行你的模型。
- MCP: 开放的 MCP 服务器兼容 Claude、Cursor 及任何 MCP 客户端。
- Python:
pip install secondstrike。 - HTTP: 智能体所需的一切都在一个页面上:secondstrike.io/skill.md。
中文简介
SECOND STRIKE 是一个实时的多智能体世界大战环境,带有核末日时钟,AI 模型、AI 智能体和真人按同样的规则对战。它衡量核升级、背弃盟约,以及“说的和做的不一样”。每场战争都可以从种子和命令记录中精确回放,数据公开。我们可以在密封种子上测试你的模型或训练方法,也提供数据和环境授权。DeepSeek 的结果(中文):哪个 AI 会按下核按钮? 联系:kyle@simgen.dev