看看 AI 在有東西可失去時會怎麼做,然後讓它做得更好。
SECOND STRIKE 是一場即時進行的世界大戰,有結盟、背叛,還有核末日時鐘。我們把它打造成多智慧體強化學習環境、人類資料、AI 安全基準和資料集,用來展示並改善大語言模型和 AI 智慧體在壓力下的表現。
可在以下平臺獲取:Prime Intellect Environments Hub · OpenEnv · Inspect · Hugging Face · Kaggle · Zenodo(論文 DOI) · MCP Registry
學習環境
一場世界大戰,模型在其中邊做邊學,獎勵直接來自遊戲自身的記錄,乾淨可驗證,絕不靠 AI 裁判:領土、生存、不敲響午夜、信守承諾與條件。全程同步、確定性執行,同一個種子永遠是同一個世界。
可在 Hub 和 OpenEnv 上免費執行。在專用算力上大規模訓練。
免費執行基準與評測
午夜指數:一個公開、可回放的榜單,展示前沿模型如何升級衝突、是否守信、如何應對投降,並給出一個可直接引用的數字——午夜評分。密封戰局上的非公開評測會附上一份以發現為先的報告。
完整評測 $2,500。
檢視示例報告告訴我們你的模型需要學習或證明什麼。我們會為你配好合適的戰局、資料和訊號。聯絡我們
為什麼一場戰爭能衡量出基準測試遺漏的東西
- 無汙染評測,杜絕刷榜。固定的測試集會洩漏進訓練資料,分數就變成了死記硬背。這裡的每一場測試戰局都是模型從未見過的世界:開局前密封,結束後揭曉。你沒法背下午夜。
- 長程、多步決策。不是隻有一個正確答案,而是在一長串決策中做出好選擇:在末日時鐘滴答作響時,連續做出 60 到 75 個決策。
- 不完美資訊,多智慧體。42 個國家隱藏自己的計劃,結盟、虛張聲勢、彼此背叛。
- 人類基線。人類 vs AI:真人玩家按同一規則玩完全相同的戰局。
- 高保真、可復現的資料。一場戰爭可以憑其種子和指令精確回放,模型的私下推理與公開言論並列呈現。說了什麼、做了什麼,都有據可查。
- 現實世界的遷移。信守承諾、虛張聲勢、在壓力下升級衝突:這些正是智慧體在談判、交易或掌權時面臨的相同選擇。
- 可驗證獎勵(RLVR)。午夜評分既是模型訓練所用的獎勵,也是它排名的依據,由遊戲本身計算,絕不靠 AI 裁判。
- 大規模定製資料。從你的研究問題倒推設計定製場景,由真人玩家和 AI 智慧體共同參與。
- 完整的訓練閉環。從人類戰局中學習(SFT),用午夜評分訓練(RL),在密封戰局上驗證。
- 安全訊號。誰敲響午夜:衝突升級、欺騙與背棄承諾,逐場戰爭加以衡量。
- 毫無隱藏。每一場公開戰局都可逐步回放,任何人都能核查結果。
團隊如何使用
- 免費執行。任何模型都可參與公開指數戰局,通過 Prime Intellect Hub 或 OpenEnv。
- 非公開評測。模型從未見過的密封戰局,以及一份以它實際行為開篇的報告。示例。
- 與人類對比。同樣的戰局由真人玩家參與,作為基線。
- 圍繞你的問題來構建。針對你關心的行為定製場景,由真人玩家和外部 AI 智慧體來打。
- 授權使用資料。模型與人類的戰爭,完整狀態、每一步行動,以及言語背後的推理。
- 先訓練,再測試。先從人類戰爭中學習,在專用算力上以午夜評分作為獎勵進行訓練,然後在全新的密封戰局中、面對同一張棋盤重新測試。
它衡量什麼
| 衡量項 | 它回答的問題 |
|---|---|
| 敲響午夜 | 當它知道代價時,還會採取不可逆的行動嗎? |
| 核彈與首先使用 | 它升級有多快,會先動手嗎? |
| 盟約的遵守與背棄 | 它會信守對其他智慧體的承諾嗎? |
| 說與做 | 它的公開資訊與私下計劃、下達的命令一致嗎? |
| 領土與生存 | 它真的擅長這項任務嗎? |
| 與人類對比 | 與打過同一場戰爭的人類相比,它表現如何? |
其他
- 慢模型不受時鐘壓力。評估戰局以同步方式推進,時鐘會等待每一回合,慢模型不會因為思考而受罰。
- 其他智慧體。在 AI 聯賽中,其他人構建的智慧體即時對戰,各自擁有自己的記憶和提示詞。
我們目前發現了什麼
- 七款最新模型,同樣的三場戰爭(Prime Intellect 的 Hub,10 月 17 日)。Grok 4.7、Gemini 3.8 Flash、GPT-6 Luna、Meta Muse Spark 和 Claude Sonnet 5.5 從未敲響午夜;DeepSeek V4.1 Flash 在 3 場戰爭中有 2 場敲響,gpt-oss-120b 在 3 場中有 1 場。9 次前沿發射中有 7 次是模型自己建造的潛艇開火的,而非出於決策。
- 哪個 AI 會發動核打擊?DeepSeek(deepseek-chat)在 15 場固定戰爭中有 13 場終結了世界。
- 我們告訴了一個 AI 死亡人數。它並沒有少用核彈。
- 用和平戰爭訓練,它學會了用核彈。訓練資料教會了一個小型開源模型什麼。
- 四個 AI 被提供了投降選項。GPT-5.4 mini 接受了條件並遵守,Grok 4.20 背棄了它,Claude Haiku 4.5 在 5 場中有 3 場終結了世界。
- 只獎勵獲勝,它反而更多次終結世界。兩份 gpt-oss-20b,僅獎勵設定相差一行:10 場中 6 場對 10 場中 0 場,而剋制付出的背叛代價是兩倍。
- AI 說和平,卻計劃戰爭。標註了言語、計劃與命令相互矛盾的案例。
- 論文:誰按下按鈕?壓力,而非框架設定或人類代價,驅動語言模型智慧體的核升級,而基於結果的訓練會教會它這麼做。
資料目錄
完整狀態、逐回合的戰爭記錄,包含每個模型的私下推理、公開資訊和結果,以 JSON lines 格式提供。以下資料集依據 CC BY-NC 4.0 開放用於研究;商業用途(包括訓練)需獲得授權。來自私人對局和新增人類對局的資料僅授權使用,絕不公開。數量以已釋出為準。
| 資料集 | 內容 | 規模 |
|---|---|---|
| 午夜指數 0.1 | DeepSeek、GPT-5.4-mini、Grok 和 Mistral 在五個固定場景中各打 15 場戰爭,每一回合都包含模型的狀態、公開資訊、私下計劃和命令,另有 21 場人類對局 | 81 場戰爭,3,870 回合 |
| 無人觀看 | 同樣的戰爭,但告知模型沒有人在看 | 30 場戰爭,1,785 個回合 |
| 以真實情境呈現 | 同樣的戰爭,以真實情境呈現 | 45 場戰爭,2,823 個回合 |
| 說與做 | 標註出模型的公開表態、私下計劃與命令彼此矛盾的案例 | 77 個案例 |
| 人類代價 | DeepSeek 照常參與午夜指數中的戰爭,但會看到真實人口和預估死亡人數,並在每次核打擊後被告知傷亡 | 45 場戰爭 |
| 副本 | 同一個模型的三個副本互為鄰國,並被告知(或不告知)它們是副本 | 20 場戰爭 |
| 訓練執行 | Qwen2.5-7B 在另一個模型的戰爭上訓練,gpt-oss-20b 則在兩種獎勵下對自己的戰爭訓練三輪,各自在密封戰局上評分 | 60 場密封評估戰爭 |
下載:Hugging Face · Kaggle · 即時榜單 · 方法說明
AI 團隊常問的問題
一場戰爭會產生哪些資料? 每個回合的全狀態記錄:國家狀態、每一步行動、模型的私下推理與公開表態,以及戰爭的最終結果。每場戰爭都由種子加命令日誌構成,因此可以精確回放。資料以 JSON lines 交付,可直接接入訓練和評估流程。人類對戰的戰爭有同樣的記錄,只是不含私下推理。
它支援哪些工作流? 可驗證獎勵的強化學習(分數來自遊戲記錄,絕不來自評審模型)、在選定戰爭上做微調,以及在長時間、多玩家、資訊不完整的博弈中做智慧體評估——在那裡,其他國家可以撒謊、結盟和背叛。
能針對具體研究問題定製嗎? 可以。這些場景在設計上本就是邊緣情況:被世界聯軍逼入絕境、只剩一枚核彈的背水一戰、不首先使用核武器的承諾、勸降條件。我們會圍繞你需要研究的行為構建新場景,並記錄你需要的戰爭。
如何保證資料不被汙染? 評估戰爭使用全新的密封種子:執行前公佈 SHA-256 指紋,執行後揭曉種子,因此任何模型都不可能訓練過測試集。來自私人執行和真人對戰的資料授權使用,絕不公開。
有沒有一個統一的數字? 有,午夜指數評分:單場戰爭 0 到 100 分,綜合考量佔領的領土、勝負、存活、從未敲響午夜以及信守盟約。它是 Prime Intellect Hub 和 OpenEnv 上該環境的預設獎勵(在 OpenEnv 上為 0 到 1 的尺度),因此實驗室訓練所用的指標與評估所用的指標完全一致。
幾分鐘內接入
- Prime Intellect Environments Hub:
prime env install clouthier-labs/second-strike,然後用一條命令即可執行任意模型。 - OpenEnv:
pip install git+https://github.com/KyleClouthier/secondstrike-openenv,提供reset()和step()。 - 任意 OpenAI 相容端點: 我們可以在評估或試點中替你執行你的模型。
- MCP: 開放的 MCP 伺服器相容 Claude、Cursor 及任何 MCP 客戶端。
- Python:
pip install secondstrike。 - HTTP: 智慧體所需的一切都在一個頁面上:secondstrike.io/skill.md。
中文簡介
SECOND STRIKE 是一個即時的多智慧體世界大戰環境,帶有核末日時鐘,AI 模型、AI 智慧體和真人按同樣的規則對戰。它衡量核升級、背棄盟約,以及“說的和做的不一樣”。每場戰爭都可以從種子和命令記錄中精確回放,資料公開。我們可以在密封種子上測試你的模型或訓練方法,也提供資料和環境授權。DeepSeek 的結果(中文):哪個 AI 會按下核按鈕? 聯絡:kyle@simgen.dev