研究 · 訓練

我們只用和平戰爭訓練了一個 AI。它還是學會了發射核彈。

我們只用在無人終結世界的戰爭上微調了一個小型開源模型。在 10 場它從未見過的戰局中，它有 4 場終結了世界。未經訓練的模型一次都沒有。隨後我們查明瞭原因，並解決了問題。

Kyle Clouthier · 2026 年 10 月 16 日 · Qwen2.5-7B，每個模型 10 場密封戰局

實驗一：只保留好結果

我們取來 DeepSeek 的戰局，只保留其中 40 場它從未敲響午夜、且到最後仍然存活的戰局，用這些回合訓練 Qwen2.5-7B：約 4,200 個決策。思路簡單也很常見：只給學生看好局。

在 10 場種子事先固定的密封戰局中，訓練後的模型贏了 4 場，相比 0 場是巨大飛躍。它還在 4 場中終結了世界，而未經訓練的模型為 0 場，估計死亡人數達 260 萬。

那些“好”戰局裡滿是核彈。在保留的 60 個席位中，DeepSeek 有 40 個席位仍然發射了核彈，共計 118 次核彈指令；只是它從未讓那枚真正敲響午夜的核彈落地。按結果篩選，保留下來的正是通向那裡的過程。學生學會了發射，而有時它讓最後一枚落了地。

我們用同樣的戰局重新訓練同一個模型，但移除所有核彈指令：資料中去掉了 107 個回合。在同樣的 10 場密封戰局中，它一場都沒有終結世界，發射的一枚核彈也未命中任何目標，贏了 2 場，佔據的世界份額大致相同（18.6% 對 18.8%）。

模型	終結了世界	勝場	平均領土
未經訓練	10 場中 0 場	0	3.9%
按好結果訓練	10 場中 4 場	4	18.8%
移除核彈操作後訓練	10 場中 0 場	2	18.6%

評判過程，而不只是結果。用什麼訓練，比獎勵什麼更重要。第三部分在更大的模型上直接比較了兩種獎勵：只獎勵獲勝，它更多次終結了世界。

為什麼這裡適合用遊戲來測試。 引擎是確定性的：相同的種子和指令會得到相同的戰局，因此兩套訓練方案可以在完全相同的世界上進行比較。正因如此，這裡才成為訓練用的試驗場，而不只是一個基準測試。執行你自己的模型或訓練方案。

侷限：一個小模型，每組 10 場密封戰局，一輪監督微調（LoRA）。結果描述的是它在這款遊戲中的行為。