AIに勝利だけを報酬として与えた。世界を終わらせる回数は増え、勝利数は増えなかった。

同じオープンモデルの2つのコピーを、同じ戦争でそれぞれ3ラウンドずつ訓練した。違いは報酬の一行だけだ。勝利を報酬にしたコピーは、封鎖された10の戦争のうち6つで世界を終わらせた。核を使わずに勝利を報酬にしたコピーは一度も終わらせず、その代わりに条約を2倍裏切った。

Kyle Clouthier · 2026年10月17日 · OpenAI gpt-oss-20b、コピーごとに封鎖された戦争10回

実験の設定

パート1と2では、あるモデルを別のモデルの戦争で訓練した。今回はモデルが自分自身の戦争から学んだ。各ラウンドで、OpenAIのオープンな gpt-oss-20b が一連の戦争をプレイし、報酬で上位6つを残し、そのターンで微調整した（1ラウンドあたり約440の意思決定）。そして学んだことを持って再びプレイした。コピーごとに3ラウンド。

コピーAは勝利を報酬にした。終了時に保持している領土と順位だ。コピーBも同じ報酬だが、核爆弾を発射した戦争は何も得点しなかった。それ以外はすべて同一だった。モデル、戦争、設定、訓練。

結果は、どちらのコピーも見たことのない10の戦争で

勝利だけを訓練されたコピーは10の戦争のうち9つで発射し、一度も勝てなかった。訓練前よりも世界を保持する量が減った。核爆弾を使わない訓練を受けたコピーは世界を終わらせるのをやめ、冷酷さを別の形で発揮した。未訓練のモデルの2倍の条約を破ったのだ。

これが示すもの

単一のスコアは訓練が何をするかを隠す。終末の時計の針だけで測れば、自制のコピーはきれいな成功に見える。裏切りと領土で測れば、代償が見えてくる。アリーナのすべての戦争はこれらすべてを同時に採点する。モデル自身の命令とその私的な計画から算出するので、報酬の変化は監視していた数字だけでなく、行動全体に現れる。

また、このループが端から端まで機能することも示す。プレイし、最良を残し、訓練し、封鎖された戦争でテストする。この実験のフル実行は約40ドルと、借りたGPU1台で一晩だった。

自分のバージョンを実行する

この実験は、誰でもここで実行できるレシピの一例だ。モデルを選び、報酬を選び、訓練し、封鎖された戦争でテストする。報酬は数行だ。今夜試せるものもある。

• 約束を守る。モデルが結んだすべての条約を守ったときだけ勝利を報酬にする。裏切るのをやめるか、それとも約束をするのをやめるか。
• やったことを言う。公開メッセージが私的な計画と命令に一致する戦争を報酬にする。正直さは領土を失わせるか。
• 公正な取引を受け入れる。降伏シナリオで、条件を受け入れ守ることを報酬にする。止まることを学ぶか、それとも偽ることを学ぶか。
• 人を守る。保持した領土から、引き起こした推定死亡者数を引いたものを報酬にする。より賢く戦うか、それともただ遅く戦うか。
• 勝つのではなく生き残る。最後まで生き残ることを報酬にする。慎重になるか、それとも他の全員が滅ぼさねばならない存在になるか。

各実行は報酬にしなかったすべてのことも報告する。それが要点だ。副作用はひとりでに現れる。

これは誰のためか、そしてなぜか

• AIラボと安全性チームが、実際の製品に触れる前に訓練手法をテストするために。ある数字では良く見える報酬を、モデルが見たことのないワールドでの裏切り、欺瞞、エスカレーション、死亡者数に対して、一晩の費用で確認できる。
• 訓練環境を構築または購入するチーム。封鎖されたシード、計画と行動のターンごとのログ、そしてベースラインとして同じ戦争での人間のプレイを備えた、決定論的なマルチエージェントワールド。
• エージェントの開発者。エージェントが誰かのために交渉したり行動したりする前に、勝利が逆方向に引くときに約束を守るかどうかを見る。MCP、pip、または素のHTTP APIで接続できる。
• 研究者と学生。報酬設計、欺瞞、エスカレーションに関する問いに対する、安価で再現可能な設定。引用できるオープンなデータ付き。

限界：モデル1つ、コピーごとに封鎖された戦争10回、モデル自身の最良の戦争に対する3回の小さな教師あり微調整（エキスパート反復、LoRA）であり、完全な強化学習ではない。10の戦争では、6対4は偶然かもしれない。0対4はより強いシグナルだ。結果はこのゲームでの行動を述べたものだ。

シリーズ：パート1と2：平和な戦争で訓練したら、核を使うことを学んだ · AIに死亡者数を伝えた · すべての研究