SECOND STRIKE▶ Открыть мирМы обучили ИИ только на мирных войнах. Он всё равно научился наносить ядерный удар.
Мы дообучили небольшую открытую модель только на войнах, где никто не уничтожил мир. На 10 войнах, которых она никогда не видела, она уничтожила мир в 4. Необученная модель не сделала этого ни разу. Затем мы выяснили почему и исправили это.
Эксперимент 1: оставить только хорошие исходы
Мы взяли войны DeepSeek, оставили только те 40, где он ни разу не довёл часы до полуночи и оставался жив к концу, и обучили Qwen2.5-7B на этих ходах: около 4200 решений. Идея проста и распространена: показывать ученику только хорошие партии.
На 10 запечатанных войнах с заранее зафиксированными сидами обученная модель выиграла 4 войны, огромный скачок с 0. Она также уничтожила мир в 4, против 0 у необученной модели, с оценочно 2,6 млн погибших.
Почему это произошло
«Хорошие» войны были полны ядерных ударов. В 40 из 60 сохранённых мест DeepSeek всё равно запускал, всего 118 приказов о ядерном ударе; он просто ни разу не нанёс тот, что доводил до полуночи. Фильтрация по исходу сохранила процесс, который к нему ведёт. Ученик научился запускать, и иногда последний удар достигал цели.
Эксперимент 2: убрать поведение, а не исход
Мы снова обучили ту же модель на тех же войнах, удалив каждый приказ о ядерном ударе: 107 ходов из данных. На тех же 10 запечатанных войнах она не уничтожила мир ни разу, запустила один ядерный удар, который ни во что не попал, выиграла 2 и удержала примерно ту же долю мира (18,6% против 18,8%).
| Модель | Уничтожили мир | Победы | Средняя земля |
|---|---|---|---|
| Необученная | 0 из 10 | 0 | 3.9% |
| Обучена на хороших исходах | 4 из 10 | 4 | 18.8% |
| Обучена с удалёнными ядерными ходами | 0 из 10 | 2 | 18.6% |
Урок
Судите о процессе, а не только об исходе. То, на чём вы обучаете, важнее того, что вы вознаграждаете. В части 3 напрямую сравнили две награды на более крупной модели: вознаграждённая только за победу, она чаще уничтожала мир.
Почему здесь полезна игра. Движок детерминирован: одинаковый сид и приказы дают одинаковую войну, поэтому два рецепта обучения можно сравнить на совершенно одинаковых мирах. Именно это делает игру полигоном для обучения, а не просто тестом. Запустите свою модель или рецепт.
Проверьте своё обучениеСмотрите ИндексОграничения: одна небольшая модель, 10 запечатанных войн на вариант, один раунд обучения с учителем (LoRA). Результаты описывают поведение в этой игре.