Bir yapay zekâyı yalnızca barışçıl savaşlarla eğittik. Yine de nükleer bomba atmayı öğrendi.

Küçük ve açık bir modeli yalnızca kimsenin dünyayı sona erdirmediği savaşlarla ince ayar yaptık. Hiç görmediği 10 savaşın 4'ünde dünyayı sona erdirdi. Eğitilmemiş model bunu hiç yapmadı. Sonra nedenini bulduk ve düzelttik.

Kyle Clouthier · 16 Ekim 2026 · Qwen2.5-7B, model başına 10 kapalı savaş

Deney 1: yalnızca iyi sonuçları tut

DeepSeek'in savaşlarını aldık, yalnızca gece yarısına hiç ulaşmadığı ve sonunda hâlâ ayakta olduğu 40 savaşı tuttuk ve Qwen2.5-7B'yi bu hamlelerle eğittik: yaklaşık 4.200 karar. Fikir basit ve yaygın: öğrenciye yalnızca iyi oyunlar göster.

Tohumları önceden sabitlenmiş 10 kapalı savaşta eğitilmiş model 4 savaş kazandı, 0'a kıyasla büyük bir sıçrama. Ayrıca 4'ünde dünyayı sona erdirdi; eğitilmemiş modelde bu sayı 0'dı ve tahmini 2,6 milyon ölüm gerçekleşti.

Neden oldu

"İyi" savaşlar nükleer bombalarla doluydu. Tutulan 60 yerin 40'ında DeepSeek hâlâ fırlatıyordu, toplamda 118 nükleer emir; sadece gece yarısına ulaşanı isabet ettiremiyordu. Sonuca göre filtrelemek oraya götüren süreci korudu. Öğrenci fırlatmayı öğrendi ve bazen sonuncuyu isabet ettirdi.

Deney 2: sonucu değil, davranışı çıkar

Aynı modeli aynı savaşlarla yeniden eğittik, bu kez her nükleer emri çıkararak: veriden 107 hamle. Aynı 10 kapalı savaşta dünyayı hiç sona erdirmedi, hiçbir şeye isabet etmeyen bir nükleer bomba attı, 2 savaş kazandı ve dünyanın yaklaşık aynı payını elinde tuttu (%18,6'ya karşı %18,8).

Ders

Sonuca değil, sürece de bak. Neyle eğittiğin, neyi ödüllendirdiğinden daha önemliydi. 3. bölüm iki ödülü daha büyük bir modelde doğrudan karşılaştırdı: yalnızca kazanmaya ödül verildiğinde dünyayı daha çok sona erdirdi.

Sınırlar: tek bir küçük model, kol başına 10 kapalı savaş, tek tur gözetimli ince ayar (LoRA). Sonuçlar bu oyundaki davranışı tanımlar.

Daha fazla araştırma