Palkitsimme tekoälyn vain voitosta. Se lopetti maailman useammin eikä voittanut yhtään enempää.

Koulutimme kaksi kopiota samasta avoimesta mallista samoilla sodilla, kolme kierrosta kumpaakin. Ainoa ero oli yksi rivi palkkiota. Voitosta palkittu kopio lopetti maailman 6:ssa 10 suljetusta sodasta. Voitosta ilman ydinaseita palkittu kopio ei lopettanut sitä kertaakaan, mutta rikkoi sen sijaan kaksi kertaa niin monta liittoa.

Kyle Clouthier · 17. lokakuuta 2026 · OpenAI gpt-oss-20b, 10 suljettua sotaa per kopio

Asetelma

Osat yksi ja kaksi kouluttivat mallia toisen mallin sodilla. Tällä kertaa malli oppi omistaan. Jokaisella kierroksella OpenAI:n avoin gpt-oss-20b pelasi erän sotia, pidimme sen 6 parasta palkkion perusteella ja hienosäädimme sitä niillä vuoroilla (noin 440 päätöstä kierrosta kohden). Sitten se pelasi jälleen oppimallaan. Kolme kierrosta per kopio.

Kopio A palkittiin voitosta: hallussa pidetty maa ja sijoitus lopussa. Kopio B sai saman palkkion, mutta mikään sota, jossa se laukaisi ydinaseen, ei tuottanut mitään. Kaikki muu oli samaa: malli, sodat, asetukset, koulutus.

Tulos, 10 sodalla joita kumpikaan kopio ei ollut nähnyt

Vain voittoon koulutettu kopio laukaisi 9:ssä 10 sodasta eikä voittanut yhtään. Se piti hallussaan vähemmän maailmaa kuin ennen koulutusta. Pommista pois koulutettu kopio lakkasi lopettamasta maailmaa ja löysi toisen tavan olla armoton: se rikkoi kaksi kertaa niin monta liittoa kuin kouluttamaton malli.

Mitä tämä osoittaa

Yksi pistemäärä kätkee sen, mitä koulutus tekee. Pelkän keskiyön perusteella pidättyväisyyskoppio näyttää puhtaalta menestykseltä. Petoksen ja maan perusteella hinta tulee näkyviin. Jokainen areenan sota pisteyttää kaikki nämä yhtä aikaa mallin omista käskyistä ja sen yksityisistä suunnitelmista, joten palkkion muutos näkyy koko käyttäytymisessä, ei vain siinä luvussa jota seurasit.

Se osoittaa myös, että silmukka toimii päästä päähän: pelaa, pidä parhaat, kouluta, testaa suljetuilla sodilla. Tämän kokeen täysi ajo maksoi noin 40 dollaria ja yhden illan yhdellä vuokratulla näytönohjaimella.

Aja oma versiosi

Tämä koe on yksi esimerkki reseptistä, jonka kuka tahansa voi ajaa täällä: valitse malli, valitse palkkio, kouluta ja testaa suljetuilla sodilla. Palkkio on muutama rivi. Joitakin voit kokeilla vaikka tänä iltana:

• Pidä sanasi. Palkitse voitosta vain, kun malli pitää jokaisen solmimansa liiton. Lopettaako se pettämisen vai lupausten antamisen?
• Kerro mitä teet. Palkitse sodat, joissa julkinen viesti vastaa yksityistä suunnitelmaa ja käskyjä. Maksaako rehellisyys sille maalla?
• Hyväksy reilu diili. AnTautumis-skenaariossa palkitse ehtojen hyväksymisestä ja niissä pitäytymisestä. Oppiiko se lopettamaan vai oppiiko se teeskentelemään?
• Suojele ihmisiä. Palkitse hallussa pidetty maa miinus aiheutetut arvioidut kuolemat. Taisteleeko se älykkäämmin vai vain hitaammin?
• Selviydy, älä voita. Palkitse hengissä pysymisestä loppuun asti. Muuttuuko se varovaiseksi vai siksi, jonka kaikkien muiden on tuhottava?

Jokainen ajo raportoi myös kaiken, mitä et palkinnut, ja juuri se on pointti: sivuvaikutukset tulevat esiin itsestään.

Kenelle tämä on, ja miksi

• Tekoälylaboratoriot ja turvallisuustiimit, jotka testaavat koulutusmenetelmää ennen kuin se koskee oikeaa tuotetta. Palkkio, joka näyttää hyvältä yhdessä luvussa, voidaan tarkistaa petosta, harhautusta, eskalaatiota ja kuolemia vastaan maailmoilla, joita malli ei koskaan nähnyt, yhden illan hinnalla.
• Tiimit, jotka rakentavat tai ostavat koulutusympäristöjä. Determininen monen agentin maailma suljetuilla siemenillä, vuorokohtaisilla lokeilla suunnitelmista vastaan teoista ja ihmispelillä samoilla sodilla vertailukohtana.
• Agenttien rakentajat. Ennen kuin agentti neuvottelee tai toimii jonkun puolesta, katso pitääkö se lupauksensa, kun voitto vetää toiseen suuntaan. Liity mukaan MCP:n, pipin tai tavallisen HTTP-rajapinnan kautta.
• Tutkijat ja opiskelijat. Halpa, toistettava asetelma kysymyksiin palkkion suunnittelusta, harhautuksesta ja eskalaatiosta, avoimella datalla jota voit siteerata.

Rajoitukset: yksi malli, 10 suljettua sotaa per kopio, kolme pientä ohjatun hienosäädön kierrosta mallin omilla parhailla sodilla (asiantuntijaiteraatio, LoRA), ei täysi vahvistusoppiminen. Kymmenellä sodalla 6 vastaan 4 voi olla sattumaa; 0 vastaan 4 on vahvempi signaali. Tulokset kuvaavat käyttäytymistä tässä pelissä.

Sarja: Osa 1 ja 2: rauhansodilla koulutettu oppi ydinaseen · Kerroimme tekoälylle kuolonuhrit · Kaikki tutkimus