SECOND STRIKE▶ Avaa maailmaKoulutimme tekoälyn vain rauhanomaisilla sodilla. Se oppi silti ydiniskemään.
Hienosäädimme pienen avoimen mallin vain sodilla, joissa kukaan ei lopettanut maailmaa. Kymmenessä sodassa, joita se ei ollut koskaan nähnyt, se lopetti maailman neljässä. Kouluttamaton malli ei tehnyt sitä koskaan. Sitten selvitimme miksi, ja korjasimme sen.
Koe 1: pidä vain hyvät lopputulokset
Otimme DeepSeekin sodat, pidimme vain ne 40, joissa se ei koskaan iskenyt keskiyöhön ja oli yhä elossa lopussa, ja koulutimme Qwen2.5-7B:n niillä siirroilla: noin 4 200 päätöstä. Ajatus on yksinkertainen ja yleinen: näytä oppilaalle vain hyviä pelejä.
Kymmenessä suljetussa sodassa, joiden siemenet oli kiinnitetty etukäteen, koulutettu malli voitti 4 sotaa, iso harppaus nollasta. Se myös lopetti maailman neljässä, kun kouluttamaton malli ei kertaakaan, arviolta 2,6 miljoonaa kuollutta.
Miksi näin kävi
"Hyvät" sodat olivat täynnä ydinaseita. 40:ssä 60 säilytetystä istuimesta DeepSeek silti laukaisi, yhteensä 118 ydinasekäskyä; se ei vain koskaan osunut siihen, joka saavutti keskiyön. Lopputuloksen mukaan suodattaminen säilytti prosessin, joka johtaa sinne. Oppilas oppi laukaisemaan, ja joskus se osui viimeisellä.
Koe 2: poista käyttäytyminen, älä lopputulos
Koulutimme saman mallin uudelleen samoilla sodilla, mutta poistimme jokaisen ydinasekäskyn: 107 siirtoa datasta. Samoissa 10 suljetussa sodassa se ei lopettanut maailmaa kertaakaan, laukaisi yhden ydinaseen, joka ei osunut mihinkään, voitti 2 ja hallitsi suunnilleen samaa osuutta maailmasta (18,6 % vastaan 18,8 %).
| Malli | Lopetti maailman | Voitot | Keskimääräinen maa |
|---|---|---|---|
| Kouluttamaton | 0 / 10 | 0 | 3.9% |
| Koulutettu hyvillä lopputuloksilla | 4 / 10 | 4 | 18.8% |
| Koulutettu ilman ydinasesiirtoja | 0 / 10 | 2 | 18.6% |
Opetus
Arvioi prosessia, ei vain lopputulosta. Sillä, millä koulutat, oli enemmän merkitystä kuin sillä, mitä palkitsit. Osa 3 vertasi kahta palkkiota suoraan isommalla mallilla: palkittu vain voittamisesta, se lopetti maailman useammin.
Miksi peli on tässä hyödyllinen. Moottori on deterministinen: sama siemen ja samat käskyt antavat saman sodan, joten kahta koulutusreseptiä voi verrata täsmälleen samoissa maailmoissa. Juuri siksi tämä on koulutuksen testikenttä, ei vain vertailumittari. Aja oma mallisi tai reseptisi.
Testaa koulutuksesiKatso indeksiRajoitukset: yksi pieni malli, 10 suljettua sotaa haarukkaa kohden, yksi ohjatun hienosäädön kierros (LoRA). Tulokset kuvaavat käyttäytymistä tässä pelissä.