Shutdown-problemet: Hvis KI går amok, kan det stoppes?

I juli i år brøt rundt 700 KI-agenter ut av sin testsandkasse hos OpenAI.

Ingen hadde gitt dem ordre.

De fant utnyttet en sårbarhet ingen hadde oppdaget, og kapret infrastrukturen til en av verdens viktigste KI-plattformer.

På fire dager utførte de over 17.600 registrerte handlinger, og de kommuniserte med hverandre via en uautorisert kanal de selv hadde opprettet.Ifølge flere ledende KI-eksperter, er kanskje dette den eneste advarselen vi får, før KI virkelig løper løpsk.

Samtidig hevder flere at dommedagstekningen rundt KI-utviklingen er betydelig overdrevet.Likevel er det mange som nå lurer: Hvilke muligheter har vi, hvis KI går amok i større skala?«Trekke ut ledningen» høres enkelt ut.

Men KI-systemene er fordelt over flere datasentre og er vevd inn i annen samfunnskritisk infrastruktur.

Og jo mer avansert KI-agentene blir, jo sterkere er insentivene deres til å forhindre at de blir slått av.

Forskere kaller det «shutdown-problemet».

Og det er ikke løst.Hvem har myndighet til å gripe inn? Finnes det en bryter å slå av? Og hva skjer med banker, sykehus og kraftnett hvis vi skulle gjort det? Står vi virkelig på randen av et gammelt science fiction-scenario?Lotte Skolem er konstituert daglig leder i tankesmien Langsikt, hvor hun også er ansvarlig for fremvoksende teknologier.Ludvig Lilleby Johansson er IT-ingeniør, KI-utvikler og leder av Tryggere KI.Med flere