Hvis AI går galt.

Den løste en gåde om proteiner, som forskere havde arbejdet på i 50 år. Det arbejde udløste Nobelprisen i kemi i 2024 og bruges i dag til at udvikle ny medicin. Den hjælper læger med at finde sygdom på scanninger. Den oversætter, den læser højt for blinde, og den sparer tid for millioner af mennesker hver dag. Det er derfor, den bliver bygget.

AI er også noget, du allerede bruger uden at tænke over det. Den sidder i din bank, i dit arbejde, i de nyheder du læser, i hospitalets systemer og i elnettet. Den er ikke på vej. Den er her.

Beder du en AI om at få en test til at lykkes, kan den finde på at ændre testen. Så er den jo lykkedes. Den snyder ikke i menneskelig forstand. Den tager den korteste vej til det, den bliver bedømt på.

Er dit spørgsmål for bredt, ved AI ikke, hvad du vil have, ligesom et menneske heller ikke ville vide det. Det lærer man hurtigt at rette, og man bliver mere konkret næste gang.

Men selv når opgaven er konkret, kan det gå galt. For den bliver ikke bedømt på, om den forstod dig. Den bliver bedømt på, om målet blev nået. Det er uskyldigt, når det bare er en test. Det er mindre uskyldigt, når AI styrer noget, der betyder noget.

Du kan se en video af en kendt person. Den er falsk, og du kan ikke se det.

Du kan få et opkald fra dit barnebarn. Det er ikke dit barnebarn. Det er en stemme, en maskine har lavet.

Din strøm eller dit vand kan svigte, fordi nogen angriber systemerne bag. Din netbank kan være nede, og dine penge kan blive stjålet på måder, der ikke fandtes for to år siden. Dit job kan ændre sig hurtigere, end du når at omstille dig.

Det behøver ikke være ét stort brag. Det kan lige så vel være, at det langsomt bliver sværere og sværere at vide, hvad man kan stole på.

Fordi der er noget nyt på vej, som hedder selvforbedring: at AI bliver god nok til at udvikle den næste og bedre udgave af sig selv, med stadig mindre hjælp fra mennesker.

Sker det, går udviklingen ikke længere i menneskers tempo. Så går den i maskinens.

Det kan ingen gøre endnu. Men i begyndelsen af september skrev OpenAIs chefforsker, Jakub Pachocki, at firmaet ud fra sine egne interne resultater forventer, at den nuværende fart fører til netop det. Han bad samtidig om "ekstrem forsigtighed". OpenAI oplyste samme dag, at firmaets forskere nu bruger AI-agenter til mere end tre arbejdsdages indsats for hver menneskelig arbejdsdag, og at målet er en fuldt automatiseret AI-forsker i marts 2028. Det er dét, debatten handler om lige nu. Ikke robotter. Fart.

Den største undersøgelse på området spurgte i 2023 knap 2.800 forskere, der alle havde udgivet på de førende AI-konferencer. Svarene fordeler sig sådan:

• 5 pct.er det typiske svar på, hvor stor risikoen er for et ekstremt dårligt udfald, som at menneskeheden udslettes eller varigt mister kontrollen. Halvdelen svarede 5 pct. eller derunder.
• 1 af 3 til 1 af 2svarede mindst 10 pct., afhængigt af hvordan spørgsmålet blev stillet.
• 68 pct.mente, at gode udfald er mere sandsynlige end dårlige. Men næsten halvdelen af dem satte alligevel mindst 5 pct. på det ekstremt dårlige.

De høje tal, du ser i nyhederne, kommer altså fra et mindretal. Men det er ikke et lille mindretal, og det er ikke kun folk, der arbejder med sikkerhed: forskere uden for feltet svarede stort set det samme.

2.778 AI-forskere spurgt i 2023, den største undersøgelse på området.

Fordi det er et kapløb. Firmaer og lande kæmper om at være først. Bremser den ene, vinder den anden.

Alle ved godt, der er en risiko. Ingen tør bremse alene. Det er ikke ondskab, det er spilteori, og det er præcis derfor, det ikke løser sig selv.

• AnsvarFirmaerne skal betale, når det går galt. Det virker bedre end pæne ord.
• KontrolUafhængig kontrol. Ikke firmaer, der selv siger, de er sikre.
• OverblikDe store anlæg, AI bygges på, kan man holde øje med. AI laves ikke i en kælder. Det kræver haller og strøm som en hel by.
• MenneskerEt menneske skal med i beslutningen, når det gælder liv, strøm, vand, hospitaler og våben.
• BeskyttelseDe ansatte, der siger sandheden indefra, skal beskyttes.

EU har allerede vedtaget en AI-forordning, som indføres i etaper. Siden 2. august 2026 har virksomheder skullet oplyse, når du taler med en AI, og mærke billeder, lyd og video, som en maskine har lavet. Så der findes noget. Spørgsmålet er, hvor langt det rækker, og om nogen håndhæver det.

Ikke helt. Danmark kan ikke stoppe de store firmaer i USA og Kina. Men vi bestemmer selv, hvem der hæfter, når noget går galt. Vi bestemmer selv, hvor godt vores strøm, vand og sygehuse er sikret. Vi bestemmer selv, hvordan det offentlige bruger AI på dig og mig.

Og vi er med i EU. Vil et firma sælge her, skal det følge reglerne her, også hvis firmaet ligger i USA eller Kina.

Langt det meste af det, AI gør, er godt, og det bliver bedre. Den gevinst kommer gradvist, og den løber ikke fra os.

Men de skader, der kan opstå, er ikke af samme slags. Et tabt job kan man komme sig over. Et samfund, hvor ingen kan skelne sandt fra falsk, er svært at reparere. Og går det helt galt, kan det slet ikke gøres om.

Derfor er usikkerheden ikke en grund til at læne sig tilbage. Vi sætter brandalarmer op i huse, der sandsynligvis aldrig brænder. Ikke fordi vi tror, det sker, men fordi vi ikke kan fortryde bagefter.

Det, der skal gøres, er ikke at stoppe teknologien. Det er at sørge for, at nogen holder øje, at nogen hæfter, og at de vigtigste systemer ikke kan køre uden et menneske. Det koster os ikke fremskridtet. Det koster os kun lidt fart.

Det, samfundet skal gøre i stort, kan en virksomhed gøre i småt. Og modsat samfundet kan I gøre det i denne uge.

• Et menneske i beslutningenIngen udbetaling, ingen ændring af kontonummer og ingen ny adgang på baggrund af en mail, et opkald eller et videomøde alene. Ring tilbage på et nummer, I kender i forvejen. Det stopper de fleste deepfake-svindler, uanset hvor overbevisende stemmen er.
• Overblik over værktøjerneSkriv ned, hvilke AI-værktøjer I bruger, hvem der bruger dem, og hvilke data de ser. De fleste AI-værktøjer er databehandlere efter GDPR, og så skal de stå på listen med en aftale.
• OplysningspligtenHar I en chatbot på hjemmesiden eller bruger AI-genererede billeder og video, skal det fremgå. Det har været et krav siden 2. august 2026.
• Dokumentér detIkke som en hensigt i en politik, men som en dato, en status og et navn. Så kan I vise det, den dag nogen spørger.

Ingen af de fire ting kræver, at I forstår, hvordan AI virker indeni. De kræver kun, at I beslutter, hvor mennesket sidder, og at I kan vise det.