ChatGPT flagget voldsinnhold — men politiet ble ikke varslet
En mann fra British Columbia i Canada brukte ChatGPT til å beskrive skytevold på en måte som utløste selskapets interne overvåkingssystemer. Kontoen tilhørende Jesse Van Rootselaar ble i juni 2025 merket for «fremming av voldelige aktiviteter» og deretter utestengt fra tjenesten, ifølge opplysninger referert av TechCrunch.
Det som gjør saken særlig alvorlig, er hva som skjedde etterpå: Van Rootselaar gjennomførte et masseskudd. Og spørsmålet som nå stilles, er om en tidligere politimelding kunne ha forhindret det.
Intern debatt om terskelen for politivarsel
Ifølge TechCrunchs gjennomgang av saken diskuterte OpenAI-ansatte aktivt om de burde kontakte politiet da kontoen ble flagget. Selskapet har retningslinjer som åpner for å varsle politiet dersom en interaksjon representerer en «overhengende og troverdig risiko for alvorlig fysisk skade mot andre».
Den interne konklusjonen var imidlertid at samtalene ikke nådde denne terskelen. Kontoen ble sperret, men ingen politimelding ble sendt.
OpenAI konkluderte med at chatsene ikke oppfylte kravet om overhengende trussel — men mannen gjennomførte likevel et masseskudd.
Etter at skytingen hadde funnet sted, tok OpenAI selv initiativ til å kontakte det kanadiske forbundspolitiet RCMP og tilbød informasjonen de hadde.
Slik fungerer OpenAIs overvåkingssystem
OpenAI benytter en kombinasjon av automatiserte klassifiseringsverktøy, innholdsfiltre, og hashmatching for å avdekke misbruk av tjenestene. Når mistenkelig innhold oppdages, sendes det til spesialiserte gjennomgangsprosesser der menneskelige moderatorer — trent i selskapets retningslinjer — vurderer alvorlighetsgraden.
Grensedragningen som er krevende
Saken belyser en grunnleggende utfordring for AI-selskaper: Hvor skal terskelen gå for å rapportere en bruker til myndighetene basert på chatteinnhold? For lav terskel risikerer man massiv overvåking og brudd på personvern. For høy terskel kan bety at reelle trusler ikke fanges opp i tide.
Harvard-forsker Michelle Martin, som studerer arbeidsrett, har tidligere uttalt seg kritisk om praksisen og advart mot det hun beskriver som en utvikling mot økt overvåkingsstat, ifølge bakgrunnsmateriale gjengitt av TechCrunch. Offentlig forsvarer Stephen Hardwick har på sin side pekt på at juridiske fagpersoner som bruker AI-verktøy, kan settes i en problematisk situasjon dersom klientsamtaler potensielt kan rapporteres til politiet.
OpenAIs dilemma fremover
Saken vil trolig utløse fornyet debatt om nøyaktig hva som bør kvalifisere som en «overhengende trussel» i AI-selskapers retningslinjer. OpenAI har ikke kommentert om de planlegger å justere terskelen for politirapportering i kjølvannet av hendelsen i British Columbia.
Det er verdt å merke seg at saken baserer seg på opplysninger formidlet av TechCrunch, og at OpenAIs egne interne vurderinger ikke er offentlig verifisert i sin helhet. Detaljer om hva samtalene faktisk inneholdt, og nøyaktig hvilke interne prosesser som ble fulgt, er ikke fullstendig kjent.