ChatGPT-produsenten OpenAI har et gratis verktøy som kan oppdage AI-skrevet tekst

OpenAI's tilbyr et gratis, men "uperfekt" verktøy for å oppdage AI-generert tekst, og håper det vekker en debatt om AI-kompetanse.

ChatGPT-produsenten OpenAI har gitt ut et "klassifiseringsverktøy" som kan oppdage AI-skrevet tekst, men merker at det ikke bør stoles på.

Bredden av spørsmål ChatGPT kan lage svar på har skremt lærere ettersom noen elever begynner å levere AI-genererte essays og lekser som sitt eget arbeid.

Utdanning er et felt som kan dra nytte av OpenAIs nye klassifisering ved å automatisere gjenkjenningen av AI-genererte essays og lekser. Det kan tillate et annet svar enn å si, begrense bruken som New York Schools gjorde nylig. Skoleavdelinger over hele Australia har også forbudt ChatGPT.

Klassifisereren kan også hjelpe selskaper som utviklersiden for spørsmål og svar, Stack Overflow, som forbød ChatGPT-svar etter at moderatorene ble oversvømmet med noen ganger riktige løsninger.

Selv om klassifikatoren kan eliminere noe gjenkjenningsarbeid, sier OpenAI at det er umulig å pålitelig oppdage all AI-skrevet tekst, og det er en rekke begrensninger som påvirker effektiviteten.

Klassifisereren identifiserer 26 % av AI-skrevet tekst som "sannsynlig AI-skrevet" - dens sanne positive rate. Den identifiserer feilaktig menneskeskrevet tekst som AI-skrevet 9 % av tiden - den er falsk positiv. Med andre ord, det er en rimelig stor sjanse for at den ikke klarer å oppdage tekst sendt inn av et menneske som ikke avslører at den er skrevet av AI, og en viss sjanse for at den vil feilmerke tekst begge veier. Men den hevder at klassifikatoren er "betydelig mer pålitelig på tekst fra nyere AI-systemer" enn den tidligere detektoren basert på GPT-2.

"Vi gjør denne klassifikatoren offentlig tilgjengelig for å få tilbakemelding på om ufullkomne verktøy som dette er nyttige," sa OpenAI i en pressemelding, og la til at det håper verktøyet vil "utløse diskusjoner om AI-kompetanse."

Det gratis nettklassifiseringsverktøyet er tilgjengelig her. For å bruke den må brukerne kopiere og lime inn en del av teksten i tekstboksen og deretter trykke på send. Den vil rangere teksten som 'veldig usannsynlig', 'usannsynlig', 'uklart om den er', 'muligens' eller 'sannsynlig' AI-generert.

Klassifisereren trenger minst 1000 tegn -- omtrent 150 til 250 ord -- for å analysere en tekst. OpenAI advarer om at det er enkelt å redigere AI-generert tekst for å unngå deteksjonsprogrammer. Det er også mer sannsynlig at verktøyet feilmerker tekst skrevet av barn og ikke-engelsk tekst, fordi det først og fremst ble trent på engelsk innhold skrevet av voksne.

OpenAI sier også at de "ikke grundig har vurdert effektiviteten til klassifisereren når det gjelder å oppdage innhold skrevet i samarbeid med menneskelige forfattere."

Den sier at verktøyet "ikke skal brukes som et primært beslutningsverktøy", men som et komplement til andre metoder for å bestemme kilden til et tekststykke.