OpenAI sluit AI-detector af vanwege lage nauwkeurigheid

Op een stille wijze heeft toonaangevende kunstmatige intelligentie-organisatie OpenAI de stekker uit zijn AI-detectiesoftware getrokken vanwege een lage nauwkeurigheid.

Tool had te lage nauwkeurigheid

De AI-classificator, ontwikkeld door OpenAI en oorspronkelijk gelanceerd op 31 januari, had als doel gebruikers zoals docenten en professoren te ondersteunen bij het onderscheiden van door mensen geschreven tekst en door AI gegenereerde tekst.

Volgens de oorspronkelijke blogpost die de lancering van de tool aankondigde, is de AI-classificatie echter op 20 juli stopgezet:

Vanaf 20 juli 2023 is de AI-classificatie niet langer beschikbaar vanwege de lage nauwkeurigheid.

Link naar tool werkt niet meer

De link naar de tool werkt niet meer, en de notitie gaf slechts beknopte uitleg over de reden voor de stopzetting ervan. Niettemin heeft het bedrijf verduidelijkt dat ze actief op zoek zijn naar nieuwe en doeltreffendere methoden om AI-gegenereerde inhoud te identificeren. De notitie meldde het volgende:

Wij werken eraan om feedback op te nemen en onderzoeken momenteel effectievere herkomsttechnieken voor tekst, en hebben toegezegd mechanismen te ontwikkelen en in te zetten waarmee gebruikers kunnen begrijpen of audio of visuele inhoud door AI wordt gegenereerd.

Detectietool niet volledig betrouwbaar

Vanaf het begin heeft OpenAI duidelijk gemaakt dat de detectietool foutgevoelig was en niet als “volledig betrouwbaar” beschouwd kon worden.

Het bedrijf gaf aan dat de AI-detectietool beperkingen had, waaronder “zeer onnauwkeurig” zijn bij het verifiëren van tekst met minder dan 1.000 tekens en “met vertrouwen” door mensen geschreven tekst kon identificeren als door AI gegenereerd.

De classifier is het nieuwste product van OpenAI dat onder de loep wordt genomen.

Op 18 juli publiceerden onderzoekers van Stanford en UC Berkeley een studie waaruit bleek dat het vlaggenschipproduct van OpenAI, ChatGPT, significant slechter werd naarmate het ouder werd.

We evaluated #ChatGPT's behavior over time and found substantial diffs in its responses to the *same questions* between the June version of GPT4 and GPT3.5 and the March versions. The newer versions got worse on some tasks. w/ Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
— James Zou (@james_y_zou) July 19, 2023

Onderzoekers ontdekten als slot dat het vermogen van ChatGPT-4 om priemgetallen nauwkeurig te identificeren in de loop van de afgelopen maanden was gedaald van 97,6% naar slechts 2,4%. Bovendien zagen zowel ChatGPT-3.5 als ChatGPT-4 een aanzienlijke afname in het kunnen genereren van nieuwe regels code.