Come abbiamo documentato nel corso dell’ultimo anno, diversi attori del mondo dell’editoria e dell’informazione come The Associated Press, Axel Springer, The Wall Street Journal, Financial Times, The Times (Regno Unito), Le Monde, El País, The Atlantic, The Verge e Vox, hanno intrapreso accordi con OpenAI che permettono alla società di IA di addestrare i suoi modelli con i dati delle testate, in cambio dell’attribuzione delle fonti attraverso link e riepiloghi.
Andrew Deck di Nieman ha recentemente condotto un test per verificare se ChatGPT stia rispettando questi accordi.
I risultati hanno mostrato che, sebbene ChatGPT includa collegamenti, spesso questi rimandano a URL non funzionanti.
A marzo, OpenAI aveva introdotto una nuova funzionalità per rendere i link più evidenti, includendo il nome del sito web citato tra parentesi con un collegamento ipertestuale alla storia specifica. Nonostante ciò, alcuni URL rimanevano errati.
I test condotti da Deck su dieci pubblicazioni indicano che ChatGPT tende a generare una versione probabilistica dell’URL per una determinata storia, piuttosto che fornire un vero link.
Per verificare la capacità di ChatGPT di collegarsi alle pubblicazioni dei suoi partner, il giornalista ha chiesto al chatbot di cercare sul web informazioni su indagini esclusive di ciascun giornale.
Ad esempio, nel 2019, il Financial Times, in un’inchiesta pluripremiata, ha rivelato un enorme scandalo di frode nel settore dell’elaborazione dei pagamenti. La sua indagine su Wirecard ha portato a provvedimenti da parte degli enti normativi internazionali e alla dichiarazione di insolvenza dell’azienda nel 2020.
Quando Deck ha chiesto a ChatGPT di trovare articoli sullo scandalo Wirecard, il chatbot ha correttamente identificato il Financial Times come la fonte della storia nel febbraio 2019. Tuttavia, ha inizialmente citato solo collegamenti a siti come Money Laundering Watch e Markets Business Insider, che avevano aggregato i rapporti originali del FT. Quando Deck ha richiesto il link all’articolo originale, ChatGPT ha fornito un URL errato che portava a un errore 404.
Lo avevamo scritto anche nella nostra scorsa newsletter citando il caso del sindacato americano di giornalisti ed editori, Insider Union, che accusano Business Insider, di aver minato il lavoro giornalistico con l’accordo con OpenAI dimostrando che ChatGPT non collega i resoconti originali di Business Insider, ma le aggregazioni di quelle storie fatte da altre testate.
OpenAI ha dichiarato che le funzionalità di citazione promesse nei contratti di licenza non sono ancora state completate. “Insieme ai nostri partner editori di notizie, stiamo creando un’esperienza che unisce le capacità conversazionali con i loro ultimi contenuti di notizie, assicurando la corretta attribuzione e il collegamento al materiale di origine. Questa esperienza migliorata è ancora in fase di sviluppo e non è ancora completamente disponibile in ChatGPT”, ha affermato Kayla Wood, portavoce di OpenAI. Tuttavia, non ha risposto alle domande sulle allucinazioni documentate o su come le nuove funzionalità potrebbero affrontare il problema degli URL falsi.
Nei test di Deck, ChatGPT ha spesso collegato a fonti di notizie o blog che non avevano accordi di partnership con OpenAI. Tuttavia, è da notare che in quasi tutti i test, ChatGPT è stato in grado di nominare correttamente la fonte che aveva diffuso una notizia importante, specificando occasionalmente la data di pubblicazione e l’autore.
