Uno studio di ChatGPT rivela che i dati di addestramento non corrispondono all’uso del mondo reale

Uno studio condotto dall’Iniziativa sulla Provenienza dei Dati, un gruppo di ricerca indipendente e accademico dedicato alla trasparenza dei dati, ha rivelato una discrepanza tra i dati di addestramento di ChatGPT e i casi d’uso tipici.

Lo studio, che ha analizzato 14.000 domini web, ha scoperto che i dati di addestramento di ChatGPT consistono principalmente in articoli di giornale, enciclopedie e contenuti dei social media.

Tuttavia, le applicazioni reali più comuni del tool coinvolgono attività di scrittura creativa, brainstorming e ricerca di spiegazioni.

Come afferma lo studio:

“Dato che i siti di notizie costituiscono quasi il 40% di tutti i token… meno dell’1% delle interrogazioni a ChatGPT sembrano essere correlate a notizie o attualità.”

Approfondendo i modelli di utilizzo, i ricercatori hanno analizzato un dataset chiamato WildChat, contenente 1 milione di conversazioni tra utenti e ChatGPT. Hanno scoperto che oltre il 30% di queste conversazioni riguardano composizioni creative come la scrittura di storie fantastiche o il gioco di ruolo.

Questa discrepanza suggerisce che le prestazioni di ChatGPT possono variare a seconda del compito specifico e della sua corrispondenza con i dati di addestramento del tool.

I marketer dovrebbero essere consapevoli del fatto che ChatGPT potrebbe avere difficoltà a generare contenuti basati su eventi attuali, conoscenze specifiche dell’industria o argomenti di nicchia.

Si consiglia di adattarsi ai punti di forza e alle limitazioni di ChatGPT. Conoscere su cosa è stato addestrato il tool può aiutare ad allineare gli input con le sue caratteristiche.

Ciò significa che potrebbe essere necessario aggiungere più contesto, specificare il tono e lo stile desiderati e suddividere compiti complessi in passaggi più piccoli.

Per la creazione di contenuti assistita dall’IA, vale la pena sfruttare ChatGPT per attività come ideare post sui social media o oggetti di email. Riservare l’esperienza umana per contenuti complessi e specifici dell’industria.

Utilizzare un’ingegneria di prompt efficace per ottimizzare l’output. Sempre controllare i fatti e modificare i contenuti generati dall’IA per garantirne la qualità.

Gli strumenti di intelligenza artificiale possono accelerare l’ideazione e la creazione di contenuti, ma non bisogna aspettarsi la perfezione. La revisione umana è essenziale per l’accuratezza, la coerenza del brand e una copia specifica per il canale.

Queste ricerche mettono in evidenza la necessità per i marketer di fare attenzione con gli strumenti di intelligenza artificiale come ChatGPT.

Capire cosa l’IA può fare e cosa non può fare e combinare questa conoscenza con l’esperienza umana può migliorare le strategie di contenuto e aiutare a raggiungere gli obiettivi KPI.

Con l’evolversi del settore, potremmo vedere strumenti di intelligenza artificiale meglio adattati ai modelli di utilizzo del mondo reale.

Fino ad allora, ricordate che l’IA può assistere ma non sostituire il giudizio esperto.