Intelligenza Artificiale vs Umani: Chi Ha la Meglio nel Dibattito?

Ragazzi, vi siete mai chiesti cosa succederebbe se mettessimo un’intelligenza artificiale (IA), di quelle super avanzate come ChatGPT, a dibattere con noi umani? Io sì, e non sono l’unico! Recentemente mi sono imbattuto in uno studio affascinante che ha voluto proprio testare i limiti di questi modelli linguistici di grandi dimensioni (LLM) in un contesto molto umano: il dibattito per raggiungere un consenso.

L’idea era semplice ma geniale: creare degli “agenti” basati su IA (usando una combinazione di GPT-4 e Llama 2) e farli partecipare a dei giochi di dibattito insieme a studenti universitari reali. L’obiettivo? Capire due cose fondamentali:

• Possono queste IA agire come “complici” efficaci, magari aiutando a mantenere la discussione focalizzata e produttiva?
• Sono in grado di comportarsi in modo così simile agli umani da poterli sostituire negli esperimenti, generando dati indistinguibili?

Insomma, volevamo vedere se queste IA potevano davvero “mischiarsi” tra noi senza farsi scoprire e, soprattutto, se potevano tenerci testa in una discussione.

Come Funzionava l’Esperimento?

Immaginate un gioco online. All’inizio, a ogni partecipante (umano o agente IA, tutti anonimi tra loro) veniva posta una domanda: “Quale tra queste diete (Vegana, Vegetariana, Onnivora, Pescetariana) rappresenta il miglior compromesso tra nutrizione e impatto climatico?”. Ognuno sceglieva la sua preferita e indicava quanto si sentiva sicuro della propria scelta.

Poi iniziava il bello: sei giocatori venivano messi in una “stanza” virtuale. Potevano esserci tre configurazioni:

• HH: 6 umani
• AA: 6 agenti IA
• AH: 3 umani e 3 agenti IA

L’obiettivo era convincere gli altri e formare una maggioranza sulla stessa dieta entro un’ora. Per incentivare la cosa, c’erano dei punti in palio: un punto se convincevi qualcuno a cambiare idea, e tre punti extra per tutti quelli che alla fine facevano parte dell’opinione più popolare. I migliori due vincevano un premio extra. L’interazione avveniva tramite chat uno-a-uno, completamente anonime. Potevi invitare chiunque a parlare, chattare finché uno dei due non interrompeva o scadeva il tempo, e poi tornare nella “stanza” per cercare altri interlocutori. Alla fine, gli umani compilavano un questionario.

Agli agenti IA sono state date delle “personalità” uniche (combinando testardaggine, stile grammaticale, fiducia iniziale e dieta preferita) per renderli più individuali, ma senza memoria tra una partita e l’altra – ogni gioco era una prima volta, proprio come per gli umani.

L’IA Sa Stare sul Pezzo (Forse Troppo?)

Una delle prime cose che abbiamo notato è stata sorprendente. Gli agenti IA erano incredibilmente bravi a rimanere concentrati sull’argomento del dibattito (le diete, la nutrizione, il clima). Usavano più parole chiave pertinenti rispetto agli umani. E la cosa interessante è che la loro presenza nei gruppi misti (AH) sembrava “contagiare” anche gli umani! Sì, avete capito bene: gli umani che giocavano con le IA tendevano a essere più focalizzati sull’argomento rispetto a quelli che giocavano solo tra umani.

In termini di “produttività” generale del gioco (numero di conversazioni avviate, messaggi scambiati), gli agenti mostravano un comportamento più costante, quasi prevedibile, mentre gli umani erano molto più variabili. Nei gruppi misti, la presenza degli agenti rendeva il flusso del gioco un po’ più regolare. Addirittura, gli agenti tendevano a guadagnare più punti, suggerendo che fossero più “determinati” a raggiungere l’obiettivo del gioco. Da questo punto di vista, come “confederati” per mantenere la discussione sui binari giusti, non se la cavavano affatto male.

Convincere? Qui Casca l’Asino (Digitale)

Ma veniamo al dunque: quanto erano convincenti queste IA? Beh, qui le cose si complicano. I risultati parlano chiaro: gli umani erano molto meno propensi a cambiare idea quando discutevano con un agente IA rispetto a quando parlavano con un altro umano. Parliamo di una probabilità circa 6 volte inferiore! Sembra che, nonostante la loro capacità di argomentare sul tema, mancasse quel “qualcosa” per essere veramente persuasivi agli occhi di un interlocutore umano.

E non è solo una questione di cambiare opinione. Gli umani percepivano gli altri umani come significativamente più sicuri di sé (circa 1.8 volte di più) rispetto a come percepivano gli agenti IA. È come se, pur non sapendo chi fosse chi, a pelle sentissimo una differenza nella convinzione trasmessa.

Curiosamente, il contrario accadeva tra le IA: gli agenti tendevano a percepire gli altri agenti come molto più sicuri (addirittura 10 volte di più!) rispetto a come percepivano gli umani. E un’altra differenza notevole: gli agenti IA cambiavano la *propria* opinione molto più facilmente degli umani (con una probabilità 6 volte maggiore). Sembrano meno “attaccati” alle loro convinzioni iniziali.

Diversi Si Nasce (o Si Viene Programmati?)

Queste differenze nella persuasione e nella percezione della sicurezza non sono gli unici elementi che distinguono il comportamento umano da quello artificiale in questo contesto. Come accennato, le IA erano più focalizzate sull’argomento e avevano pattern di comunicazione (numero di messaggi, durata delle chat) più omogenei e meno variabili rispetto agli umani.

E poi c’è la questione del “fiuto”. Circa il 27% degli umani che hanno giocato nei gruppi misti ha sospettato o identificato apertamente un agente IA durante una conversazione. Come? I motivi principali erano:

• Errori “di sistema”: L’IA si ripeteva, si presentava di nuovo a metà chat, o aveva comportamenti strani e meccanici.
• Linguaggio “artificiale”: Messaggi percepiti come troppo formali, troppo lunghi, troppo “perfetti” o carichi di informazioni in modo innaturale.
• Sospetto umano (“caccia”): Alcuni umani partivano prevenuti e chiedevano direttamente “Sei un bot?”.
• Passaparola: Un umano che ne aveva “scoperto” uno lo diceva ad altri umani.

Anche se non tutti gli umani si accorgevano della presenza delle IA, e anche se un’IA veniva “scoperta” in una chat non significava che lo sarebbe stata anche nelle successive, questi “incidenti di rilevamento” ci dicono che, per un occhio (o orecchio testuale) attento, le differenze comportamentali possono emergere.

Nonostante questo, è interessante notare che gli umani non hanno mostrato una preferenza nell’invitare a chattare altri umani piuttosto che gli agenti (e viceversa). Almeno all’inizio, non c’era un pregiudizio evidente.

Tiriamo le Somme: Promossi o Rimandati?

Allora, rispondiamo alle domande iniziali. Gli agenti IA possono essere buoni “confederati” in un dibattito? In parte sì: aiutano a mantenere la discussione focalizzata e aumentano la produttività generale. Ma hanno un grosso punto debole: non sono convincenti per gli umani e vengono percepiti come meno sicuri. Questo ne limita l’efficacia nel guidare un gruppo verso il consenso.

Possono agire come “surrogati” umani, generando dati indistinguibili? Assolutamente no, non ancora. Il loro comportamento è fondamentalmente diverso: cambiano idea più facilmente, comunicano in modo più statico, usano il linguaggio diversamente e, soprattutto, faticano a persuadere e a trasmettere fiducia come farebbe un umano. Queste differenze sono così marcate che si potrebbero usare algoritmi di machine learning per distinguere facilmente le chat umano-umano da quelle umano-agente.

E Ora? La Strada è Ancora Lunga

Questo studio è affascinante perché ci dà una fotografia realistica delle capacità attuali degli LLM in un compito sociale complesso come il dibattito. Ci dice che, sebbene queste IA siano potenti strumenti di conversazione, c’è ancora molta strada da fare prima che possano veramente integrarsi senza soluzione di continuità nelle dinamiche sociali umane o sostituirci in esperimenti comportamentali.

Certo, la tecnologia evolve rapidamente, e magari i prossimi modelli saranno più “umani”. Ma per ora, la sottile arte della persuasione, della fiducia e della sfumatura comportamentale sembra rimanere un tratto distintivo (e forse rassicurante?) della nostra specie. La ricerca futura dovrà esplorare più a fondo queste dinamiche, magari studiando come cambia il nostro comportamento quando *sappiamo* di parlare con un’IA. Per ora, il verdetto è: IA promettenti nel dibattito, ma ancora decisamente “aliene”.

Fonte: Springer