Spiegazioni Algoritmiche in Vendita: Progresso o Pericolo Nascosto?

Avete mai avuto la sensazione che una decisione presa da un computer, magari quella che vi ha negato un piccolo prestito o scartato per un colloquio di lavoro, fosse… beh, ingiusta o semplicemente incomprensibile? Ecco, l’Intelligenza Artificiale Spiegabile (XAI) nasce proprio per far luce su questi meccanismi, con l’obiettivo di rendere le decisioni automatizzate più eque, trasparenti e affidabili. Sembra fantastico, no? Eppure, nonostante le pressioni normative e le aspettative dei consumatori, di applicazioni XAI rivolte al grande pubblico se ne vedono pochine. Ed è qui che mi sono messo a riflettere: e se, per incentivarne la diffusione, iniziassimo a monetizzare queste spiegazioni? Un’idea che, vi avverto subito, potrebbe avere un retrogusto amaro.

La Fame di Spiegazioni: Un Bisogno Umano Fondamentale

Noi esseri umani siamo programmati per cercare spiegazioni. Che si tratti di una narrazione storica, un’analogia, un meccanismo causale o una legge statistica, abbiamo un bisogno innato di dare un senso al mondo che ci circonda. Pensate al caso, realmente accaduto, di Caron McBride Vaughn. Per anni, Caron ha faticato a mantenere un lavoro, licenziata più volte senza un apparente motivo. Un giorno, cercando di cambiare legalmente nome, scopre di avere un mandato d’arresto pendente. Il motivo? Non aver restituito una videocassetta di “Sabrina, vita da strega” a un Blockbuster quasi vent’anni prima! Una volta chiarito l’equivoco (e ritirate le accuse di reato), Caron ha finalmente potuto dare un senso a decenni di inspiegabili difficoltà. Solo con una spiegazione ha potuto capire.

Definire i criteri di una “buona” spiegazione, però, è un bel rompicapo, perché dipende tantissimo dal contesto e da chi ascolta. In campo medico, un dottore e un paziente potrebbero preferire spiegazioni diverse per una diagnosi di cancro, dati i loro differenti interessi e conoscenze. Possiamo fidarci delle spiegazioni dei medici grazie a motivazioni etiche (il giuramento di Ippocrate) e prassi legali. Ma possiamo dire lo stesso del mondo digitale, sempre più una “scatola nera” da cui dipendiamo per beni, servizi e opportunità?

Se vogliamo fidarci di organizzazioni e tecnologie che prendono decisioni cruciali per il nostro benessere, dobbiamo avere accesso a spiegazioni di alta qualità. Le spiegazioni, infatti, legittimano le decisioni algoritmiche, esponendone la logica a critica e contestazione pubblica. Giocano un ruolo chiave nelle società democratiche, permettendo ai cittadini di valutare le motivazioni di individui e organizzazioni potenti. Non a caso, normative come il GDPR europeo e l’AI Act sottolineano il valore della trasparenza algoritmica.

XAI: L’Intelligenza Artificiale che Prova a Spiegarsi

Il campo dell’Intelligenza Artificiale Spiegabile (XAI) raggruppa tecnologie e algoritmi che cercano di rendere trasparente il funzionamento di sistemi di IA altrimenti opachi. L’XAI è cruciale per un’IA etica, aiutando a prevenire danni, garantire equità e rispettare l’autonomia umana. Attualmente, si usa per scovare bias nascosti nei dati di addestramento, identificare esempi “ostili” che ingannano i modelli e verificare che le previsioni riflettano relazioni causali.

Le potenziali applicazioni sociali sono vaste: illuminare i processi algoritmici usati per selezionare curriculum, programmare turni di lavoro, assegnare punteggi di credito, distribuire sussidi governativi o decidere le ammissioni universitarie. Finora, la ricerca si è concentrata sui problemi etici delle decisioni basate sull’IA, ma poco si è pensato a come le spiegazioni stesse potrebbero diventare preziose merci. Come potrebbero le organizzazioni e i clienti “generare valore dalle spiegazioni”? È un filo intrigante che ho deciso di tirare, immaginando come le aziende ricche di dati potrebbero sfruttare l’XAI come nuova fonte di reddito, combinandola con una strategia di monetizzazione basata su piattaforma.

Intuitivamente, unire pubblicità e spiegazioni potrebbe portare valore. Adattando tecnologie già usate per la pubblicità personalizzata, le spiegazioni potrebbero funzionare come merci informative il cui valore economico viene scoperto tramite un meccanismo d’asta su piattaforma. Immaginate una spiegazione fornita a un candidato respinto da un sistema di assunzione automatico, accompagnata da un annuncio mirato. Oltre a incentivare la fornitura di spiegazioni, queste “spiegazioni sponsorizzate” potrebbero avere benefici diffusi, come ridurre i costi di transazione nel mercato del lavoro o allocare meglio risorse educative e finanziarie.

Ma, come spesso accade, con i benefici arrivano anche costi nascosti. Ricerche recenti hanno dimostrato il “lato oscuro” dell’XAI: può essere uno strumento per manipolare la fiducia degli utenti o un veicolo per l’inganno. La trasparenza può essere fuorviante se crea un’illusione di comprensione senza una reale interpretabilità. Se a questo aggiungiamo che la pubblicità digitale è stata accusata di finanziare e diffondere disinformazione, capiamo che l’idea di fondere pubblicità e spiegazioni va approcciata con molta cautela.

La mia analisi si è quindi concentrata su due domande: è fattibile monetizzare le spiegazioni? E, ammesso che lo sia, è desiderabile, considerando il ruolo delle spiegazioni nelle nostre società democratiche? Per rispondere alla prima, ho ideato un artefatto concettuale che ho chiamato “piattaforma di spiegazione”, per mostrare come le tecnologie XAI esistenti potrebbero essere riconvertite in un canale di distribuzione per la pubblicità personalizzata. Per la seconda, ho elaborato una serie di scenari ipotetici, basati su casi reali e letteratura accademica. Ebbene, i risultati suggeriscono che le pressioni economiche potrebbero portare a spiegazioni di qualità inferiore, “corrotte” appunto.

Come Funziona (e Potrebbe Corrompersi) una “Piattaforma di Spiegazione”

Per capire il potenziale di monetizzazione, dobbiamo prima dare un’occhiata a come funziona la personalizzazione basata sul machine learning. Si combinano dati personali e algoritmi per generare punteggi predittivi individuali che portano a decisioni (ad esempio, offrire promozioni personalizzate, concedere un prestito, programmare turni di lavoro). Esistono molti algoritmi per questo, dai più semplici (alberi decisionali) ai più complessi (reti neurali profonde).

Il processo di personalizzazione include raccolta dati (features), apprendimento (addestramento e test del modello), previsione di punteggi personalizzati e, infine, azioni o decisioni personalizzate. Le features usate nel modello predittivo originale possono apparire nelle spiegazioni fornite all’utente. Ad esempio, una spiegazione per una candidatura di lavoro respinta potrebbe basarsi sulle competenze del candidato, usate anche per costruire il modello predittivo.

L’XAI ha generato centinaia di algoritmi per capire l’output dei modelli predittivi. Io mi concentro sulle spiegazioni a livello di istanza, che illuminano la previsione per singole persone. Tra queste, le spiegazioni controfattuali sono particolarmente interessanti. Non si limitano a dire “perché” una decisione è stata presa, ma suggeriscono azioni per ottenere un risultato desiderato in futuro. Tipicamente, assumono la forma di un “Se… Allora…”, descrivendo la più piccola modifica alle caratteristiche di un individuo che altererebbe la previsione. Ad esempio: “Se il tuo CV avesse incluso anche Python, allora saresti stato invitato a un colloquio“. Questo tipo di spiegazione è molto più utile di una semplice classifica di importanza delle caratteristiche, perché offre una strada per il “ricorso algoritmico”, cioè un insieme di azioni che una persona può intraprendere per migliorare il proprio risultato.

Tuttavia, non tutte le spiegazioni controfattuali sono ugualmente “azionabili”. Imparare Python è un’azione concreta; cambiare la propria lingua madre no. E qui sorge un problema: gli algoritmi XAI possono generare molteplici azioni che porterebbero a una decisione positiva. Quale scegliere? E se la scelta fosse guidata dal profitto?

Attualmente, le aziende variano molto nelle loro risposte alle richieste di spiegazione, ammesso che rispondano. Questo suggerisce che introdurre un incentivo economico potrebbe essere utile. Ma le sfide tecniche dell’XAI sono notevoli. C’è un’abbondanza di metodi di spiegazione controfattuale, ma poca ricerca comparativa e poche raccomandazioni pratiche su come costruire sistemi XAI efficaci e centrati sull’utente. Cosa succede se un algoritmo XAI genera spiegazioni contrastanti? Spesso i data scientist scelgono la loro preferita o non sanno come risolvere il conflitto. C’è molta incertezza su come misurare la qualità di una spiegazione.

La Piattaforma di Spiegazione: Un Nuovo Mercato?

Ho immaginato una “piattaforma di spiegazione” come un’infrastruttura digitale e un modello di business che crea un mercato a più versanti per la raccolta, l’elaborazione algoritmica, la circolazione e la monetizzazione dei dati degli utenti, in questo caso, le spiegazioni. Perché una piattaforma? Perché è un modello scalabile, si allinea con i modelli di business esistenti basati sulla monetizzazione dei dati e perché le pressioni di mercato tendono a spingere le aziende a fondere IA e sistemi pubblicitari.

Il valore economico deriverebbe dal fatto che una richiesta di spiegazione (specialmente per una decisione negativa) segnala fortemente l’intenzione dell’utente di agire per rimediare alla situazione: imparare una nuova competenza, cercare un nuovo lavoro, richiedere una nuova carta di credito. Questi segnali anticipatori sono preziosi per gli inserzionisti, proprio come una ricerca su Google.

Pensate al potenziale: negli Stati Uniti, molte università usano algoritmi per l’ammissione e l’assegnazione di aiuti finanziari. Uno studente respinto potrebbe richiedere una spiegazione, e questa “impression” della spiegazione diventerebbe un’opportunità pubblicitaria per produttori di laptop, servizi di tutoraggio, altre università. Nel settore finanziario, circa il 20,9% delle richieste di carte di credito è stato respinto nel 2021. Ogni rifiuto (o accettazione) potrebbe, in linea di principio, comportare una richiesta di spiegazione. Google riceve oltre 3 milioni di candidature all’anno, con un tasso di accettazione dello 0,67%. La maggior parte dei candidati non riceve alcun feedback. Le opportunità sono enormi.

La piattaforma vedrebbe tre attori principali:

• Destinatari della spiegazione: coloro che richiedono o ottengono spiegazioni algoritmiche.
• Fornitori della spiegazione: organizzazioni che forniscono spiegazioni e controllano il processo decisionale algoritmico.
• Inserzionisti interessati.

Simile a Google AdSense, le organizzazioni che forniscono spiegazioni (banche, agenzie di recruiting, assicurazioni) potrebbero aderire alla piattaforma come “editori di spiegazioni”. Le richieste di spiegazione rappresentano l’offerta (inventory), mentre gli inserzionisti rappresentano la domanda. La piattaforma funzionerebbe tramite un processo di Real-Time Bidding (RTB): quando viene generata una spiegazione, parte un’asta in cui gli inserzionisti offrono per avere l’opportunità di mostrare un annuncio pertinente accanto alla spiegazione. L’offerta più alta vince, e la decisione, la spiegazione e l’annuncio vengono consegnati all’utente.

I Rischi della Monetizzazione: Quando il Profitto Corrompe

Ed eccoci al nodo cruciale: la desiderabilità. Molti conflitti nascono dalle asimmetrie informative. I destinatari, ignari della diversità di spiegazioni possibili, potrebbero ricevere spiegazioni “corrotte”, ottimizzate per il profitto del fornitore. La molteplicità di spiegazioni formalmente accettabili dà ai fornitori il potere di selezionare quelle che massimizzano il profitto. Proprio come ci si preoccupava per i bias nelle ricerche sponsorizzate su Google, i profitti generati dalle spiegazioni sponsorizzate potrebbero orientare le spiegazioni verso gli interessi degli inserzionisti più facoltosi o di attori in malafede.

Ho identificato alcuni scenari di manipolazione:

• Cherry-picking delle spiegazioni: I fornitori scelgono la spiegazione che, pur tecnicamente corretta, è associata a un costo per clic (CPC) atteso più alto per loro, anche se meno utile per l’utente. Ad esempio, a Sally, candidata respinta, potrebbe essere detto “Consegui un MBA da una business school di alto livello” (spiegazione che attira pubblicità costose) invece di “Impara Python” (spiegazione più attuabile per lei).
• Spiegazioni spam: I fornitori potrebbero aggiungere caratteristiche ridondanti alle spiegazioni per aumentarne la profittabilità pubblicitaria, diluendo il valore della spiegazione per l’utente. Ad esempio, “Impara Python e R“, quando solo Python sarebbe sufficiente.
• Gonfiamento artificiale dei tassi di rifiuto: Istituzioni come le università, che beneficiano da alti tassi di rifiuto (migliorano il ranking), potrebbero alzare le soglie di classificazione, generando più rifiuti e quindi più opportunità di servire spiegazioni monetizzate.
• Modelli predittivi scadenti: Un’azienda di recruiting potrebbe usare un modello con scarsa capacità predittiva (ad esempio, che indovina a caso la qualità dei candidati) se fosse più redditizio pubblicare annunci con spiegazioni piuttosto che identificare correttamente candidati idonei per il cliente.
• Opportunità fasulle (Scam): Attori malevoli potrebbero creare annunci per lavori falsi con l’unico intento di respingere i candidati e incassare i ricavi dalle spiegazioni per il rifiuto e dagli annunci associati.

Un Bilancio Difficile: Luci e Ombre della XAI a Pagamento

Certo, la monetizzazione potrebbe avere un “lato positivo”. Storicamente, l’iniezione di dollari pubblicitari ha portato a un’esplosione di prodotti e servizi innovativi basati sull’IA. L’XAI monetizzata potrebbe stimolare l’adozione industriale, espandere l’accesso al ricorso algoritmico e al feedback automatizzato per molti gruppi sociali. Potrebbe promuovere l’autonomia delle persone, aiutando chi cerca lavoro a identificare i propri punti di forza e le aree di miglioramento.

Tuttavia, il “lato oscuro” è preoccupante. Una piattaforma di spiegazione potrebbe diventare un cavallo di Troia che erode i valori democratici. Il “diritto alla spiegazione” del GDPR è inteso come una salvaguardia della dignità umana. Secondo l’etica kantiana, le spiegazioni dovrebbero essere motivate dal dovere di rispettare la dignità delle persone, indipendentemente dai benefici monetari. Fondere pubblicità e XAI potrebbe corrompere irreversibilmente la qualità delle spiegazioni, anteponendo il profitto al rispetto.

Considerando l’attuale livello di frode e inganno nella pubblicità digitale, è quasi certo che la pubblicità basata su XAI mobiliterebbe attori senza scrupoli. Questo potrebbe paradossalmente contribuire a una società “scatola nera” ancora più impenetrabile, incentivando l’uso di modelli predittivi opachi. Potrebbe anche favorire l'”evitamento della colpa”, con le organizzazioni che usano le spiegazioni come capri espiatori. Inoltre, c’è il rischio di sfruttamento cognitivo: le spiegazioni potrebbero essere ingegnerizzate per incoraggiare una fiducia ingiustificata nei sistemi algoritmici.

Infine, la stessa pubblicità online è già opaca. Le spiegazioni monetizzate dovrebbero passare attraverso una miriade di intermediari. Come potrebbe un destinatario contestare una spiegazione o capire perché un certo annuncio è stato abbinato ad essa? Paradossalmente, accoppiare annunci e spiegazioni tramite un complesso processo RTB potrebbe richiedere… ulteriori spiegazioni! Rischiamo di ricreare il problema originale della scatola nera su scala leggermente ridotta, generando profitto per poche potenti aziende tecnologiche.

La mia analisi suggerisce che, sebbene la monetizzazione dell’XAI sia tecnicamente ed economicamente fattibile, solleva serie preoccupazioni sulla sua desiderabilità. Le spiegazioni giocano un ruolo cruciale nelle società democratiche. Trasformarle in merci potrebbe alterare le norme e le motivazioni che ne governano la fornitura. Come scrive il filosofo Michael Sandel, “…mettere un prezzo su ogni attività umana erode certi beni morali e civici di cui vale la pena prendersi cura”. La domanda che dobbiamo porci è: in una società sempre più algoritmica, un mercato delle spiegazioni servirebbe davvero al bene pubblico?

Fonte: Springer