Intelligenza Artificiale ad Alto Rischio: Amica o Nemica? Viaggio tra Promesse e Pericoli

Ehilà, amici appassionati di tecnologia e curiosi del futuro! Oggi voglio parlarvi di un argomento che sta letteralmente plasmando il nostro mondo, un boccone tanto succulento quanto, diciamocelo, un po’ spaventoso: l’Intelligenza Artificiale (IA) ad alto rischio. Sì, avete capito bene. L’IA non è solo chatbot simpatici o algoritmi che ci consigliano la prossima serie TV. C’è un universo di applicazioni potentissime che promettono di rivoluzionare ogni settore, dalla sanità alla finanza, ma che portano con sé un bagaglio di sfide e rischi da non sottovalutare.

Pensateci un attimo: l’IA sta diventando il copilota invisibile in moltissime delle nostre attività quotidiane e professionali. Ci aiuta a essere più efficienti, automatizza compiti noiosi e apre le porte a innovazioni che fino a ieri sembravano fantascienza. Ma, come in ogni grande avventura, ci sono anche i draghi da affrontare. Integrare l’IA nei sistemi informativi, che sono già di per sé complessi intrecci di tecnologia e interazioni umane, introduce rischi che vanno ben oltre il semplice “ops, il computer si è impallato”.

Proprio per questa dualità – immense opportunità da un lato, rischi significativi dall’altro – l’IA è finita sotto i riflettori di accademici, industrie e, ovviamente, legislatori. E qui entra in gioco un pezzo da novanta: l’AI Act dell’Unione Europea. Dopo tre anni di negoziati, nell’aprile 2024 è stata varata questa normativa pionieristica, la prima al mondo a tentare di dare un quadro legale completo all’uso dell’IA. Il cuore pulsante dell’AI Act? Una classificazione dei sistemi di IA basata sul rischio, con un’attenzione quasi maniacale per quelli definiti “ad alto rischio”.

Ma cosa significa “IA ad Alto Rischio”? E perché dovrebbe interessarci?

Semplice: parliamo di quei sistemi di IA che potrebbero avere un impatto diretto e potenzialmente pericoloso sulla nostra salute, sicurezza o sui nostri diritti fondamentali. Pensate a un’IA che supporta diagnosi mediche, o che gestisce infrastrutture critiche come le reti energetiche, o ancora che valuta la nostra affidabilità creditizia. Capite bene che un errore qui non è una semplice seccatura. Per questo, l’AI Act impone a questi sistemi una sorveglianza rigorosa, con valutazioni di conformità interne obbligatorie e, in casi specifici, revisioni esterne.

Nonostante queste misure, le domande aperte sono ancora tantissime, specialmente quando si tratta di integrare queste IA “pericolose” nei sistemi informativi. È un po’ come maneggiare un materiale preziosissimo ma altamente instabile. Da un lato, il potenziale per il progresso è enorme; dall’altro, emergono dilemmi tecnici e sociali complessi, che ci costringono a trovare equilibri delicati. Immaginate di dover bilanciare l’equità di un’IA (la cosiddetta fairness) con la necessità di raccogliere dati sensibili (età, genere, etnia) per renderla più equa, e contemporaneamente con l’impatto che tutto ciò potrebbe avere sulle sue prestazioni. Un vero e proprio trilemma!

E qui entriamo in gioco noi, la comunità che si occupa di Sistemi Informativi (IS). Siamo un po’ gli architetti e gli ingegneri di questi mondi digitali, quelli che cercano di far dialogare l’informatica, il management e altre discipline per portare innovazione tecnologica nel business e nella società. Abbiamo un ruolo cruciale nell’affrontare le sfide dello sviluppo e dell’impiego responsabile e sostenibile dell’IA ad alto rischio. Dobbiamo capire come sfruttare le opportunità mitigando i rischi, come risolvere questi dilemmi emergenti.

Recentemente, durante la 19ª Conferenza Internazionale di Wirtschaftsinformatik (WI 2024), abbiamo discusso proprio di questo. Esperti del mondo accademico e industriale si sono confrontati su come i Sistemi Informativi debbano interpretare l’IA ad alto rischio, se la nostra visione coincide con quella legale, quali specifiche opportunità e rischi vediamo, e come la nostra posizione socio-tecnica unica possa aiutarci a districare la matassa.

I Grandi Dilemmi dell’IA: Prestazioni vs. Equità, Utilità vs. Privacy, Trasparenza vs. Sicurezza

Parliamoci chiaro: la promessa dell’IA ad alto rischio è tanto esaltante quanto terrificante. La sua autonomia, capacità di apprendimento e consapevolezza del contesto possono rivoluzionare settori come la sanità, la finanza e i trasporti. Ma da grandi poteri derivano grandi responsabilità. Come possiamo sfruttare al massimo le prestazioni, l’utilità o la trasparenza dell’IA senza sacrificare l’equità, la privacy o la sicurezza? È una domanda che tocca il cuore etico della progettazione dell’IA.

Prendiamo l’esempio di un’IA usata da una banca per valutare le richieste di prestito. Se il modello è addestrato su dati storici che riflettono pregiudizi passati (magari concedendo prestiti più facilmente a certi gruppi socio-economici), l’IA potrebbe semplicemente replicare queste ingiustizie, ottimizzando la precisione predittiva ma perpetuando l’esclusione finanziaria. Ecco il classico dilemma prestazioni vs. equità. L’ho visto succedere spesso lavorando con banche, assicurazioni e aziende sanitarie. Se modifichiamo l’IA per renderla più “equa”, spesso sacrifichiamo un po’ di accuratezza. Un bel rompicapo!

Come IS, possiamo sviluppare metodi di apprendimento “consapevoli dell’equità” che non vedano questi due obiettivi come mutualmente esclusivi. Possiamo creare metriche di equità specifiche per ogni contesto e strumenti di audit per monitorare l’equità nel tempo. Non sarà mai una soluzione universale, ma possiamo avvicinarci.

Poi c’è il dilemma utilità vs. privacy. Immaginate un sistema IA per prevedere epidemie. Richiederebbe una marea di dati sanitari personali. L’utilità sociale sarebbe enorme, ma a quale costo per la nostra privacy? Più dati raccogliamo, più precise le previsioni, ma anche più alto il rischio di violazioni. Lo vediamo già con i dispositivi indossabili: smartwatch e fitness tracker raccolgono dati intimi sulla nostra salute. Utile, sì, ma con serie preoccupazioni per la privacy. Qui, tecnologie come l’apprendimento federato (dove i modelli si addestrano su dati locali decentralizzati senza trasferirli a un server centrale) o gli approcci incentrati sull’utente (come i “caveau” di dati personali) potrebbero offrire un equilibrio.

Infine, il dilemma trasparenza vs. sicurezza. In sistemi critici come la guida autonoma o le decisioni finanziarie, la trasparenza è fondamentale per la fiducia e la responsabilità. Ma più un sistema IA è trasparente, più è vulnerabile. Gli hacker potrebbero sfruttare la trasparenza di un modello finanziario per “smontarlo” e compiere attacchi. Le case automobilistiche devono spiegare come le loro IA prendono decisioni, specialmente in caso di incidenti. Ma quanta trasparenza è troppa, esponendo il sistema a rischi? Noi del campo IS possiamo lavorare su modelli di “spiegabilità ibrida”, che combinino la comprensione delle singole decisioni con una visione globale del modello, adattando il livello di dettaglio al pubblico e al contesto, senza svelare segreti industriali.

Affrontare le Sfide Normative e Cognitive

L’AI Act, come dicevo, stabilisce requisiti precisi per i sistemi ad alto rischio. Molti di questi sono temi su cui noi ricercatori IS lavoriamo da anni: sistemi di gestione del rischio, governance dei dati, documentazione tecnica, trasparenza, robustezza, cybersecurity e, un punto cruciale, la supervisione umana (Articolo 14 dell’AI Act).

Quest’ultimo aspetto è affascinante. L’idea è che gli umani debbano poter monitorare l’output dell’IA e intervenire se è potenzialmente dannoso. Ma attenzione al “bias da automazione”: la tendenza a fidarsi troppo dell’IA, trascurando i suoi errori. Collaborare con l’IA non è una passeggiata; richiede capacità metacognitive, cioè la capacità di riflettere criticamente sui suggerimenti del sistema. Studi recenti, inclusa una meta-analisi su oltre 100 esperimenti, mostrano risultati sorprendenti: il team uomo-IA supera il modello IA da solo solo nel 42% dei casi! Questo solleva domande fondamentali: chi è davvero in grado di supervisionare efficacemente un’IA in contesti critici come la medicina? Quali competenze dobbiamo formare?

Dobbiamo pensare oltre la semplice configurazione “un umano, un’IA”. Forse servono team di diverse IA e diversi umani. E come progettiamo sistemi IA che favoriscano una collaborazione efficace e permettano agli umani di identificare correttamente gli errori? Quanta trasparenza sui dati sottostanti è necessaria?

L’IA nelle Infrastrutture Critiche: Un Terreno Fertile per l’IS

Le infrastrutture critiche – energia, trasporti, telecomunicazioni, finanza, sanità – sono la linfa vitale delle nostre società. L’IA qui offre enormi vantaggi: maggiore efficienza (manutenzione predittiva, ottimizzazione delle reti energetiche) e maggiore sicurezza (sistemi di allerta precoce per cyberattacchi o disastri naturali). Ma i rischi sono altrettanto grandi: malfunzionamenti tecnici con conseguenze catastrofiche, cyberattacchi mirati, discriminazione algoritmica e mancanza di trasparenza nei modelli “black box”.

L’AI Act classifica esplicitamente l’uso dell’IA nelle infrastrutture critiche come “ad alto rischio”. Per noi del campo IS, questo è un campo di ricerca ad altissimo impatto. A differenza dell’informatica pura, possiamo sfruttare la nostra forza nello sviluppo di soluzioni socio-tecniche, che bilancino le esigenze tecniche con i requisiti etici e normativi. Possiamo generare conoscenza progettuale (principi di design, teorie) per sistemi IA affidabili in questi contesti, e studiare le prospettive organizzative, considerando che spesso queste organizzazioni non sono guidate solo dal profitto.

Il Caso Spinoso del Riconoscimento delle Emozioni

Le emozioni sono parte integrante della nostra vita, influenzano apprendimento, lavoro, decisioni. I sistemi di riconoscimento delle emozioni, basati su biosensori (come quelli negli smartwatch che misurano la variabilità della frequenza cardiaca), potrebbero aiutarci a regolare meglio i nostri stati emotivi. Immaginate piattaforme di apprendimento o sistemi per riunioni video che si adattano al nostro stato emotivo.

Tuttavia, l’AI Act classifica questi sistemi come ad alto rischio e, addirittura, ne proibisce l’uso in contesti lavorativi ed educativi, salvo per scopi medici o di sicurezza. La buona notizia è che la ricerca è ancora permessa, ma sarà sotto stretta osservazione. Il problema è che concetti come “emozione”, “luogo di lavoro” o “istituzione educativa” non sono definiti chiaramente nell’AI Act, creando incertezza. È un peccato, perché vietare tout court questi sistemi ci priva dell’opportunità di sfruttarne il potenziale. Invece di proibire, dovremmo capire come progettarli in modo responsabile, magari usando le “sandbox regolamentari” previste dall’AI Act per testarli in condizioni reali.

Start-up e PMI: Una Scalata Difficile nel Mondo dell’IA ad Alto Rischio

Per le start-up e le piccole e medie imprese, costruire un business attorno a un prodotto IA ad alto rischio è una vera impresa. Le sfide principali sono tre:

• Accesso a dati di addestramento affidabili: Specialmente nel settore medico, ottenere dati di qualità è difficile per chi è fuori dal mondo accademico o non ha partnership con grandi strutture sanitarie.
• Ostacoli normativi: Certificazioni come CE o ISO sono costose (parliamo di decine di migliaia di euro, a volte cifre a sei zeri per più certificazioni) e richiedono tempo. Molte start-up, soprattutto in fase iniziale e con investimenti pre-seed in calo, faticano a sostenere questi costi, rilasciando prodotti “solo per ricerca” in attesa di fondi.
• Tempo per arrivare sul mercato (go-to-market): Lo sviluppo, la valutazione e la certificazione di un’IA ad alto rischio richiedono tempo, spesso un anno o più solo per la certificazione CE. Questo ritarda la generazione di ricavi, mettendo a dura prova i piani aziendali e le aspettative degli investitori che cercano ritorni rapidi.

Nonostante queste difficoltà, il numero di start-up focalizzate sull’IA è in crescita. L’AI Act, sebbene possa sembrare una complicazione, può in realtà fornire linee guida utili ai fondatori per definire strategie fin dalle prime fasi. E dovremmo incoraggiare di più il trasferimento tecnologico dalla ricerca accademica al mercato.

Quindi, Qual è la Strada da Seguire?

Tornando alla domanda iniziale: come possiamo sfruttare il potenziale dell’IA senza sacrificare i nostri valori fondamentali? La risposta non è semplice. I dilemmi sono complessi e richiedono scelte difficili. Ma noi, come disciplina dei Sistemi Informativi, possiamo fare da bussola, guidando queste scelte con strumenti, framework di governance e processi che aiutino a bilanciare le priorità. La collaborazione interdisciplinare – con giuristi, eticisti, informatici e industria – è essenziale. Dobbiamo essere proattivi, dialogare con i politici, proporre quadri normativi.

In definitiva, non si tratta di risolvere completamente questi compromessi, ma di navigarli responsabilmente ed efficacemente nel tempo. Dobbiamo abbracciare la nostra responsabilità non solo di studiare il mondo, ma di contribuire attivamente a migliorarlo, specialmente quando si tratta delle complessità dell’Intelligenza Artificiale ad alto rischio. È una sfida affascinante, non trovate?

Fonte: Springer