Modelli IA che Imparano una Volta Sola? Il Segreto del Riutilizzo nell’Apprendimento per Rinforzo!

Amici, parliamoci chiaro: quante volte, nel mondo dell’Intelligenza Artificiale, ci siamo trovati a pensare: “E se potessi insegnare qualcosa di nuovo al mio modello senza dover ricominciare tutto da capo?”. Beh, tenetevi forte, perché oggi vi porto nel cuore di una delle sfide più affascinanti e, lasciatemelo dire, praticamente utilissime dell’Apprendimento per Rinforzo (RL): la riutilizzabilità dei modelli. Immaginate di poter prendere un modello già addestrato, che ha faticato per imparare un compito, e riutilizzare quella conoscenza per uno nuovo, magari simile, senza dovergli far rifare tutta la trafila. Un sogno, vero? Soprattutto quando si parla di compiti complessi, dove l’addestramento può costare tempo, risorse e una buona dose di pazienza.

Mentre nel campo della gestione dei dati la riutilizzabilità dei modelli supervisionati è pane quotidiano, per l’RL, credetemi, eravamo un po’ in alto mare. Fino ad ora! Quello che vi racconto è, a quanto ne so, il primo studio serio e strutturato su questo fronte. Abbiamo messo a punto un framework, una specie di “scatola degli attrezzi” intelligente, basata su un modello di dati a grafo, espressivo e senza perdite, che riesce a “fotografare” le politiche apprese da algoritmi di RL, sia quelli basati sul Temporal Difference Learning (TDL) sia quelli più moderni di Deep-RL.

Capire le Politiche Apprese: Un Grafo per Amico

Il bello di questo nostro framework è che può catturare funzioni di ricompensa arbitrarie, che poi possiamo comporre al momento dell’inferenza, cioè quando il modello deve agire. E non è finita qui: abbiamo garanzie teoriche che ci dicono che il risultato ottenuto riutilizzando i modelli è lo stesso che avremmo ottenuto addestrando da zero per il nuovo compito. Mica male, eh?

Per farvi un esempio pratico, pensate a un utente che cerca una fotocamera online spulciando tra mille recensioni. L’obiettivo è guidarlo verso la fotocamera giusta (e una recensione rappresentativa), mostrandogli nel frattempo altre recensioni utili. Questo è un classico compito di esplorazione dati che si può affrontare con l’RL. Il nostro modello impara a raffinare la query iniziale, tipo “Fotocamera”, scegliendo parole chiave (le “azioni” in RL) da una lista come: {Fotocamera, Grandangolo, Otturatore, Digitale, ISO, Leggera, Economica}. Ogni stato nel nostro sistema rappresenta la recensione più pertinente per una data query. Con 7 parole chiave, capite bene che gli stati possibili sono ben 127 (2^7 – 1, più lo stato senza parole chiave)!

Ora, immaginiamo di avere due modelli RL pre-addestrati:

• Modello 1 (compito t1): Addestrato per navigare velocemente tra le recensioni, selezionando azioni che aumentano la somiglianza della query corrente con una recensione rappresentativa della fotocamera target.
• Modello 2 (compito t2): Addestrato per coprire quante più caratteristiche (parole chiave) possibili, convergendo sempre verso la recensione rappresentativa.

E se ora volessimo un nuovo compito (tc) che combini i due? Ad esempio, esplorare recensioni massimizzando la copertura delle caratteristiche desiderabili E minimizzando i passi per raggiungere la recensione target. La funzione di ricompensa di tc sarebbe semplicemente la somma delle funzioni di ricompensa di t1 e t2. Il nostro obiettivo? Risolvere tc in modo ottimale, senza nessun nuovo addestramento, usando solo i modelli pre-addestrati di t1 e t2. Sembra magia, ma è scienza (e un po’ di ingegneria dei dati)!

Le Sfide: Non è Tutto Oro Quello che Luccica (Subito)

Certo, le sfide non mancano. Vogliamo una politica ottimale (quella con la ricompensa cumulativa più alta) con garanzie provate, senza addestramento. E deve funzionare per TDL (come Q-learning e SARSA) e Deep-RL, con qualsiasi numero di funzioni di ricompensa. La prima gatta da pelare è stata progettare un modello espressivo e senza perdite per rappresentare e memorizzare i valori Q (che misurano la “bontà” di un’azione in un certo stato) delle politiche pre-addestrate.

Poi c’è il fattore di sconto (γ). Questo parametro, nelle equazioni di aggiornamento del TDL, pesa l’importanza delle ricompense future. Se γ è diverso da zero, calcolare esattamente i valori Q del nuovo compito senza addestramento diventa impossibile. Questo perché la componente di ricompensa futura nei valori Q è ricorsiva: dipende da tutte le future coppie stato-azione fino al raggiungimento dello stato finale. Un bel rompicapo!

La nostra soluzione? Un framework computazionale che cattura metadati dettagliati dei modelli RL pre-addestrati. Abbiamo progettato un modello basato su grafo, arricchito con strutture dati leggere, che registra informazioni di addestramento finissime. Questo ci permette di ottenere una politica equivalente per un nuovo compito, assicurando che la sua ricompensa cumulativa non sia inferiore a quella della politica addestrata da zero.

Algoritmi per Ogni Occasione: Con o Senza Sconto

Abbiamo sviluppato due algoritmi principali:

• ExZeroDiscount: Per quando il fattore di sconto γ è zero. In questo caso, le cose sono più semplici. L’algoritmo ricostruisce la tabella dei Q-value per il nuovo compito e poi, con un singolo passaggio goloso, identifica il percorso con il Q-value cumulativo più alto. Tempo di esecuzione? Lineare!
• ExNonZeroDiscount: Per il caso più complesso con γ diverso da zero. Qui non possiamo calcolare i Q-value esatti, ma possiamo definire dei limiti inferiori e superiori. L’algoritmo usa un meccanismo di backtracking (partendo dallo stato finale) per stimare questi limiti e poi un forward lookup per trovare tutte le politiche candidate, potando quelle non necessarie. Attenzione però: nel peggiore dei casi, potremmo dover valutare un numero esponenziale di percorsi!

Per le applicazioni dove serve un bilanciamento tra qualità ed efficienza, abbiamo anche Greedy-k, un algoritmo parametrizzato. Un valore di k più alto porta a risultati migliori ma più lenti, e viceversa. E la cosa interessante è che le nostre soluzioni funzionano anche se le funzioni di ricompensa dei compiti pre-addestrati sono scalate da pesi positivi arbitrari nel nuovo compito. La struttura della politica ottimale non cambia!

Un dettaglio cruciale per ExNonZeroDiscount: il sottografo su cui lavora deve essere un DAG (Directed Acyclic Graph), cioè senza cicli. Se ci sono cicli, il framework funziona ancora, ma addio garanzie di ottimalità. Affrontare i cicli è una delle sfide aperte più stuzzicanti.

Alla Prova dei Fatti: Esperimenti e Risultati

Abbiamo messo alla prova il nostro sistema con due casi d’uso comuni: il raffinamento di query (come nell’esempio della fotocamera, usando anche LLM come gpt-3.5-turbo per generare query raffinate) e il movimento di un robot su una griglia. Abbiamo confrontato le nostre soluzioni con l’addestramento da zero e con approcci basati sul transfer learning.

I risultati? Beh, sono stati entusiasmanti!

• Qualità: Le nostre soluzioni esatte (ExZeroDiscount e ExNonZeroDiscount) hanno raggiunto il 100% di recall, confermando le garanzie teoriche. Greedy-k, come previsto, ha mostrato un compromesso, ma con k=2 spesso eguagliava le soluzioni esatte. Le tecniche di transfer learning, senza fasi di addestramento aggiuntive, hanno faticato parecchio, cosa che ci aspettavamo.
• Generalità: Anche scalando le componenti della funzione di ricompensa con pesi arbitrari, ExNonZeroDiscount ha mantenuto il 100% di recall. Abbiamo anche testato con DQN (una tecnica Deep-RL) e, sebbene non ci siano garanzie teoriche per questo caso specifico, il nostro approccio euristico DQN Greedy ha funzionato ragionevolmente bene.
• Velocità: Abbiamo ottenuto speedup fino a 50 volte rispetto all’addestramento da zero! Anche nei casi in cui l’addestramento era veloce, il nostro speedup era di almeno 3 volte. Quando si scalano i pesi delle ricompense, lo speedup si attestava tra 5 e 25 volte.
• Efficienza della Struttura Dati: Il tempo per costruire il nostro modello a grafo è minimo e scala linearmente con il numero di task. Anche l’uso di memoria è contenuto, non richiedendo più spazio dell’addestramento da zero.

Le strategie di pruning in ExNonZeroDiscount si sono dimostrate efficaci, con una percentuale di potatura intorno all’8% (e 100% se γ=0, come da teoria).

Cosa ci Riserva il Futuro?

Questo lavoro, secondo me, apre la strada a un RL più efficiente e pratico. Certo, ci sono ancora problemi aperti intriganti: come gestire i grafi con cicli in modo ottimale? Come estendere le garanzie teoriche a funzioni di Q-value approssimate da modelli lineari o reti neurali più complesse? E cosa dire delle funzioni di ricompensa non lineari o degli ambienti non deterministici? Sono tutte domande che ci terranno impegnati.

In conclusione, la possibilità di riutilizzare modelli RL pre-addestrati non è più solo un desiderio. Abbiamo dimostrato che è fattibile, efficiente e con solide basi teoriche. Questo significa poter affrontare problemi sempre più complessi, risparmiando risorse preziose e accelerando l’applicazione dell’RL nel mondo reale. E per me, questa è una delle soddisfazioni più grandi!

Fonte: Springer