SMART: La Svolta nel Credit Scoring per Dati Mancanti? Vi Racconto la Mia Idea!
Ciao a tutti! Oggi voglio parlarvi di un problema che affligge chiunque lavori con i dati, specialmente nel settore finanziario e del credit scoring: i maledetti dati mancanti. Sapete, quando cerchiamo di capire se una persona o un’azienda sarà in grado di ripagare un prestito, ci basiamo su un sacco di informazioni: reddito, storico dei pagamenti, età, beni posseduti… Ma cosa succede quando alcune di queste informazioni semplicemente… non ci sono?
Il Dramma dei “Buchi” nei Dati
Pensateci: state costruendo un modello per prevedere il rischio di credito (la famosa Probabilità di Default o PD, come la chiamiamo noi addetti ai lavori), ma il vostro dataset è pieno di buchi. Magari un cliente non ha dichiarato un’informazione, oppure c’è stato un errore nella raccolta dati. Secondo uno studio sul famoso repository UCI, ben il 45% dei dataset contiene valori mancanti! Questo è un bel problema, perché:
- Riduce il numero di dati utilizzabili per l’analisi.
- Può distorcere i risultati e portare a previsioni sbagliate.
- Molti modelli di machine learning, semplicemente, non funzionano se i dati non sono completi.
Tradizionalmente, come si affronta? Beh, spesso si fa la cosa più semplice: si buttano via le righe (i campioni) con dati mancanti. Oppure si riempiono i buchi con la media (mean imputation). Ma capite bene che sono soluzioni un po’ rozze, che spesso non colgono la complessità delle relazioni tra i dati e possono portare a modelli poco accurati. Insomma, non il massimo se devi decidere se concedere un mutuo!
L’Imputation: Riempire i Vuoti con Intelligenza
Per fortuna, la ricerca non si è fermata. Esistono tecniche più sofisticate, chiamate metodi di imputation, che cercano di “stimare” i valori mancanti in modo intelligente, basandosi sui dati che *abbiamo*. L’obiettivo è ottenere un dataset completo che sia il più vicino possibile alla realtà “sottostante”.
Ci sono approcci statistici come MICE (Multiple Imputation by Chained Equations) e approcci basati sul machine learning come MissForest (che usa le Random Forest). Negli ultimi anni, poi, sono emerse tecniche ancora più avanzate, come le Reti Generative Avversarie (GAN) applicate all’imputation. Un esempio è GAIN (Generative Adversarial Imputation Networks), che usa due reti neurali (un generatore e un discriminatore) che “giocano” l’una contro l’altra per imparare a generare valori mancanti molto realistici, catturando la distribuzione originale dei dati. Promettente, vero?
La Mia Proposta: Nasce SMART!
Nonostante i progressi, sentivo che si poteva fare ancora di meglio, specialmente con i dataset complessi e spesso “rumorosi” del credit scoring. Così, partendo dalle potenzialità di GAIN, ho sviluppato una nuova tecnica che ho chiamato SMART: Structured Missingness Analysis and Reconstruction Technique. L’idea di base è combinare due passaggi chiave:
- Pulizia e Normalizzazione Preliminare: Prima di tentare di riempire i buchi, perché non provare a “ripulire” il dataset dal rumore e a evidenziare la sua struttura fondamentale? Per questo uso una tecnica potente ma efficiente chiamata randomized Singular Value Decomposition (rSVD). Immaginatela come un modo per comprimere l’informazione essenziale del dataset, scartando il rumore e le ridondanze. Inoltre, normalizzo i dati (li porto tutti in una scala tra 0 e 1) per aiutare la fase successiva.
- Imputation con GAIN Potenziato: Una volta che abbiamo una versione più “pulita” e strutturata del dataset, applichiamo GAIN per imputare i valori mancanti. La mia ipotesi era che, lavorando su dati pre-elaborati con rSVD, GAIN sarebbe stato in grado di imparare meglio la distribuzione dei dati e generare stime dei valori mancanti ancora più accurate.
In pratica, SMART cerca prima di capire la “struttura nascosta” dei dati e poi usa questa conoscenza per riempire i vuoti in modo più informato.
SMART alla Prova dei Fatti: I Risultati
Ovviamente, un’idea è bella solo se funziona! Per testare SMART, ho preso un dataset di riferimento molto usato nel credit scoring, il “Default of Credit Card Clients” (DC) disponibile su UCI. Questo dataset è originariamente completo, il che è perfetto perché mi ha permesso di “creare” artificialmente dei dati mancanti (con diverse percentuali: 5%, 10%, 15%, 20%, fino a un incredibile 80%!) e poi vedere quanto bene le varie tecniche riuscivano a ricostruirli. Ho assunto che i dati mancassero in modo completamente casuale (MCAR), un’ipotesi comune in molti studi.
Ho confrontato SMART con un bel po’ di campioni:
- Metodi “classici” di machine learning: MICE e MissForest.
- L’originale GAIN e diverse sue varianti recenti (GAIN+vs, SGAIN, WSGAIN-CP, WSGAIN-GP, CGAIN).
Per valutare l’accuratezza dell’imputation, ho usato una metrica standard chiamata Root Mean Square Error (RMSE): più basso è l’RMSE, migliore è la ricostruzione dei valori mancanti.
Ebbene, i risultati sono stati davvero incoraggianti! SMART ha costantemente ottenuto l’RMSE più basso rispetto a tutti gli altri metodi, e con tutte le percentuali di dati mancanti testate. La differenza è diventata particolarmente evidente quando i dati mancanti erano tanti:
- Con il 20% di dati mancanti, SMART ha migliorato l’RMSE del 7.04% rispetto al miglior benchmark.
- Con il 50% di dati mancanti, il miglioramento è stato del 6.34%.
- Con l’80% di dati mancanti (una situazione estrema!), SMART ha staccato gli altri con un miglioramento del 13.38%!
Ho anche usato un test statistico (il test di Friedman) per confermare che queste differenze non fossero dovute al caso, e i risultati sono stati statisticamente significativi (p < 0.05).
Non Solo Imputation: Migliorano Anche le Previsioni!
Ok, ricostruire i dati è importante, ma alla fine quello che conta nel credit scoring è fare previsioni accurate sul rischio di default. Quindi, ho fatto un passo in più: dopo aver imputato i dati mancanti con SMART e con gli altri metodi, ho usato i dataset completati per addestrare un modello di classificazione standard (una Regressione Logistica) per prevedere il default.
Per valutare la performance predittiva, ho usato la metrica AUROC (Area Under the Receiver Operating Characteristic Curve), che è particolarmente adatta quando le classi sono sbilanciate (come spesso accade nel credit scoring, dove i “cattivi pagatori” sono meno dei “buoni”).
Anche qui, SMART ha brillato! Il dataset imputato con SMART ha permesso al modello di classificazione di ottenere l’AUROC più alto rispetto ai dataset imputati con gli altri metodi (testato con il 20% di dati mancanti). Questo dimostra che un’imputation più accurata si traduce direttamente in modelli di credit scoring più performanti e affidabili.
Perché SMART Funziona Meglio? E Qualche Riflessione
Credo che il successo di SMART derivi proprio dalla sinergia tra rSVD e GAIN. L’rSVD agisce come un “filtro intelligente” che pulisce i dati e ne estrae la struttura essenziale, rendendo più facile per GAIN imparare la distribuzione corretta e generare imputazioni coerenti. È come dare a GAIN una mappa migliore del territorio prima di chiedergli di riempire le zone sconosciute.
Certo, anche le GAN come GAIN non sono perfette. A volte possono soffrire di problemi come il “mode collapse” (quando il generatore impara a produrre solo un tipo di output, non catturando tutta la varietà dei dati) o instabilità durante l’addestramento. Sono sfide note, soprattutto con dati tabellari complessi come quelli finanziari. Tuttavia, l’approccio di SMART, con la sua fase di pre-elaborazione, sembra mitigare alcuni di questi problemi, portando a risultati più stabili e accurati.
Limiti e Prossimi Passi
Sono molto soddisfatto dei risultati, ma sono anche consapevole che questo è solo un primo passo. Il test principale è stato condotto su un solo dataset (anche se molto rilevante). La prossima sfida sarà validare SMART su un’ampia gamma di dataset di credit scoring diversi (tedesco, australiano, polacco…) per confermarne la generalizzabilità.
Inoltre, penso che l’idea di combinare l’estrazione di strutture latenti con modelli generativi possa essere applicata anche in altri campi oltre alla finanza, magari nell’elaborazione del linguaggio naturale o nell’analisi di immagini. Chissà dove ci porterà la ricerca!
In Conclusione
Gestire i dati mancanti è cruciale per costruire modelli di credit scoring affidabili. Metodi semplicistici non bastano più. Tecniche avanzate come GAIN sono promettenti, ma possono essere ulteriormente migliorate. Con SMART, ho proposto un framework che, combinando la potenza della decomposizione rSVD per la pulizia e la strutturazione dei dati con l’intelligenza generativa di GAIN, riesce a ottenere imputazioni significativamente più accurate, specialmente in condizioni difficili con molti dati mancanti. Questo si traduce in previsioni di rischio di credito più solide. Spero che questo lavoro possa contribuire a rendere i modelli finanziari più robusti e, in ultima analisi, più equi.
Fonte: Springer
