Svelare i Segreti dell’Hindi: Come le Espressioni Multiparola Stanno Cambiando l’Intelligenza Artificiale (Grazie a un Pizzico di Statistica!)

Amici lettori, preparatevi per un viaggio affascinante nel cuore pulsante della lingua Hindi e, credetemi, ne vedremo delle belle! Vi siete mai chiesti come fanno i computer a capire non solo le singole parole, ma quelle combinazioni un po’ strane, i modi di dire, che per noi umani sono pane quotidiano? Sto parlando delle Espressioni Multiparola, o MWE (Multi-Word Expressions), quelle piccole gemme linguistiche che danno sapore e colore alle nostre conversazioni. Pensate a “Chai Paani” in Hindi: letteralmente “tè acqua”, ma che in realtà significa “una piccola colazione” o uno spuntino. O ancora “kaalaa dhana”, “denaro nero”. Capite bene che, se un computer traduce parola per parola, il risultato può essere… esilarante, o peggio, completamente fuorviante!

Ecco, nel mio campo, quello dell’Elaborazione del Linguaggio Naturale (NLP), le MWE sono una sfida e un’opportunità pazzesca. Se riusciamo a insegnare alle macchine a riconoscerle e interpretarle correttamente, facciamo un balzo da gigante in applicazioni come la traduzione automatica, il recupero di informazioni, l’analisi di testi e tanto altro. E indovinate un po’? Mentre per l’inglese e altre lingue “major” si è fatto parecchio, l’Hindi, con la sua ricchezza e complessità, è rimasto un po’ in disparte. Fino ad ora!

Cosa Sono Queste Benedette Espressioni Multiparola (MWE)?

Le MWE sono frasi composte da due o più parole che, insieme, assumono un significato che va oltre la semplice somma dei significati delle singole parole. Sono il sale della lingua, spesso usate nelle conversazioni informali di tutti i giorni, rendendo il testo più fluido e meno “ingessato”. Possono essere idiomatiche, dove il significato è completamente opaco (tipo “in bocca al lupo”), o più composizionali, ma comunque con una loro “personalità”. Dal punto di vista sintattico, si comportano come frasi e possono subire trasformazioni, ma semanticamente sono un osso duro!

La loro importanza nell’NLP è cruciale: la frequenza con cui appaiono in un testo (corpus) è un indicatore chiave. Per le MWE composizionali è più facile calcolare queste frequenze, ma per quelle non-composizionali, ragazzi, è un bel rompicapo e la ricerca è ancora in alto mare. Identificarle, estrarle e analizzarle statisticamente è il pane quotidiano per chi, come me, si occupa di queste tematiche.

In Hindi, abbiamo un sacco di categorie funzionali di MWE: acronimi, abbreviazioni, classi replicanti, costrutti particolari, predicati complessi, entità nominate, avverbi composti… un vero e proprio universo! Noi ci siamo concentrati in particolare sui cosiddetti 2-grammi (sequenze di due parole) e n-grammi (sequenze di ‘n’ parole, dove n è tipicamente maggiore di 2 ma non troppo grande, diciamo fino a 5, per non impazzire con la computazione e perché sequenze più lunghe diventano meno significative).

La Sfida dell’Hindi: Un Terreno (Quasi) Inesplorato e i Verbi Ausiliari Furbetti

Come accennavo, l’Hindi non ha ricevuto la stessa attenzione di altre lingue. E c’è un’altra gatta da pelare: i verbi ausiliari. A volte, si insinuano nel bel mezzo di una MWE, mandando in tilt i sistemi NLP tradizionali. Prendiamo l’esempio Hindi “usne baat bana di“. Letteralmente significa “Lui/lei ha fatto un discorso”, ma il suo significato figurato, quello di una MWE, è “lui/lei ha manipolato o inventato una storia”. Quel “di” è un verbo ausiliaro che confonde le acque. Stessa cosa per “vah kaam kar gaya“: letteralmente “Lui/lei ha fatto il lavoro ed è andato”, ma usato per dire “Lui/lei ha portato a termine il lavoro”. Quel “gaya” (un altro verbo ausiliaro) complica tutto. Questi casi dimostrano che anche MWE “disturbate” da verbi ausiliari vengono spesso fraintese dai modelli NLP standard.

Basandoci su queste osservazioni, nel nostro lavoro ci siamo concentrati sulle combinazioni di 2-grammi più promettenti, come Aggettivo+Sostantivo, Avverbio+Aggettivo, Sostantivo+Aggettivo e Sostantivo+Sostantivo. Per gli n-grammi, abbiamo considerato tutte e quattro le classi principali.

La Nostra Arma Segreta: Il Metodo delle Soglie Multiple

Ed eccoci al cuore della nostra ricerca: il Metodo delle Soglie Multiple. L’idea di base è semplice ma potente. Invece di usare un corpus di testo di dimensioni fisse e sperare per il meglio, ci siamo chiesti: qual è la dimensione minima del corpus (in numero di parole) necessaria per valutare in modo efficiente una specifica categoria di MWE Hindi? Non è detto che “più grande è meglio” sia sempre vero, o almeno, potrebbe esserci un punto oltre il quale aggiungere dati non migliora più significativamente i risultati, ma aumenta solo il tempo di calcolo.

Ecco come funziona, in soldoni:

1. Abbiamo preso un bel po’ di testo Hindi (romanzi, per la precisione, ricchi di MWE).
2. Lo abbiamo diviso in “pacchetti” di circa 75.000 parole ciascuno.
3. Abbiamo iniziato con il primo pacchetto, estratto le MWE e applicato le nostre misure statistiche.
4. Poi abbiamo aggiunto il secondo pacchetto al primo, ricalcolato tutto sul corpus più grande.
5. E così via, aggiungendo un pacchetto alla volta e monitorando come cambiavano i valori delle misure statistiche.

L’obiettivo? Trovare il punto in cui i valori delle misure si stabilizzano, cioè non cambiano più di tanto anche se aggiungiamo altro testo. Quella dimensione del corpus diventa la nostra “soglia” per quella specifica categoria di MWE e per quella misura statistica. E poiché diverse categorie e diverse misure possono avere soglie diverse, ecco spiegato il “Metodo delle Soglie Multiple”!

Questo approccio ci permette di avere un controllo molto più fine sulla valutazione delle MWE Hindi e rappresenta un bel passo avanti per varie applicazioni NLP, come la Traduzione Automatica, l’Espansione di Query e la Modellazione del Linguaggio. Una delle principali scoperte è che, per i romanzi Hindi, un corpus di circa 200.000-300.000 parole sembra essere il punto giusto per una valutazione efficiente. Mica male, eh?

Gli Strumenti del Mestiere: Le Misure Statistiche Sotto la Lente

Per fare questa magia, non ci siamo affidati al caso, ma a un arsenale di misure statistiche. Oltre alle classiche Precision, Recall e F-Measure (che ci dicono quanto è bravo il sistema a trovare le MWE giuste senza prender fischi per fiaschi), abbiamo usato misure più sofisticate:

• Pointwise Mutual Information (PMI): Misura quanto due parole tendono ad apparire insieme più spesso di quanto ci si aspetterebbe per caso. Un PMI alto suggerisce una forte associazione.
• Dice Coefficient (DC) e Modified Dice Coefficient (MDC): Usati per trovare la similarità degli n-grammi con il loro significato, basandosi sulla frequenza. L’MDC è una variante che cerca di migliorare le prestazioni.
• Lexical Fixedness (LF): Indica quanto è “fissa” una MWE dal punto di vista lessicale, cioè quanto è probabile che le parole che la compongono appaiano sempre insieme in quella forma.
• Syntactic Fixedness (SF): Simile alla LF, ma guarda alla flessibilità sintattica della MWE.
• Relevance Measure (RM): Una misura molto importante che valuta la “rilevanza” di una MWE in una frase misurando la correlazione tra le parole che formano la MWE e la frequenza nel testo.

Abbiamo applicato queste misure a diverse categorie di MWE Hindi, sia 2-grammi (come Avverbio+Avverbio, Avverbio+Aggettivo, Verbo+Avverbio, Sostantivo+Sostantivo, Verbo+Verbo) sia n-grammi (come Sequenze Aggettivo-Sostantivo, Avverbio-Aggettivo, Sostantivo-Aggettivo, Sostantivo-Sostantivo).

I Nostri “Topi da Laboratorio”: I Romanzi Hindi

Per mettere alla prova il nostro metodo, avevamo bisogno di dati, tanti dati! E cosa c’è di meglio dei romanzi, specialmente quelli che riflettono il parlato quotidiano? Il nostro primo dataset (Dataset I) proveniva da tre capolavori di “Munshi Premchand Ji”: “Godaan”, “Karambhumi” e “Alankaar”. Questi romanzi sono una miniera d’oro di MWE, perché descrivono conversazioni tra persone delle aree rurali. Parliamo di circa 500.000 parole in totale, di cui 375.000 usate per l’addestramento e 125.000 per il test.

Per essere sicuri che i risultati non fossero un caso, abbiamo usato anche un secondo dataset (Dataset II) di dimensioni simili, pescando da romanzi di altri grandi autori come “Rabindranath Tagore” (“Gora”, “Aankh ki kirkiri”) e “Dharamveer Bharti” (“Gunaho ke devta”, “Suraj ka satva ghoda”). L’idea era vedere se il nostro metodo si comportava bene su testi diversi, e così è stato!

Cosa Abbiamo Scoperto? I Risultati Parlano Chiaro!

L’applicazione del Metodo delle Soglie Multiple ci ha permesso di fare due cose fondamentali:

1. Determinare la dimensione ottimale del corpus: Come già detto, abbiamo visto che per molte categorie di MWE Hindi e per diverse misure statistiche, i valori tendono a stabilizzarsi dopo aver analizzato circa 200.000-300.000 parole. Questo è un’informazione preziosissima, perché ci dice che non serve necessariamente un corpus gigantesco per ottenere risultati affidabili, risparmiando tempo e risorse computazionali. Per esempio, per la categoria di 2-grammi “avverbio+avverbio” e la misura “precisione”, la soglia si è attestata sui 225.000 parole.
2. Identificare le misure statistiche migliori per ogni categoria di MWE: Non tutte le misure statistiche performano allo stesso modo per tutte le categorie di MWE. Abbiamo scoperto, ad esempio, che per i 2-grammi, PMI, MDC e LF sono ottime per “Avverbio+Avverbio”; PMI, MDC, LF e SF per “Avverbio+Aggettivo”; RM e SF per “Verbo+Avverbio”; DC per “Sostantivo Composto” (Noun+Noun); e RM per “Verbo Composto” (Verb+Verb). Questo ci permette di scegliere lo strumento giusto per il lavoro giusto, migliorando l’accuratezza dell’estrazione e dell’analisi.

Confrontando i risultati sui due dataset, abbiamo notato pochissime variazioni, il che convalida l’efficacia e la generalizzabilità del nostro approccio. Ad esempio, per i 2-grammi, la coppia Verbo+Verbo mostrava il punteggio di precisione più alto, mentre Avverbio+Aggettivo il più basso su entrambi i dataset. Per il PMI, invece, Avverbio+Aggettivo aveva il punteggio più alto. Questo dimostra l’importanza di usare diverse misure e di capire quale sia la più adatta a seconda della specifica MWE che stiamo analizzando.

È interessante notare che le misure che abbiamo proposto o approfondito, come Lexical Fixedness, Syntactic Fixedness e Relevance Measure, si sono dimostrate altrettanto significative delle più consolidate PMI, DC e MDC, arricchendo il toolkit a disposizione dei ricercatori.

E Quindi? A Cosa Serve Tutto Questo?

Beh, spero di avervi trasmesso un po’ del mio entusiasmo! Questo lavoro sull’analisi statistica delle MWE Hindi usando il Metodo delle Soglie Multiple non è solo un esercizio accademico. Ha implicazioni pratiche enormi. Migliorare l’identificazione e l’analisi delle MWE significa creare sistemi NLP più intelligenti e accurati, capaci di comprendere le sfumature di una lingua complessa come l’Hindi. Pensate a traduttori automatici che non producono frasi senza senso, a motori di ricerca che capiscono veramente cosa state cercando, o ad assistenti virtuali che interagiscono in modo più naturale.

Il nostro approccio, che permette di gestire MWE complesse (anche quelle con i verbi ausiliari “infiltrati”) e di determinare la dimensione ottimale del corpus, è un contributo importante. E non ci fermiamo qui! Il futuro ci vedrà esplorare altre misure statistiche, migliorare ulteriormente l’accuratezza e, perché no, applicare questo metodo ad altre lingue, magari quelle meno “servite” dalla ricerca attuale.

Insomma, il viaggio nel mondo delle espressioni multiparola è appena iniziato, e sono convinto che ci riserverà ancora molte sorprese. Restate sintonizzati!

Fonte: Springer