ChatGPT e la Ricerca Scientifica: L’Arte Segreta del Prompt Engineering

Ciao a tutti! Oggi voglio parlarvi di qualcosa che sta rivoluzionando il modo in cui facciamo ricerca, scriviamo e analizziamo dati: l’intelligenza artificiale, e in particolare, il nostro amico (a volte un po’ confusionario) ChatGPT. Diciamocelo, strumenti come ChatGPT, basati su modelli linguistici di grandi dimensioni (LLM), sono potentissimi. Possono macinare quantità enormi di testo a velocità supersonica, aiutandoci in compiti che prima richiedevano ore, se non giorni. Ma, come in tutte le cose belle, c’è un “ma”.

La Sfida: Quando l’AI Sbaglia Strada

Il problema principale con questi modelli, soprattutto quando li applichiamo a campi molto specifici come la scienza e l’ingegneria, è che non sempre hanno le conoscenze specialistiche necessarie. A volte, inventano di sana pianta informazioni (le famose “allucinazioni”) o, peggio ancora, potrebbero sfiorare il plagio. Questo significa che non possiamo fidarci ciecamente di quello che ci dicono; dobbiamo sempre verificare, controllare, fare il doppio check. Ed è qui che entra in gioco una disciplina affascinante: il prompt engineering.

Ma cos’è esattamente il prompt engineering? In parole povere, è l’arte (e la scienza!) di scrivere le domande giuste, le istruzioni perfette, per guidare l’AI verso la risposta che cerchiamo, minimizzando errori e “voli pindarici”. Un buon prompt fa da ponte tra la nostra intenzione e la “comprensione” del modello, portando a risultati più accurati e pertinenti.

Un Esperimento Concreto: I Fosfori Bianchi Sotto la Lente di ChatGPT

Per capire meglio come funziona e quanto sia importante “promptare” bene, voglio raccontarvi di uno studio specifico che abbiamo condotto (metaforicamente parlando, io e voi lettori insieme alla comunità scientifica!). Abbiamo deciso di mettere alla prova ChatGPT su un compito preciso: estrarre informazioni chiave dagli abstract di articoli scientifici riguardanti i materiali fosfori bianchi. Perché proprio questo argomento? Perché gli abstract di questi studi contengono spesso dati quantitativi importanti e ben definiti, come la lunghezza d’onda di emissione, la temperatura di colore correlata (CCT) o l’efficienza quantica (QE). Informazioni perfette per testare la precisione dell’AI.

Il nostro flusso di lavoro è stato abbastanza lineare:

• Abbiamo selezionato 52 articoli recenti (2022-2023) sull’argomento usando Google Scholar.
• Abbiamo preparato manualmente una “chiave di risposta”, una tabella con le informazioni corrette estratte da noi umani dagli abstract.
• Abbiamo creato quattro diversi stili di prompt per chiedere a ChatGPT (versione 3.5) di fare lo stesso lavoro: estrarre 8 tipi di informazioni (materiale ospite, attivatore, lunghezza d’onda emissione/eccitazione, CCT, CRI, QE, tipo di drogaggio).
• Infine, abbiamo confrontato le tabelle generate da ChatGPT con la nostra chiave di risposta per valutare la performance di ogni stile di prompt.

I Quattro Cavalieri del Prompting: Stili a Confronto

Abbiamo testato quattro approcci diversi per “interrogare” ChatGPT:

1. Prompt 1 (Stile Semplice – Zero-Shot): Il più basilare. Abbiamo solo chiesto a ChatGPT di estrarre le informazioni e metterle in una tabella, senza dare istruzioni specifiche su come farlo o esempi. Tipo: “Estrai X, Y, Z da questi abstract e mettimeli in tabella”.

2. Prompt 2 (Stile Istruzione): Qui abbiamo aggiunto delle brevi istruzioni per aiutare l’AI a capire meglio cosa cercavamo. Ad esempio, per l’efficienza quantica (QE), abbiamo specificato cosa fosse (“misura l’efficienza luminosa… rapporto tra fotoni emessi e assorbiti”).

3. Prompt 3 (Stile Tabella Markdown): Invece di istruzioni dettagliate, abbiamo fornito a ChatGPT un esempio della tabella finale desiderata, formattata in Markdown (un modo semplice per creare tabelle con testo). Nessuna spiegazione, solo l’esempio della struttura.

4. Prompt 4 (Stile Ibrido Markdown + Chain-of-Thought – CoT): Questo è il prompt più sofisticato. Abbiamo combinato l’esempio della tabella Markdown con la tecnica “Chain-of-Thought”. Il CoT consiste nel guidare l’AI attraverso i passaggi logici per arrivare alla risposta, un po’ come mostrare il procedimento di un problema matematico invece di dare solo il risultato. Lo abbiamo usato specificamente per un’informazione che si è rivelata ostica: il “tipo di drogaggio”.

Cosa Abbiamo Imparato? I Risultati Chiave

Ebbene, i risultati sono stati illuminanti (è il caso di dirlo, parlando di fosfori!).

Innanzitutto, dare qualche istruzione (Prompt 2) migliora le cose rispetto a non darne affatto (Prompt 1). Sembra ovvio, ma è una conferma importante.

La sorpresa è arrivata con il Prompt 3 (Tabella Markdown). Nonostante la mancanza di istruzioni esplicite, fornire solo un esempio del formato desiderato ha spesso prodotto risultati migliori persino del Prompt 2! Questo è stato particolarmente vero per dati quantitativi come le lunghezze d’onda di emissione ed eccitazione. Perché? Probabilmente perché l’esempio (che includeva “nm” per nanometri) ha risolto l’ambiguità. Con i prompt 1 e 2, a volte ChatGPT estraeva il *colore* dell’emissione (es. “verde”) invece del *valore* numerico (es. “543 nm”). L’esempio ha focalizzato l'”attenzione” dell’AI sul formato numerico corretto. Semplice ma incredibilmente efficace!

Tuttavia, anche l’esempio può trarre in inganno. Nel caso dell’efficienza quantica (QE), che si esprime in percentuale, il Prompt 3 a volte ha estratto *altri* valori percentuali presenti nell’abstract (magari relativi all’efficienza di trasferimento energetico) quando la QE non era specificata. L’esempio con “%” ha attirato l’attenzione su qualsiasi numero seguito da quel simbolo. Questo è un classico errore di “comprensione contestuale”.

Per informazioni che richiedono un ragionamento più complesso, come determinare il tipo di drogaggio (quanti elementi attivatori ci sono?), le istruzioni (Prompt 2) si sono rivelate superiori all’esempio semplice (Prompt 3). E qui brilla il Prompt 4 (Markdown + CoT). Aggiungendo il ragionamento passo-passo (CoT) all’esempio della tabella, siamo riusciti a migliorare ulteriormente l’accuratezza nell’estrarre questo tipo specifico di informazione, superando anche il Prompt 2 di circa il 10%. Questo stile ibrido aiuta l’AI a seguire un percorso logico, evitando errori contestuali. Certo, richiede più sforzo nella progettazione del prompt.

Ecco un riassunto dei pro e contro:

• Prompt Semplice: Facile da scrivere, ma meno accurato.
• Prompt con Istruzioni: Migliora l’accuratezza, utile per chiarire concetti.
• Prompt con Esempio (Markdown): Sorprendentemente efficace per dati strutturati/quantitativi, risolve ambiguità di formato. Rischio di focus errato.
• Prompt Ibrido (Markdown + CoT): Il migliore per informazioni complesse che richiedono ragionamento, riduce errori contestuali. Richiede più lavoro di progettazione.

Non Solo Fosfori Bianchi: Lezioni Universali

Anche se il nostro “terreno di gioco” sono stati gli abstract sui fosfori, le lezioni apprese sono molto più generali. Questo studio dimostra chiaramente che il modo in cui chiediamo le cose a ChatGPT fa una differenza enorme.

Certo, ci sono ancora sfide. A volte l’AI può confondere concetti simili (come un “sensibilizzatore” con un “attivatore”), portando a conclusioni errate. Questo sottolinea ancora una volta la necessità di ottimizzare i prompt, fornendo contesto e dettagli rilevanti, e magari anche dialogando con l’AI passo-passo per affinare la richiesta.

Qualcuno potrebbe obiettare che ci siamo limitati agli abstract. È vero, ma spesso è proprio dagli abstract (disponibili in database come Google Scholar o Web of Science) che dobbiamo partire per analisi su larga scala, costruzione di database o revisioni statistiche. Le strategie che abbiamo visto, specialmente quella che combina Markdown e CoT, sono promettenti anche per analizzare testi completi.

Il Succo della Storia: Promptare con Intelligenza

In conclusione, ChatGPT e strumenti simili sono alleati potentissimi per la ricerca scientifica, ma non sono bacchette magiche. La loro efficacia dipende moltissimo dalla nostra capacità di guidarli. Il prompt engineering non è solo un tecnicismo per addetti ai lavori, ma una competenza fondamentale per chiunque voglia sfruttare al meglio queste tecnologie.

Sperimentare con diversi stili di prompt, adattandoli al tipo di informazione che cerchiamo, è la chiave. L’approccio con tabelle Markdown è un ottimo punto di partenza per l’estrazione di dati, mentre l’aggiunta del ragionamento Chain-of-Thought può fare la differenza per compiti più complessi. Ma ricordiamoci sempre: la nostra conoscenza del dominio e un minimo di verifica critica rimangono indispensabili. Non possiamo delegare completamente il pensiero, ma possiamo sicuramente potenziare la nostra capacità di analisi con questi straordinari strumenti, se impariamo a “parlare la loro lingua” nel modo giusto.

Fonte: Springer