Girolamo CastaldoDATA ULTIMO AGGIORNAMENTO: 24 Novembre 2023
Uno studio dimostra che anche gli LLM più potenti non sono in grado di rispondere a domande poste in maniera inversa rispetto ai loro dati
Siamo entrati ormai nell’era dell’Intelligenza Artificiale (IA) ed è facile prevedere che nei prossimi anni essa porterà sconvolgimenti epocali in numerosi aspetti della nostra società, a partire dal mondo del lavoro e delle arti.
Il tutto si basa su un concetto estremamente semplice, cioè quello dei cosiddetti Large Language Models (LLM), tra cui il GPT usato dal famoso ChatGPT.
Si tratta in sostanza di programmi in grado di predire qual è la parola più probabile che seguirà in una frase, basandosi su enormi quantità di dati analizzati durante il periodo di “allenamento”.
Negli ultimi mesi gli straordinari progressi fatti dagli LLM hanno suscitato profonde preoccupazioni, tanto da portare alla redazione di una lettera aperta firmata da nomi altisonanti, in cui si chiedeva una pausa di sei mesi nello sviluppo di tali modelli.
Non manca nemmeno chi crede che siamo vicini all’apparizione della cosiddetta Artificial General Intelligence (AGI), cioè un’IA in grado di apprendere e capire un qualsiasi compito intellettuale che può imparare un essere umano.
Eppure un recente studio dimostra come le IA attuali abbiano ancora dei limiti logici sconcertanti, che non costituirebbero un problema nemmeno per un bambino.
La scioccante “maledizione dell’inversione” patita da Intelligenza artificiale
Immaginate di sapere chi è la madre di Tom Cruise (risposta: Mary Lee Pfeiffer); ora, se qualcuno vi chiedesse: “Chi è il figlio di Mary Lee Pfeiffer?”, ovviamente non avreste alcuna difficoltà a rispondere correttamente.
Un gruppo di ricerca internazionale, guidato dall’ingegnere specializzato in machine learning Lukas Berglund, ha invece appena pubblicato uno studio nel quale si illustra come nemmeno i più potenti LLM attuali siano in grado di rispondere a questa semplice domanda.
Drammaticamente chiamata dagli autori “Reversal Curse” (ossia maledizione dell’inversione), questa scioccante incapacità di generalizzare è frutto del tipo di programmazione degli LLM e dell’insieme di dati usati per allenarli.
Infatti, tali modelli si limitano ad assimilare informazioni, senza effettuare alcuna operazione logica su di esse; di conseguenza, se all’interno di tali dati compare solo la domanda: “Chi è la madre di Tom Cruise?” con relativa risposta, essi non saranno in grado di rispondere al suo inverso.
Risultati pratici e considerazioni finali
Si potrebbe a questo punto sollevare l’obiezione che, se istruiti con informazioni provenienti dal mondo reale (ad esempio, da Internet), gli LLM dovrebbero essere in grado di ritrovare anche frasi inverse a quelle di uso più comune, e quindi rispondere correttamente a domande in merito.
Ma i risultati ottenuti da Berglund e colleghi dipingono una realtà completamente diversa: se è vero che in questo caso gli esiti sono migliori rispetto a se i dati in ingresso sono fabbricati ad hoc, GPT 4 (probabilmente il miglior LLM sul mercato) risponde correttamente solo il 33% delle volte.
Gli autori professano cautela riguardo questi ultimi risultati, in quanto impossibilitati a conoscere precisamente su quali dati sia stato allenato l’LLM, ma considerando l’enorme mole di informazioni data in pasto ai modelli più recenti, il problema appare comunque evidente.
Insomma, il raggiungimento dell’AGI sembra ancora lontano e, pur essendo molto improbabile che l’IA possa provocare l’estinzione degli esseri umani come paventato da qualcuno, lascia perlomeno perplessi vedere un mondo sempre più pervaso da entità che, sapendo che “A è B”, non sono in grado di inferire che “B è A”.
(Originariamente pubblicato su Storie Semplici)