I sistemi di intelligenza artificiale generativa come ChatGPT, Claude, Gemini o DeepSeek sono ormai entrati nella vita quotidiana di milioni di persone. Scrivono testi, traducono lingue, producono immagini, rispondono a domande complesse e, in alcuni casi, sembrano persino ragionare. Eppure, nonostante la loro diffusione e potenza, il funzionamento interno di queste tecnologie resta in larga parte un mistero.

Un nuovo studio pubblicato sul Journal of Statistical Mechanics: Theory and Experiment (JSTAT) prova a fare un passo avanti nella comprensione di questi sistemi. Un gruppo di fisici teorici dell’Università di Harvard ha, infatti, sviluppato un modello matematico semplificato capace di riprodurre alcuni dei comportamenti più sorprendenti delle reti neurali moderne, offrendo nuove ipotesi su come l’intelligenza artificiale riesca ad apprendere in modo così efficiente.

Per descrivere la situazione attuale dell’intelligenza artificiale, i ricercatori ricorrono a un paragone storico: quello tra Johannes Keplero e Isaac Newton. Prima che Newton formulasse la teoria della gravitazione universale, Keplero era riuscito a descrivere matematicamente il moto dei pianeti attraverso leggi empiriche. Quelle leggi funzionavano, ma non spiegavano il “perché”.

Secondo Alexander Atanasov, dottorando in fisica teorica ad Harvard e primo autore dello studio, oggi il deep learning si troverebbe in una fase analoga. I ricercatori hanno identificato alcune “leggi di scala” che descrivono il comportamento delle reti neurali, per esempio, aumentando la quantità di dati o la dimensione del modello, le prestazioni migliorano in modo prevedibile. Tuttavia, manca ancora una teoria generale capace di spiegare i meccanismi profondi che rendono possibile questo comportamento. È un problema non soltanto teorico. Gli attuali modelli di intelligenza artificiale richiedono enormi quantità di energia e risorse computazionali per essere addestrati. Comprendere meglio il loro funzionamento potrebbe permettere di sviluppare sistemi più efficienti, sostenibili e affidabili.

Le reti neurali artificiali sono ispirate, almeno in modo molto semplificato, all’organizzazione del cervello biologico. Sono costituite da moltissimi “neuroni artificiali”, piccole unità matematiche che elaborano informazioni e comunicano tra loro attraverso connessioni numeriche. Ogni singolo componente segue regole relativamente semplici. La difficoltà nasce quando il numero di elementi cresce enormemente. Nei grandi modelli linguistici moderni, le connessioni possono arrivare a centinaia di miliardi di parametri. In queste condizioni emergono comportamenti collettivi difficili da prevedere o interpretare.

Per questo motivo gli studiosi parlano spesso delle reti neurali come di “scatole nere”. Sappiamo quali dati entrano e quali risposte escono, ma comprendiamo solo parzialmente cosa avvenga all’interno. “Questi sistemi non sono programmati manualmente come software tradizionali”, spiega Atanasov. “Sono molto più simili a organismi che crescono e apprendono”.

Poiché analizzare matematicamente reti neurali reali è oggi quasi impossibile, il gruppo di Harvard ha scelto una strada diversa ovvero costruire un “toy model”, un modello semplificato, ma sufficientemente realistico da catturare alcune proprietà fondamentali dell’apprendimento automatico. Il modello utilizzato è una versione della cosiddetta ridge regression, una tecnica statistica derivata dalla regressione lineare. In termini semplici, la regressione lineare cerca di individuare relazioni tra variabili – per esempio tra peso e altezza- per effettuare previsioni. La ridge regression introduce un elemento aggiuntivo che aiuta a evitare un problema cruciale nell’intelligenza artificiale cioè l’overfitting.

Quando un sistema di intelligenza artificiale viene addestrato su enormi quantità di dati, può verificarsi un fenomeno paradossale cioè che invece di imparare regole generali, il modello rischia di memorizzare i dati specifici usati durante l’addestramento. In questo caso funziona bene sugli esempi già visti, ma fallisce quando deve affrontare situazioni nuove. Questo fenomeno è noto come overfitting ed è uno dei problemi classici del machine learning. La cosa sorprendente è che i moderni sistemi di deep learning sembrano spesso evitare questo rischio, pur essendo enormemente sovradimensionati. In teoria, modelli più grandi dovrebbero essere più vulnerabili all’overfitting. In pratica accade spesso il contrario, quindi aumentando parametri e dati, le prestazioni migliorano. Per i ricercatori, questo rappresenta uno dei grandi enigmi dell’intelligenza artificiale contemporanea.

Lo studio suggerisce che la risposta potrebbe arrivare dalla fisica statistica e, in particolare, dalla teoria della rinormalizzazione ovvero un insieme di strumenti matematici sviluppati per descrivere sistemi estremamente complessi, come i materiali vicini ai punti critici o le particelle elementari. Le moderne reti neurali operano, infatti, in spazi ad altissima dimensionalità, con migliaia o milioni di variabili simultanee. In questi contesti emergono inevitabilmente fluttuazioni casuali e dinamiche collettive che ricordano quelle studiate in fisica.

Secondo il team di Harvard, proprio queste fluttuazioni potrebbero contribuire a stabilizzare l’apprendimento, invece di destabilizzarlo. In altre parole, il “rumore” statistico generato dall’elevata dimensionalità dei dati potrebbe aiutare i modelli a generalizzare meglio, riducendo il rischio di overfitting. Utilizzando il loro modello semplificato, i ricercatori mostrano come questi effetti possano emergere naturalmente anche in sistemi matematici relativamente semplici.

Il lavoro non risolve certo il mistero dell’intelligenza artificiale, ma rappresenta un tentativo importante di costruire una teoria fondamentale del deep learning. Proprio come le leggi di Keplero prepararono il terreno alla gravità di Newton, modelli di questo tipo potrebbero aiutare a identificare principi universali validi per molte architetture neurali differenti. Secondo Jacob Zavatone-Veth, coautore dello studio, questi modelli semplificati possono funzionare come una sorta di “laboratorio teorico”, utile per distinguere i fenomeni generali dai dettagli specifici di ciascun sistema. Comprendere i principi fondamentali dell’apprendimento automatico potrebbe avere conseguenze enormi come sistemi meno energivori, più interpretabili, più affidabili e forse anche più controllabili. Per ora, però, le reti neurali restano in parte un mistero.