Nel mondo della programmazione, l'intelligenza artificiale è stata acclamata come la rivoluzione che avrebbe trasformato il modo di scrivere codice, promettendo di accelerare i tempi di sviluppo e di semplificare le attività più complesse. Tuttavia, una ricerca condotta da Model Evaluation & Threat Research (METR), un'organizzazione non profit specializzata in ricerca tecnologica, ha svelato una realtà sorprendente che contraddice completamente questa narrativa. I risultati dello studio mostrano che gli strumenti di intelligenza artificiale per la programmazione non solo non velocizzano il lavoro degli sviluppatori, ma lo rallentano significativamente.
L'illusione della velocità: quando le aspettative si scontrano con la realtà
Il fenomeno più curioso emerso dalla ricerca riguarda la percezione distorta che i programmatori hanno dell'efficacia dell'AI. Gli sviluppatori coinvolti nello studio prevedevano un miglioramento delle prestazioni del 24%, e anche dopo aver completato il lavoro, continuavano a credere che l'intelligenza artificiale li avesse aiutati a completare i compiti il 20% più velocemente. La realtà dei dati, però, raccontava una storia completamente diversa: i tempi di completamento erano aumentati del 19%.
Questa discrepanza tra percezione e realtà ricorda molto da vicino le "allucinazioni" tipiche dei sistemi di intelligenza artificiale, come se l'uso prolungato di questi strumenti avesse influenzato anche la capacità di valutazione degli sviluppatori. Come sottolineano i ricercatori, "permettere l'uso dell'AI aumenta effettivamente i tempi di completamento del 19% - gli strumenti AI hanno rallentato gli sviluppatori".
La metodologia: un esperimento nel mondo reale
Lo studio ha coinvolto 16 programmatori esperti che lavorano su progetti open source di grandi dimensioni, utilizzando un approccio metodologico rigoroso. I partecipanti hanno fornito una lista di 246 problemi reali da risolvere, dalle correzioni di bug allo sviluppo di nuove funzionalità, stimando preventivamente i tempi necessari per completarli. Le attività sono state poi assegnate casualmente, permettendo o vietando l'uso degli strumenti AI.
Durante la fase operativa, svoltasi tra febbraio e giugno 2025, i programmatori hanno utilizzato principalmente Cursor Pro con Claude 3.5/3.7 Sonnet quando autorizzati. Questo approccio ha permesso di ottenere dati comparativi affidabili sull'impatto reale dell'intelligenza artificiale sul processo di sviluppo.
Le cinque cause del rallentamento
L'analisi dei risultati ha identificato cinque fattori principali che spiegano il rallentamento osservato. Il primo riguarda l'eccessivo ottimismo degli sviluppatori riguardo all'utilità dell'AI, che avevano aspettative irrealistiche sui benefici che questi strumenti potevano offrire.
La familiarità elevata degli sviluppatori con i repository rappresenta il secondo fattore: programmatori già esperti nei loro progetti non traevano vantaggio significativo dall'assistenza artificiale. Il terzo elemento è la complessità dei repository utilizzati, contenenti oltre un milione di righe di codice, dove l'AI fatica a mantenere prestazioni ottimali.
La bassa affidabilità dell'intelligenza artificiale costituisce il quarto problema: i programmatori accettavano meno del 44% dei suggerimenti generati e dovevano dedicare tempo aggiuntivo alla pulizia e revisione del codice proposto. Infine, l'incapacità dell'AI di comprendere il contesto implicito del repository limitava significativamente la sua utilità pratica.
Un fenomeno più ampio: quando l'AI non mantiene le promesse
La ricerca di METR non rappresenta un caso isolato nel panorama degli studi sull'efficacia dell'intelligenza artificiale. Altre ricerche hanno evidenziato risultati simili in diversi settori: un'indagine economica condotta in Danimarca ha mostrato che l'AI generativa non ha avuto impatti significativi su occupazione e salari, mentre uno studio di Intel ha rilevato che i PC dotati di AI rendono gli utenti meno produttivi.
Nel settore dei call center presso un'azienda elettrica cinese, i lavoratori hanno segnalato che l'assistenza AI può accelerare alcuni compiti ma rallenta altri creando lavoro aggiuntivo. Questo schema ricorrente suggerisce che il paradosso della produttività dell'intelligenza artificiale potrebbe essere più diffuso di quanto inizialmente previsto.
Il tempo "nascosto" dell'intelligenza artificiale
Un aspetto particolarmente interessante dello studio riguarda la redistribuzione del tempo di lavoro quando si utilizzano strumenti AI. I grafici inclusi nella ricerca mostrano che i programmatori trascorrono meno tempo a scrivere codice attivamente e a cercare informazioni, ma dedicano invece tempo a formulare prompt, aspettare le risposte dell'AI, rivedere gli output generati e rimanere inattivi durante questi processi.
Molti programmatori riferiscono aneddoticamente che gli strumenti AI possono essere utili per testare rapidamente nuovi scenari in contesti a basso rischio e automatizzare alcune attività di routine, ma non fanno risparmiare tempo complessivamente perché rimane necessario validare se il codice funziona effettivamente. A differenza di un tirocinante, l'AI non impara dall'esperienza.
Limiti e prospettive future
Gli autori dello studio - Joel Becker, Nate Rush, Beth Barnes e David Rein - sottolineano l'importanza di interpretare i risultati nel loro contesto specifico, considerandoli come un'istantanea temporale basata su strumenti e condizioni sperimentali particolari. Il rallentamento osservato non implica necessariamente che gli strumenti AI attuali non migliorino mai la produttività degli sviluppatori.
I ricercatori evidenziano che fattori come l'alta familiarità degli sviluppatori con i repository e le dimensioni e maturità dei progetti contribuiscono significativamente al rallentamento osservato, condizioni che non si applicano in molti contesti di sviluppo software. Inoltre, precisano che i risultati non suggeriscono che i sistemi AI attuali siano inutili o che i modelli futuri non possano performare meglio.