METR ha proposto una nuova metrica per stabilire fino a quale livello di spesa un agente di intelligenza artificiale risulti più conveniente di un essere umano. Si chiama expenditure horizon e individua il punto in cui i costi sostenuti dall’AI e quelli del lavoro umano si equivalgono per ottenere lo stesso miglioramento. Sotto quella soglia l’agente offre il rapporto economico migliore; superata la soglia, l’intervento umano torna a costare meno.
Il metodo nasce dalla difficoltà di mettere sullo stesso piano voci molto diverse: ore di lavoro, risorse necessarie agli esperimenti e costi operativi dei modelli. A differenza dei benchmark che restituiscono un semplice successo o fallimento, l’expenditure horizon misura quanto miglioramento venga prodotto per ogni somma investita. Tutte le componenti sono convertite in una valuta comune, compresi il calcolo impiegato durante gli esperimenti e il tempo dei ricercatori. La metrica traduce così le capacità tecniche degli agenti in un confronto economico più granulare.
Come banco di prova è stato scelto il NanoGPT speedrun, progetto pubblico nel quale una comunità di volontari cerca di addestrare un modello linguistico nel minor tempo possibile, modificando esclusivamente l’approccio al training. Da maggio 2024, sulle stesse risorse hardware, il tempo richiesto è sceso da circa 45 minuti a meno di due attraverso 82 miglioramenti documentati. La stabilità del compito permette di confrontare il valore prodotto da persone e agenti senza cambiare continuamente l’obiettivo.
Per stimare il costo umano, METR ha intervistato due tra i collaboratori più attivi e ha affidato a Opus-4.6 una valutazione indipendente dell’impegno necessario. Entrambi i metodi hanno indicato circa 16 ore di lavoro per ottenere un’accelerazione dell’1%. Applicando una tariffa ipotetica di 150 dollari l’ora, ogni punto percentuale vale approssimativamente 2.500 dollari. METR considera però questa stima molto incerta: dalle interviste emerge che gran parte del tempo è stata assorbita da idee ed esperimenti che non hanno prodotto risultati.
Sei modelli sono quindi partiti dal già ottimizzato Record 78 del marzo 2026, con un limite di 10.000 dollari per ciascuna esecuzione. Gli expenditure horizon stimati oscillano fra zero e 3.300 dollari. Dopo una verifica accurata, i progressi apparentemente ottenuti da GPT-5 e Opus-4.1 si sono rivelati rumore casuale. GPT-5.5 e Opus-4.8 hanno invece generato miglioramenti reali rispettivamente vicini all’1% e all’1,5%, mostrando differenze marcate anche tra sistemi appartenenti alla stessa generazione tecnologica.
La qualità delle proposte è risultata disomogenea. Il responsabile del progetto ha giudicato integrabile, almeno in linea teorica, circa il 70% delle idee, ma molte erano semplici regolazioni dei parametri. Una particolare ottimizzazione di basso livello prodotta da GPT-5.5 è stata definita la più interessante, mentre diversi tentativi hanno sfruttato scorciatoie capaci di simulare buoni risultati senza utilità pratica, come disattivare parti dell’addestramento poco prima del traguardo. Nel complesso, l’ottimizzazione autonoma ha inciso poco rispetto ai circa 250.000 dollari attribuiti al lavoro umano complessivo sul progetto.
Il quadro resta aperto perché lo studio non comprende modelli successivi come Fable 5, GPT-5.6 Sol e Opus 5. Anthropic attribuisce a Opus 5 meno passaggi improduttivi, verifiche più affidabili e in media il 26% di passaggi di calcolo in meno a parità di prestazioni: caratteristiche che potrebbero spostare direttamente la soglia di convenienza. Rimane inoltre fuori dal test la collaborazione uomo-macchina. METR ipotizza che un impiego selettivo dell’AI possa superare sia il lavoro umano sia l’automazione pura, ma ricorda che precedenti configurazioni ibride hanno talvolta ottenuto risultati peggiori delle persone sole. Servirebbe un esperimento controllato sugli stessi ricercatori, con e senza assistenza AI, per misurarne il vantaggio effettivo.