Il costo dell’intelligenza artificiale comincia a frenare l’adozione nelle imprese. Nell’ultima indagine globale di McKinsey, un intervistato su cinque afferma che la propria organizzazione ha limitato l’uso dell’AI a causa delle spese operative, comprese quelle per i token. La quota sale al 25% nel settore tecnologico e al 24% tra le istituzioni finanziarie. Intanto, l’aumento dei consumi spinge le aziende a valutare quali attività richiedano davvero i modelli più avanzati e quali possano essere affidate a soluzioni meno costose.
Il prezzo del singolo token è sceso, ma le fatture continuano a crescere. Al Tech Week Singapore, Sachin Chitturu, partner e responsabile per il Sudest asiatico di QuantumBlack, AI by McKinsey, ha citato dati di Silicon Data secondo cui i prezzi per token sono diminuiti di circa il 90% dal 2023. I modelli agentici, però, affrontano compiti più lunghi: secondo le stime di Gartner richiedono da cinque a trenta volte più token per attività. In un’altra indagine da lui richiamata, il 93% delle imprese aveva superato il budget AI nei sei mesi precedenti.
La pressione sui costi arriva mentre i vertici aziendali chiedono risultati misurabili. Tra gli intervistati che usano l’AI sul lavoro, l’80% ha segnalato un miglioramento della produttività individuale, ma solo il 37% ha indicato un contributo positivo agli utili operativi dell’organizzazione, misurati prima di interessi e imposte. Appena il 6% rientra nella categoria delle imprese con le migliori prestazioni nell’AI: queste attribuiscono alla tecnologia almeno il 5% di tali utili e ne descrivono l’impatto come significativo. Chitturu ha riferito che alcuni amministratori delegati, dopo ingenti investimenti in piattaforme dati e AI, faticano ancora a ricostruirne il valore.
Da qui nasce anche la discussione sulla dipendenza da pochi fornitori di modelli. Secondo Chitturu, molte organizzazioni si chiedono se ogni applicazione debba passare dai sistemi più avanzati di OpenAI e Anthropic. Le imprese più attente ai costi stanno suddividendo il lavoro in base al ragionamento richiesto: riservano i modelli di frontiera ai compiti più complessi e spostano quelli più semplici e prevedibili verso modelli open-weight, che possono essere scaricati, adattati ed eseguiti nei propri ambienti.
Nella previsione di Chitturu, un’architettura AI aziendale matura destinerà al massimo il 10–15% dei carichi ai modelli di frontiera e l’80–85% a quelli open-weight. A suo giudizio, questi ultimi hanno ormai una qualità comparabile per gran parte delle attività d’impresa e impiegano mesi, anziché anni, per colmare il divario con i modelli più avanzati. Attraverso API, il costo indicato è di circa 1–6 dollari per milione di token in uscita, contro 10–50 dollari per le API dei modelli di frontiera. Il costo per attività può variare, e l’esecuzione interna conviene solo con volumi sufficienti a sostenere infrastruttura e gestione.
La scelta dipende anche dal tipo di carico. Chitturu immagina i flussi ordinari ad alto volume e le attività specialistiche basate sui dati aziendali su modelli open-weight gestiti internamente. Le richieste irregolari, poco sensibili e prive di vincoli stringenti sulla residenza dei dati potrebbero usare gli stessi modelli tramite API ospitate. Alle API dei modelli di frontiera resterebbero i problemi di ragionamento più difficili, nei quali un errore ha un costo elevato. Una simile distribuzione richiede competenze tecniche che molte imprese stanno ancora costruendo.
Una parte decisiva di questo lavoro riguarda l’harness, il livello software che governa il contesto fornito a un modello o a un agente, il numero di token che può consumare e il percorso seguito per completare un compito. Chitturu lo descrive come lo strumento che permette di scegliere, anche durante l’esecuzione, quando ricorrere a un modello costoso e quando indirizzare la richiesta verso un’alternativa open-weight. La gestione della spesa entra così nelle decisioni prese dai sistemi AI durante il loro funzionamento.
Il contenimento dei costi, tuttavia, si accompagna a un cambiamento dei processi. Nella ricerca McKinsey, il 73% delle organizzazioni con le migliori prestazioni ha riprogettato radicalmente i flussi di lavoro, contro il 25% delle altre. Le prime dichiarano più spesso obiettivi trasformativi per l’AI e ne misurano più spesso l’impatto. Per Chitturu, le aziende devono quindi rivedere periodicamente quali parti di un’attività possano affidare ai modelli e quanta supervisione umana serva: una decisione destinata a evolvere insieme alle capacità della tecnologia.