Discord ha riconosciuto che un bug nel proprio sistema di moderazione AI ha portato al ban errato di oltre 8.000 utenti negli ultimi due mesi. Il problema ha riguardato immagini innocue che l'automazione ha classificato come contenuti dannosi: tra gli esempi citati compaiono fogli di calcolo, scacchiere, texture di videogiochi e sfondi trasparenti bianchi o grigi.
L'azienda ha confermato che l'anomalia stava colpendo gli account da maggio e che nel weekend altri 200 utenti sono stati bannati prima che il team individuasse e correggesse il malfunzionamento. Gli account coinvolti sono ora in fase di ripristino, un passaggio necessario dopo sospensioni che per molti utenti sono apparse improvvise, definitive e difficili da contestare.
Nel thread pubblicato su X, Discord ha spiegato che il suo sistema automatico di sicurezza funziona confrontando i contenuti caricati con database di materiale dannoso noto. È una logica di similarity matching: la piattaforma cerca somiglianze tra file nuovi e contenuti già classificati come illegali o abusivi. L'obiettivo è intercettare materiale vietato su larga scala, ma la stessa tecnologia può generare falsi positivi quando pattern innocui risultano troppo simili a quelli presenti nei database.
Secondo la ricostruzione fornita dall'azienda, il processo corretto prevede che un membro del team Trust & Safety esamini i contenuti segnalati prima che venga presa qualsiasi decisione sull'account. Il bug, però, ha alterato questo flusso: invece di attendere la revisione umana, il sistema ha applicato immediatamente il ban agli account interessati. Discord ha dichiarato di essere al lavoro su salvaguardie migliori per impedire che un errore simile si ripeta.
Le segnalazioni degli utenti si sono concentrate soprattutto su immagini con motivi a griglia. Su Reddit e X diversi account hanno sostenuto di essere stati sospesi in modo permanente dopo aver caricato file contenenti quadrati, griglie o texture. Alcuni utenti hanno ipotizzato che gli strumenti di moderazione siano diventati più sensibili a questi schemi perché pattern simili sarebbero stati usati in passato per oscurare o camuffare contenuti NSFW e materiale di sfruttamento minorile dai sistemi di rilevamento automatico.
La frustrazione emersa sui social riguarda anche il peso concreto di un ban permanente su una piattaforma come Discord. Un account può essere il centro delle comunicazioni di lavoro, delle community di gioco o dei rapporti sociali a distanza. Un utente ha scritto che perdere un account per un errore di questo tipo può essere estremamente pesante e che i ban AI ingiusti dovrebbero essere fermati. Un altro ha raccontato di essere stato bannato perché le sue texture di gioco sarebbero state scambiate dall'automazione per contenuti illegali, sottolineando di usare Discord per tutte le proprie comunicazioni professionali.
Il caso si inserisce in una fase in cui le piattaforme digitali affidano sempre più compiti di controllo a sistemi automatici, soprattutto quando devono analizzare enormi quantità di contenuti. La moderazione assistita dall'AI consente interventi rapidi e scalabili, ma quando l'automazione produce un errore e il controllo umano viene saltato, l'impatto si trasferisce direttamente sugli utenti. La questione non riguarda solo Discord: nell'ultimo anno anche utenti di Instagram, Facebook Groups e Tumblr hanno segnalato sospensioni di massa o ban poco spiegati, spesso attribuiti alla moderazione automatica, pur senza conferme pubbliche in tutti i casi.
Per le piattaforme, il punto operativo è la governance dei sistemi di sicurezza: accuratezza tecnica, revisione umana, trasparenza verso gli utenti e procedure di ricorso devono restare allineate. L'episodio mostra quanto un singolo difetto nel flusso tra segnalazione automatica e decisione finale possa trasformare uno strumento pensato per proteggere la community in un rischio reputazionale e operativo per l'azienda stessa.