«Omar ha sedici anni, vive nei Paesi Bassi, e ciò che gli sta accadendo è già un indizio di quella che potrebbe rivelarsi come la più grande rivoluzione mancata del nostro tempo. I suoi genitori si sono da lungo tempo trasferiti nel paese partendo dalla Siria per chiedere asilo politico. Per seguire i programmi di integrazione civica e accoglienza previsti dal piano sull’immigrazione e l’asilo del governo olandese, si sono dovuti trasferire tre volte, cambiando tre diverse città, con il risultato che Omar ha cambiato tre scuole in pochi anni.
Un giorno, sulla porta di una delle case in cui hanno vissuto, ha assistito all’arresto di suo padre, accusato di violenza domestica nei confronti di sua madre. Un altro giorno, tra qualche mese o qualche anno, sulla soglia di quella stessa porta sarà arrestato lui, anche se ancora non sa di essere un criminale. La polizia però non ha dubbi. È il passato di Omar a dirlo. Sono la sua storia, le sue origini, le sue vicissitudini più recenti a rendere inevitabile qualcosa che Omar non ancora fatto ma che prima o poi farà».
L’estratto1 racconta la storia di uno dei tanti adolescenti che nel 2015 è stato classificato come «ad alto rischio di diventare un criminale in futuro» da parte di un software di polizia predittiva usato dalla municipalità di Amsterdam. La città olandese non è stata né la prima né l’unica ad adottare strumenti di questo tipo: negli stessi anni, diverse città statunitensi sperimentavano l’uso dell’analisi dei dati e dell’intelligenza artificiale per prevedere dove e quando potessero verificarsi dei reati, o chi potesse esserne coinvolto. In un contesto segnato dall’entusiasmo per i cosiddetti big data, l’idea di usare informazioni storiche per anticipare i comportamenti umani appariva a molti non solo ragionevole, ma desiderabile.
La polizia predittiva rappresenta uno dei casi più estremi di applicazione di processi decisionali automatizzati in ambito pubblico, in cui il confine tra prevenzione e produzione del rischio diventa particolarmente labile.
Nel caso di Omar (nome fittizio), il modello di intelligenza artificiale adottato ad Amsterdam – significativamente chiamato ProKid+ – aveva appreso da migliaia di dati sulla criminalità locale a individuare profili di adolescenti simili a quelli già condannati in passato. Tra le variabili considerate figuravano condizioni socioeconomiche e biografiche come il reddito, il background migratorio, l’età, la storia scolastica e familiare, l’accesso a forme di assistenza pubblica.
Questo caso, come molti altri, mostra come l’intelligenza artificiale non sia una novità improvvisa, ma un insieme di sistemi decisionali che in alcuni settori ad alta responsabilità esistono da anni e che, più che strumenti che utilizziamo, sono tecnologie che vengono utilizzate su di noi, spesso senza che ce ne rendiamo conto.
Le contingenze che avevano plasmato la vita di Omar– e sulle quali non aveva alcun controllo – sono state trasformate in una profezia, e la probabilità in una colpa anticipata. In definitiva, tutto ciò che lo rendeva umano, unico e irripetibile, era stato interpretato dal software e ricondotto a categorie generali che non sono affatto neutre o casuali. È qui che risiede forse il rischio principale dell’automazione in contesti sensibili: ridurre la complessità delle vite a pattern ricorrenti, penalizzando sistematicamente le stesse persone già svantaggiate e contribuendo ad amplificare disuguaglianze sociali preesistenti.
In questo contesto, la classe sociale (così come il genere, l’età o la nazionalità) è sempre presente come varia- bile, spesso implicita, ma centrale. Le persone povere diventano sistematicamente “ad alto rischio”: di frode, di abuso del sistema, di essere “cattivi pagatori”, in una logica del welfare pubblico che assomiglia sempre di più a quella del settore privato – non perché lo siano intrinsecamente, ma perché così sono state storicamente trattate dalle istituzioni. Una storia che mi ricorda quella di Daniel Blake, protagonista del film di Ken Loach.
È questo uno degli elementi che emerge con forza dalla ricerca sul campo che ho condotto negli ultimi anni in diversi contesti europei: l’automazione delle procedure burocratiche non inventa nuove disuguaglianze, ma automatizza quelle esistenti. Gli algoritmi apprendono da dati che riflettono pratiche amministrative, scelte politiche, pregiudizi sedimentati nel tempo.
Quando un sistema automatizzato prende una decisione, ciò che vediamo non è l’oggettività della macchina, ma la versione aggregata e formalizzata delle nostre gerarchie sociali.
Un altro esempio emblematico viene ancora dai Paesi Bassi. Per anni, alcune categorie di donne – in particolare donne con figli, di origine migratoria e precarie – sono state sistematicamente trattate come sospette nel welfare pubblico. In un articolo scientifico che analizza il caso2, insieme ad alcuni colleghi argomentiamo come questo specifico bersaglio sia legato al mito della welfare queen, di origine coloniale, che era il modo in cui gli ufficiali pubblici si riferivano alle donne madri, ovvero la categoria sociale che più “pesava” sul welfare pubblico.
Questo mito ha giustificato controlli intensivi e presunzioni di colpevolezza che hanno finito per colpire sempre le stesse persone. Come mostra plasticamente un’inchiesta di Lighthouse Reports, il punteggio di rischio aumentava sistematicamente in presenza di caratteristi che legate a genere, classe sociale, età e status familiare. Per dimostrarlo, i giornalisti hanno costruito il profilo archetipico di Sara, una donna che incarnava proprio queste condizioni e che è risultata essere tra tutte le combinazioni possibili la più a rischio in assoluto.
Un ulteriore esempio arriva dalla Francia, dove un algoritmo di scoring utilizzato dalla Caisse Nationale des Allocations Familiales (CNAF) per individuare presunte frodi nel welfare è oggi al centro di un ricorso davanti al Conseil d’État, sostenuto da una coalizione crescente di organizzazioni della società civile: anche in questo caso, il sistema assegna livelli di sospetto più elevati proprio a chi si trova in condizioni di maggiore fragilità socio-economica, trasformando l’accesso ai diritti sociali in un esercizio per manente di giustificazione e difesa per le classi popolari.
Come ha mostrato in modo esemplare Virginia Eubanks in Automating Inequality, il legame tra classe sociale, sorveglianza, punitività e tecnologie digitali non è accidentale ma strutturale: negli Stati Uniti i sistemi automatizzati utilizzati per il welfare, la protezione dell’infanzia e la sicurezza pubblica colpiscono in modo sistematico le persone povere, trasformando la marginalità economica in una condizione permanente di sorveglianza. La povertà diventa così non un problema da affrontare ma un rischio da debellare, e la statistica automatizzata è un’alleata perfetta. Questa dinamica non opera mai lungo un solo asse: come hanno chiarito teorie come quella dell’intersezionalità di Kimberlé Crenshaw e la matrice del dominio di Patricia Hill Collins, le forme di oppressione si sovrappongono e si rafforzano reciprocamente.
Tecnologie di questo tipo funzionano come perfette cristallizzatrici della violenza intersezionale, perché mostrano come le caratteristiche meno privilegiate – di classe, genere, razzializzazione, status migratorio – non si sommano semplicemente, ma si moltiplicano nei loro effetti. Anche in questo caso, l’innovazione tecnologica promette neutralità ed efficienza, ma finisce per consolidare una visione profondamente moralizzata della povertà. Esistono anche forme più diffuse e meno visibili di stratificazione tecnologica, come il divario digitale, che continua a determinare chi può accedere a servizi essenziali, opportunità educative e lavorative, e chi ne resta escluso. Allo stesso modo, la crescente dipendenza da piattaforme e infrastrutture gestite da grandi aziende tecnologiche redistribuisce in modo profondamente asimmetrico potere e valore: strumenti che promettono di aumentare la produttività, l’autonomia e l’efficienza finiscono per amplificare i vantaggi di chi possiede già competenze, tempo, capitale culturale e stabilità economica, lasciando gli altri intrappolati in forme di lavoro più precarie, standardizzate e controllate. Anche in questo caso, la tecnologia non agisce come un livellatore, ma come un moltiplicatore delle disuguaglianze esistenti, rafforzando una divisione di classe che passa sempre più attraverso l’accesso, l’uso e il controllo delle infrastrutture digitali.
È un paradosso interessante. Proprio nel momento in cui gli algoritmi prendono decisioni e classificano le persone, rendono visibile quanto siamo pregiudicati noi. L’intelligenza artificiale non fa altro che apprendere dalle pratiche burocratiche storiche e riproporle in forma sistematica e codificata. In questo senso, l’automazione agisce come uno specchio: ci restituisce, amplificati e resi inconfutabili, i nostri bias collettivi. Ci mostra che la disuguaglianza e la discriminazione sono spesso condizione di possibilità di questi progetti. Eppure, le stesse infrastrutture permetterebbero di visualizzare altro, con la loro enorme potenza di analisi e rilevanza di informazioni, e potrebbero essere orientate in senso opposto: identificare bisogni, indirizzare supporto, attivare cure e politiche redistributive. Abbiamo invece scelto di usarle quasi esclusivamente in modo punitivo, per giudicare le persone come colpevoli fino a prova contraria e governarle attraverso logiche di sospetto e sorveglianza piuttosto che di cura. Ma questa scelta – è fondamentale ricordarlo – non è l’unica possibile.
