Una fenomenologia preliminare alla supervisione umana sui sistemi di intelligenza artificiale
1. Un edificio normativo a tre piani
Negli ultimi sei anni il dibattito europeo e italiano sulla supervisione umana dei sistemi di intelligenza artificiale ha costruito un edificio normativo articolato, che vale la pena guardare nella sua stratificazione perché ciascun piano dice qualcosa di diverso sullo stesso problema: come tenere l’umano al centro di sistemi che decidono al posto suo, o insieme a lui, in modo crescente.
Il primo piano lo posa il gruppo di esperti ad alto livello sull’intelligenza artificiale della Commissione Europea (HLEG) con le Ethics Guidelines for Trustworthy AI dell’aprile 2019. Le linee guida introducono una tripartizione che da allora attraversa tutta la letteratura: human in the loop, in cui l’umano interviene in ogni ciclo decisionale del sistema; human on the loop, in cui l’umano supervisiona il funzionamento del sistema mentre opera autonomamente e può intervenire quando necessario; human in command, il livello più alto, in cui l’umano supervisiona l’attività complessiva del sistema e ha l’autorità di decidere se, quando e come usarlo, considerandone l’impatto economico, sociale, legale ed etico. Le tre modalità sono presentate come meccanismi di governance scalabili, da declinare in funzione del contesto e del livello di rischio.
Il secondo piano lo posa l’articolo 14 del Regolamento UE 2024/1689, l’AI Act, in vigore dal 1° agosto 2024 e pienamente applicabile per i sistemi ad alto rischio dal 2 agosto 2026. Il testo regolamentare non adotta la terminologia HLEG: parla di effective oversight by natural persons, supervisione efficace da parte di persone fisiche. La scelta è funzionale, non tipologica. L’articolo 14 chiede che i fornitori di sistemi ad alto rischio progettino il sistema in modo che le persone fisiche cui è affidata la supervisione possano comprendere capacità e limiti, restare consapevoli della tendenza a fare affidamento automatico sull’output (l’automation bias è esplicitamente nominato), interpretare correttamente l’output, decidere di non usare il sistema o di ignorarne l’output, intervenire o interromperlo. È un’architettura che descrive ciò che l’umano deve poter fare, senza incasellarlo in una categoria.
Il terzo piano lo posa la Legge italiana 132 del 23 settembre 2025, in vigore dal 10 ottobre 2025. Affianca l’AI Act e ne integra l’impianto per il contesto italiano. Adotta un registro principiale e settoriale al tempo stesso. L’articolo 3 stabilisce la centralità della persona e l’approccio antropocentrico come quadro generale. L’articolo 14, comma 2, sancisce per la Pubblica Amministrazione il principio della supervisione umana significativa: l’utilizzo dell’AI avviene “in funzione strumentale e di supporto” mantenendo “la responsabilità decisionale in capo alla persona”. L’articolo 13, dedicato alle professioni intellettuali, contiene la formulazione forse più impegnativa di tutto l’edificio normativo: l’AI è limitata alle “attività strumentali e di supporto”, e — come specifica la relazione illustrativa — “il pensiero critico umano deve sempre risultare prevalente” rispetto all’uso degli strumenti di intelligenza artificiale. La prevalenza è esplicitamente qualitativa, non quantitativa. L’articolo 11, infine, tutela il lavoratore imponendo informativa scritta e preavviso di almeno ventiquattro ore prima di modifiche significative ai sistemi AI che incidono sull’organizzazione del lavoro.
I tre piani lavorano nella stessa direzione, e la rafforzano l’uno sull’altro. Il sistema ha bisogno di una supervisione umana che non sia formale, e ogni livello normativo prova a renderla sempre più sostantiva: HLEG la articola in modalità scalabili, l’AI Act la rende capacità operative concrete, la Legge 132 la afferma come diritto, come principio settoriale, come prevalenza qualitativa del pensiero critico umano. È un edificio costruito con cura, che merita riconoscimento.
2. La domanda che l’edificio non si pone
Prima però vale la pena fermarsi un momento sul perché il diritto ha sentito il bisogno di costruire un edificio così articolato. La ragione di fondo è che la sola presenza formale dell’umano nel processo si è rivelata, in molti casi, insufficiente. L’analogia più immediata è quella dei “Termini e Condizioni” sui siti web. Ci troviamo davanti a un muro di testo legale incomprensibile, fatto apposta per non essere letto, e l’unica cosa che dobbiamo fare è cliccare su “Accetto”. In quel momento siamo formalmente nel circuito decisionale: abbiamo validato il contratto, la firma è registrata, la responsabilità legale è trasferita. Non c’è stata alcuna vera comprensione, eppure il sistema funziona perfettamente — funziona perché l’unico requisito reale era la firma, non la comprensione. La supervisione formale diventa un guscio vuoto. L’evoluzione del quadro normativo, da HLEG fino alla Legge 132, prova a costruire strumenti per uscire da questa deriva: una supervisione che non sia solo firma, ma comprensione effettiva; non solo presenza, ma autorità sostantiva; non solo ratifica, ma prevalenza qualitativa del pensiero critico.
C’è però una domanda che attraversa tutti questi strumenti e che, per ora, nessuno di loro solleva esplicitamente. Una domanda che decide se l’edificio sta in piedi o se sta sulla sabbia.
La domanda è semplice e si formula in due parole: quale umano?
Tutti e tre i livelli normativi presuppongono l’esistenza di un soggetto cognitivo competente, autonomo, capace di esercitare supervisione, intervento, comando o prevalenza sulla macchina che ha davanti. HLEG presuppone che l’umano in command possa “decidere quando e come usare il sistema in qualsiasi situazione particolare”. L’AI Act presuppone che la persona fisica possa “restare consapevole della tendenza a fare affidamento automatico” e possa “decidere di non usare il sistema”. La Legge 132 presuppone che la decisione finale, ricondotta alla persona, sia effettivamente sua, e che nelle professioni intellettuali il pensiero critico umano sia qualitativamente prevalente rispetto all’uso dello strumento.
In tutti e tre i casi il soggetto della supervisione è dato per scontato. Il problema viene sempre posto come “quanto controllo dare all’umano”, mai come “chi è questo umano e in che stato si trova quando deve esercitare il controllo”. L’antropologia presupposta è quella di un soggetto sovrano, integro, autonomo: un soggetto che corrisponde alla figura del professionista classico, formato prima e indipendentemente dallo strumento, capace di stare in piedi davanti alla macchina e di decidere su di essa con giudizio proprio.
L’obiezione immediata, comprensibile, è che nella pratica quell’umano ha contorni molto definiti. È il medico specialista, l’ingegnere, l’analista finanziario, il funzionario pubblico, il giudice, il commercialista. Professionisti formati, con responsabilità chiare, identità professionale riconosciuta. Come si può sostenere che quel soggetto, nei termini in cui il diritto lo immagina, semplicemente non esista più?
L’obiezione tiene se l’identità professionale coincidesse con l’autonomia cognitiva. Ma le due cose sono distinte. Il professionista esiste fisicamente, ha la sua laurea, il suo ruolo, le sue competenze formali. Quello che il diritto presuppone è qualcos’altro: che il suo pensiero critico, nel momento in cui esercita supervisione sull’AI, sia un pensiero strutturalmente esterno al sistema che giudica. Ed è proprio questa esteriorità a essere oggi in questione.
3. Il soggetto del controllo si forma dentro la relazione che dovrebbe controllare
Quando un professionista lavora ogni giorno dentro un dialogo continuo con un sistema di intelligenza artificiale generativa, le sue abitudini di pensiero si modificano. I suoi criteri di giudizio vengono progressivamente co-prodotti dallo strumento che dovrebbe ora supervisionare. La sua capacità di formulare domande, di sospettare risposte, di sostenere obiezioni si ristruttura attorno al sistema con cui dialoga. Chiedergli di esercitare controllo significativo sull’AI è chiedergli di controllare lo strumento che ha contribuito a formare la sua capacità stessa di controllo. Chiedergli che il suo pensiero critico sia “qualitativamente prevalente” sull’AI è chiedergli che la qualità di un pensiero formato dentro l’AI sia superiore alla qualità dell’AI stessa: il che è possibile, ma non scontato, e dipende esattamente da quel “che cosa è successo al pensiero” che il diritto non si chiede.
Non stiamo parlando dell’evoluzione che siamo abituati a riconoscere quando un nuovo strumento entra nel lavoro. Quando un artigiano impara a usare un attrezzo più efficiente, l’attrezzo cambia, la mano si adatta, ma la mente che decide quale gesto compiere e dove resta autonoma. Con i sistemi AI generativi l’interazione prolungata modifica la struttura stessa della mente che decide.
Le forme di questa modificazione sono già visibili. C’è il manager o il consulente che ha smesso di scrivere un documento complesso partendo da un foglio bianco: l’architettura del pensiero si forma solo in risposta alla struttura suggerita dal modello. C’è il medico che esamina i sintomi, formula un’ipotesi, e poi attende implicitamente la validazione dell’algoritmo: la diagnosi umana diventa una bozza, e il professionista comincia a dare più peso ai dati quantitativi che la macchina sa leggere, calibrando le proprie domande sui termini in cui l’algoritmo le sa elaborare. C’è il consulente che testa scenari strategici con la macchina prima di farlo con i colleghi, e così facendo addestra inconsapevolmente il proprio istinto a sospettare alla forma delle reazioni che si aspetta dal software.
C’è una forma più diffusa e silenziosa di questa stessa dinamica, e riguarda tutti noi nelle micro-decisioni quotidiane. Pensiamo al navigatore satellitare. Conosciamo a grandi linee un’area, l’istinto e la memoria ci dicono che una certa strada è la migliore, ma lo schermo indica una rotta diversa: e il dubbio sorge subito, il sistema avrà dati in tempo reale che noi non abbiamo. Si baratta la convinzione con la comodità, si esternalizza la decisione. Lo stesso vale per il correttore ortografico: il dubbio su una parola complessa non stimola più lo sforzo mnemonico, perché sappiamo che ci penserà il software. Il software costruisce così, attraverso migliaia di micro-interazioni innocue, un enorme capitale di fiducia. Si dimostra statisticamente affidabile, o comunque più efficiente di noi. Il problema vero emerge quando questo credito accumulato viene trasferito automaticamente a decisioni ad alto impatto: l’approvazione di un mutuo, l’allocazione di risorse in terapia intensiva, la valutazione di un rischio penale.
In tutti questi casi, e attraverso forme diverse, non stiamo assistendo a una banale dipendenza. Stiamo assistendo a un’ibridazione cognitiva. Il professionista pensa attraverso la macchina anche quando la macchina è spenta. Le sue euristiche, le sue priorità, la sua soglia critica si sono ricalibrate. E lui non lo sa, perché ciascuna delle micro-interazioni che hanno prodotto questa ricalibrazione gli è sembrata, sul momento, soltanto un atto di efficienza.
4. Il paradosso della supervisione
Da questo emerge un paradosso che attraversa tutti e tre i piani dell’edificio normativo.
L’AI Act, all’articolo 14, chiede che la persona fisica supervisore resti consapevole della tendenza a fare affidamento automatico sull’output. È una formulazione attenta, perché nomina esplicitamente l’automation bias. Ma chiede al supervisore di esercitare consapevolezza su una propria tendenza che, secondo l’analisi fenomenologica, è essa stessa il prodotto cumulativo dell’esperienza professionale con quei sistemi. La consapevolezza richiesta presuppone una posizione di osservazione esterna al proprio funzionamento cognitivo che il funzionamento cognitivo stesso ha eroso. È come chiedere a uno studente di valutare in modo neutrale il lavoro del proprio professore, usando però esclusivamente le griglie di valutazione che quel professore gli ha insegnato. L’esito è strutturalmente allineato all’oggetto della valutazione.
La Legge 132 fa una mossa ancora più radicale, ed è proprio per questo più esposta al paradosso. L’articolo 13 richiede, per le professioni intellettuali, che il pensiero critico umano risulti qualitativamente prevalente rispetto all’uso dell’AI. È una formulazione molto forte, che colpisce esattamente al centro del problema: non basta che ci sia un umano, deve esserci un pensiero critico che mantenga una superiorità qualitativa sull’output algoritmico. Ma la prevalenza qualitativa è qualcosa che il diritto può richiedere e non può verificare senza una fenomenologia del soggetto che la esercita. Come si misura la prevalenza qualitativa del pensiero critico di un commercialista che da tre anni redige le proprie analisi dialogando con un sistema AI, le cui categorie di valutazione si sono progressivamente conformate alle griglie che il sistema sa leggere? La prevalenza c’è formalmente — è lui che firma — ma è ancora qualitativamente prevalente, o è il sistema che è qualitativamente prevalente nel pensiero del commercialista che firma?
Lo stesso ragionamento vale, in modi diversi, per HLEG. Human in command è il livello più alto della tripartizione, e proprio per questo è il più esigente. Mentre in the loop richiede solo che l’umano valuti un singolo output (e già lì entrano in gioco i bias di automazione), in command richiede che l’umano valuti l’opportunità complessiva di usare un sistema AI, il suo impatto economico, sociale, etico, e che decida quando e come usarlo. Questa è una posizione di esteriorità cognitiva al sistema che, secondo l’analisi che si va proponendo qui, è esattamente quella che l’uso prolungato del sistema rende strutturalmente meno disponibile. Più si sale nella gerarchia di supervisione, più si presuppone un soggetto sovrano, e meno questo soggetto è effettivamente sovrano.
Il paradosso è il seguente. L’edificio normativo costruisce strumenti sempre più sofisticati per garantire una supervisione umana significativa, una prevalenza qualitativa del pensiero critico, un comando effettivo sull’AI. Ma tutti gli strumenti poggiano su un’antropologia comune: un soggetto la cui capacità di giudizio è data come preesistente al sistema su cui giudica. Se quell’antropologia non regge — se il soggetto si forma dentro la relazione che dovrebbe poi supervisionare — l’edificio rischia di essere un’architettura impeccabile costruita sopra una fondazione che si sta erodendo.
5. Una fenomenologia preliminare
A fronte di questo, “supervisione umana significativa”, “prevalenza del pensiero critico umano”, “human in command” non possono essere solo formule normative di crescente intensità affermativa. Devono essere accompagnate da uno strumento concettuale che il dibattito attuale non si è ancora dato. Lo chiamerei una fenomenologia preliminare al controllo.
Per fenomenologia intendo qui lo studio dell’esperienza vissuta dal soggetto mentre interagisce con il sistema. Per preliminare intendo: prima di stabilire per legge quanta autorità riservare all’umano sulla macchina, dobbiamo mappare il suo reale stato cognitivo nel momento in cui esercita quel controllo.
Da quanto tempo questo professionista dialoga con il sistema che dovrebbe ora supervisionare? Da quanti anni le sue euristiche sono state esposte a quella particolare interfaccia? Quali delle sue capacità di giudizio sono ancora autonome e quali si sono trasformate in appendici cognitive del sistema? Quali errori del sistema è ancora in grado di riconoscere, e quali ha smesso di poter vedere perché coincidono con il suo nuovo modo di vedere le cose?
Sono domande operative, non astratte. Possono entrare nei requisiti di formazione del personale che opera con sistemi AI ad alto impatto. Possono diventare parte degli audit di conformità all’articolo 14 dell’AI Act, integrando la verifica delle capacità operative (può intervenire, può rifiutare l’uso) con una verifica dello stato cognitivo del supervisore. Possono trovare spazio nei decreti attuativi della Legge 132, che è una norma di cornice e attende ancora di essere riempita di regole tecniche di dettaglio. Possono modulare l’applicazione del principio di prevalenza qualitativa per le professioni intellettuali, distinguendo i casi in cui la prevalenza è effettivamente tale dai casi in cui è solo formale perché il pensiero critico è già stato co-prodotto. E, per quanto riguarda la Pubblica Amministrazione, possono dare contenuto operativo a quella “supervisione umana significativa” che l’articolo 14 comma 2 della Legge 132 invoca senza ancora dire come si riconosca.
Senza questa mappatura, il quadro normativo italiano-europeo rischia di essere — pur con tutte le sue raffinatezze terminologiche — una correzione semantica che lascia intatta l’antropologia ingenua su cui poggia. Si presuppone un soggetto sovrano, integro, autonomo, e gli si attribuisce un’autorità sempre più alta sulla macchina. Quel soggetto, semplicemente, non esiste più nei termini in cui il diritto lo presuppone. Esiste un soggetto ibrido, le cui euristiche, priorità e soglie di critica si sono progressivamente ricalibrate dentro l’interazione con la macchina, e che esercita supervisione, comando e prevalenza dentro una struttura cognitiva che il sistema stesso ha contribuito a formare.
Un human in command degno del nome, una supervisione significativa effettiva, una prevalenza qualitativa del pensiero critico sono possibili solo se sappiamo qualcosa di chi le esercita. Sappiamo da dove viene il suo giudizio, quali strumenti l’hanno formato, in che misura quella formazione l’ha reso più o meno capace di esercitare critica sullo strumento stesso. Senza questa conoscenza, ciò che il diritto afferma con forza viene neutralizzato sul piano dei fatti.
6. Domande aperte
Se questo vale per il singolo professionista in dialogo con la sua AI, vale anche per entità più grandi?
Un’organizzazione che ha operato per anni dentro sistemi algoritmici è ancora in command delle sue decisioni? I suoi processi interni, le sue categorie operative, le sue priorità sono ancora autonomi rispetto agli strumenti che usa, o si sono adattati silenziosamente a essi?
Un’istituzione pubblica che eroga sussidi, valuta rischi, classifica cittadini attraverso ontologie scritte da soggetti tecnologici esterni è ancora padrona del proprio linguaggio? Quando un ente adotta categorie di rischio, segmentazioni di popolazione, indicatori di efficacia che sono già inscritti negli strumenti che usa, sta esercitando un giudizio politico autonomo o sta importando un linguaggio che lo precede?
E, all’ultimo scalino, un Paese che ha delegato le infrastrutture cognitive su cui poggia la propria amministrazione è ancora in command della propria capacità di governo?
Queste sono domande che meritano un trattamento autonomo, e che lascio qui aperte. Quello che il presente intervento prova a mostrare è solo che, a scala individuale, la questione del controllo umano sull’AI non si chiude con l’edificio normativo che HLEG, AI Act e Legge 132 hanno faticosamente costruito. Si apre, e in modo che il diritto, per ora, non ha del tutto registrato.
Quale umano. Forse è da qui che vale la pena ripartire, prima di stabilire chi controlla cosa.
Martino Pirella 
Lascia un commento