Che cosa consente la bozza di Annex 22 a un assistente AI dentro un software GMP?

Lo consente ovunque il suo output non abbia un impatto diretto sulla sicurezza del paziente, sulla qualità del prodotto o sull’integrità dei dati, se una persona qualificata ne risponde. La bozza di Annex 22 sull’intelligenza artificiale stabilisce che AI generativa e large language model “should not be used in critical GMP applications” (non dovrebbero essere usati in applicazioni GMP critiche), e gli assistenti integrati nei software aziendali di solito funzionano con uno di questi modelli. La linea passa quindi per l’uso. Un assistente che risponde a un operatore su una procedura è un uso non critico, perché l’operatore lavora sulla procedura controllata e la risposta non diventa un record. Una funzione che legge il certificato di un manufacturer e compila la sezione di conformità del vostro certificato di analisi sta dall’altra parte, perché il suo output entra in un record su cui poggia un rilascio. Le abbiamo costruite entrambe in una piattaforma per una filiera farmaceutica, e qui tracciamo la linea.

Copre i modelli di AI usati in applicazioni critiche nella fabbricazione di medicinali e di sostanze attive. Lo scope parla di applicazioni “with direct impact on patient safety, product quality or data integrity, e.g. to predict or classify data” (con impatto diretto su sicurezza del paziente, qualità del prodotto o integrità dei dati, per esempio per predire o classificare dati), e dice che il documento “provides additional guidance to Annex 11” (integra l’Annex 11). Siccome nomina le sostanze attive, chi importa e lavora materiale vegetale per uso farmaceutico sta nello stesso perimetro che decide dove inizia la GMP per un materiale di partenza vegetale.

Lo scope filtra poi in sequenza: modelli addestrati sui dati e non programmati, statici, cioè congelati dopo l’addestramento, con output deterministico, usati in un’applicazione critica. I modelli che continuano a imparare durante l’uso, o che possono rispondere in modo diverso allo stesso input, “should not be used in critical GMP applications”, e un modello generativo non supera per costruzione il filtro deterministico.

È ancora una bozza. La consultazione della Commissione si è chiusa il 7 ottobre 2025, l’indice di EudraLex Volume 4 porta ancora l’Annex 11 alla revisione del gennaio 2011 senza alcun Annex 22, e il piano di lavoro degli ispettori GMP e GDP dell’EMA punta al quarto trimestre 2026 per consegnare alla Commissione un testo finale. Nessuna clausola vincola ancora nessuno, e il testo mostra comunque come i suoi autori ragionano sull’AI in un sistema GMP.

Perché la sua risposta non modifica un record, non approva un passaggio e non classifica materiale, e l’operatore continua ad agire sulla procedura controllata. Per questo caso la bozza pone una condizione: nelle applicazioni GMP non critiche “personnel with adequate qualification and training should always be responsible for ensuring that the outputs from such models are suitable for the intended use, i.e. a human-in-the-loop (HITL)” (personale qualificato e formato deve sempre rispondere dell’idoneità degli output all’uso previsto, cioè una persona nel ciclo).

L’assistente che abbiamo costruito risponde agli operatori su aree e procedure. Resta un uso non critico solo finché valgono tre condizioni, e chi costruisce il software è il più esposto a consumarle un rilascio dopo l’altro:

• rimanda alla procedura controllata da cui attinge, così l’operatore verifica la fonte;
• non può scrivere in un lotto, in una specifica, in un certificato o in altri record;
• non può approvare, firmare o rilasciare nulla.

Dategli una sola di queste capacità e l’uso è cambiato. Per gli usi non critici la bozza dice che i suoi principi si possono considerare dove applicabili, e la clausola 3.3 calza. Porta però una condizione che i riassunti tendono a perdere: quando un modello dà un input a una decisione presa da un operatore “and where the effort to test such model has been diminished” (e quando lo sforzo di testare quel modello è stato ridotto), la descrizione dell’uso previsto “should include the responsibility of the operator” (deve includere la responsabilità dell’operatore), la cui formazione e prestazione costante “should be monitored like any other manual process” (va monitorata come ogni altro processo manuale). Scriveteli tutti e due prima della messa in produzione.

Quando ciò che il modello estrae finisce in un record GMP, come la sezione di conformità di un certificato di analisi, perché quella sezione alimenta la decisione di rilascio del lotto. Giudicare che un valore estratto rispetta una specifica è il tipo di classificazione che lo scope porta come esempio, con impatto diretto su qualità del prodotto e integrità dei dati, quindi un modello generativo che fa quel lavoro ricade nell’esclusione.

La soluzione più tentante è una persona che controlla il risultato. La bozza non dice che un controllo umano renda non critico un uso critico: offre la persona nel ciclo ai modelli generativi solo dove l’uso è non critico fin dall’inizio. Restano due progettazioni oneste. La prima tiene il modello fuori dal record, così indica dove si trova un valore nel documento del manufacturer e una persona identificata lo inserisce e lo firma. La seconda toglie l’AI generativa da quel passaggio e usa un’estrazione che dà sempre lo stesso risultato, validata come ogni altra funzione che scrive dati GMP. Finché un sistema che contiene record GMP non è validato, il documento firmato resta il record di riferimento.

Non ancora, perché non esiste un testo nuovo. L’EMA ha tenuto un workshop multistakeholder sull’Annex 22 il 30 giugno e l’1 luglio 2026, dopo che la consultazione aveva mostrato sostegno all’uso di AI generativa e large language model nella produzione, per discutere salvaguardie dentro un approccio basato sul rischio. L’agenzia attende un report con il contributo degli esperti, e al 13 settembre 2026 la pagina dell’evento non ne riporta nessuno. La posizione è in discussione e, sulla carta, invariata.

Un approccio basato sul rischio per i modelli generativi non può funzionare senza risposte alle domande poste qui: dove finisce l’output, chi ne risponde, e se era scritto prima della messa in produzione. Rispondete adesso e l’evidenza c’è qualunque direzione prenda il testo, dentro la revisione più ampia di cui abbiamo parlato in dove sta andando la GMP europea.

Scritto da

Fabrizio Longato

Consulente qualità e AI specialist, co-fondatore di Clear S.r.l. Società Benefit e managing partner di Clear Italia

LinkedIn