---
title: "La qualità di un output generativo: criteri di accettazione, set di riferimento e misura in esercizio"
url: https://zerofive.ai/blog/approfondimenti/qualita-output-generativo-criteri-misura
canonical: https://zerofive.ai/blog/approfondimenti/qualita-output-generativo-criteri-misura
language: it
published: 2026-11-14
updated: 2026-11-11
author: "ZeroFive.AI"
tags: qualità degli output, valutazione, golden set, osservabilità, value case, AI Rating
abstract: "Criteri di accettazione, set di riferimento, giudizio umano e automatico, misura in esercizio: come definire e misurare la qualità di un sistema AI generativo."
---

# La qualità di un output generativo: criteri di accettazione, set di riferimento e misura in esercizio

**In sintesi.** La qualità di un sistema generativo non si può misurare finché qualcuno non l'ha definita con un criterio di accettazione scritto, applicabile da una persona estranea al progetto. Alcuni compiti, come il codice o l'estrazione di dati, si verificano in automatico e conviene partire da quelli. Per gli altri servono un set di casi reali firmato da chi conosce il lavoro, una griglia di valutazione e una misura ripetuta dopo il rilascio. Senza soglie dichiarate un pilota non può fallire, e quindi non autorizza nulla.

Quando un progetto di intelligenza artificiale generativa arriva alla riunione in cui si decide se portarlo in produzione, qualcuno prima o poi chiede se il sistema funziona bene, e la risposta che arriva quasi sempre è un aggettivo. Le risposte sono buone, i colleghi che lo hanno provato sono soddisfatti, la demo ha convinto il comitato. Nessuno di questi giudizi è falso, però nessuno è una misura, e una decisione di investimento presa su un aggettivo si può soltanto ripetere o ritirare, senza sapere che cosa è cambiato nel frattempo.

È un problema che ci viene posto spesso anche da chi di tecnologia ne mastica parecchia: come si stabilisce che l'output di un modello, o il lavoro di un agente, ha una qualità sufficiente. La domanda sembra tecnica e invece riguarda chi decide, perché da quella definizione dipendono la scelta del modello, il costo di esercizio, il livello di controllo umano e, per i sistemi che ricadono nell'AI Act, una parte della documentazione obbligatoria.

![Dal criterio alla misura: criterio di accettazione, set di riferimento, valutazione e misura in esercizio](/qualita-output-generativo-misura-it.png)

## La qualità come criterio di accettazione

Nel software tradizionale la qualità ha una forma nota. Un requisito dice che cosa il sistema deve fare, un test verifica che lo faccia, e il risultato è sempre lo stesso a parità di ingresso. Con i modelli generativi questa catena si spezza in due punti: lo stesso ingresso può produrre uscite diverse, e per molti compiti non esiste un'unica risposta corretta con cui confrontarle. Dell'effetto che questo ha sull'architettura abbiamo scritto nel pezzo su [probabilistico e deterministico](/blog/approfondimenti/probabilistico-deterministico-architettura-ai).

La conseguenza pratica è che la qualità va definita prima di essere misurata, e definirla vuol dire scrivere un criterio di accettazione che una persona estranea al progetto possa applicare allo stesso modo. Per un riassunto di verbali può essere la presenza di tutte le decisioni prese e di chi le ha in carico, senza attribuzioni inventate. Per una risposta al cliente può essere la correttezza del riferimento contrattuale e il rispetto del tono previsto. Finché il criterio resta nella testa di chi ha costruito il sistema, ogni valutazione è un'opinione.

Un criterio scritto ha anche un altro effetto, meno visibile. Costringe il responsabile di processo a dichiarare quale margine di errore accetta, e quel numero è una scelta di business che nessun fornitore può fare al suo posto. Un assistente che sbaglia due riassunti su cento è accettabile per le note interne di un gruppo di lavoro e non lo è per una comunicazione all'autorità di vigilanza.

## I compiti con una verifica oggettiva

Esiste una famiglia di compiti in cui la qualità si può controllare senza giudizio umano, ed è quella da cui conviene partire. Il codice è il caso più evidente: compila oppure no, supera i test oppure no, rispetta le regole di sicurezza oppure viene segnalato dagli strumenti di analisi. Lo stesso vale per l'estrazione di dati da documenti quando esiste un valore di riferimento, per le classificazioni su categorie chiuse, per le trasformazioni di formato.

In questi casi la misura è un tasso di successo su un insieme di prove, e ha tutte le proprietà che servono a una decisione. Si può confrontare tra due modelli, si può ripetere dopo ogni aggiornamento, si può mettere accanto al costo. È il motivo per cui i programmi di riscrittura del codice legacy sono oggi tra i primi progetti in cui un'azienda riesce a dire, con un numero, se un modello più piccolo e meno costoso produce lo stesso risultato di uno di frontiera.

Chi ha davanti un portafoglio di casi d'uso dovrebbe tenerne conto quando sceglie l'ordine. A parità di valore atteso, il caso in cui la qualità è verificabile in automatico permette di imparare più in fretta e di difendere meglio la decisione successiva, come raccontiamo nell'articolo su [come prioritizzare gli use case](/blog/strategia/prioritizzare-use-case-ai).

## Il set di riferimento per i compiti senza risposta unica

Per tutto il resto serve un insieme di casi reali con la risposta attesa, quello che i tecnici chiamano golden set. Non deve essere grande. Trenta o cinquanta casi presi dal flusso di lavoro vero, scelti in modo da coprire le situazioni frequenti e quelle scomode, bastano a far emergere la maggior parte dei difetti. Su come costruirlo ci siamo soffermati in [scegliere il modello per il compito](/blog/approfondimenti/scegliere-modello-ai-per-il-compito), e sui limiti delle classifiche pubbliche in [benchmark e valutazione dei modelli](/blog/approfondimenti/benchmark-valutazione-modelli-ai).

Accanto ai casi va scritta una griglia di valutazione, cioè l'elenco dei criteri con cui ogni risposta viene giudicata e la scala usata per ciascuno. La griglia può essere applicata da una persona esperta del dominio oppure da un secondo modello istruito a farlo, e le due strade non si escludono. Il giudice automatico costa poco e scala, il giudizio umano serve a tararlo e a controllare a campione che non stia premiando risposte ben scritte e sbagliate.

Qui c'è l'errore che vediamo più spesso. Il set di riferimento viene costruito dal fornitore o dal gruppo tecnico, con casi che il sistema sa già gestire, e i responsabili di processo lo vedono soltanto a risultato ottenuto. Un set utile lo firma chi conosce il lavoro, e contiene anche i casi in cui la risposta giusta è rifiutarsi di rispondere.

## La misura in esercizio

Una valutazione fatta prima del rilascio descrive il sistema in quel momento, con quel modello e con quei documenti. In esercizio cambiano tutti e tre gli elementi: il fornitore aggiorna il modello, gli utenti pongono domande che nessuno aveva previsto, la base documentale cresce e invecchia.

Per questo la misura va ripetuta, e conviene decidere da subito con quale frequenza e su quali segnali. I più utili sono quelli che il sistema produce da solo durante l'uso, come la quota di risposte corrette a mano dagli operatori, le richieste riformulate più volte, i casi passati a una persona. Registrare per ogni richiesta il modello usato, il tempo di risposta e il consumo permette poi di collegare la qualità al costo, che è la relazione su cui si decide se un modello più economico può sostituirne uno più caro.

Molte piattaforme offrono questa osservabilità già pronta, e il rischio è scambiarla per una misura di qualità. I log dicono che cosa è successo e quanto è costato. Che il risultato fosse buono lo dice soltanto il confronto con un criterio, e quel confronto qualcuno deve averlo progettato.

## I riferimenti nelle norme

Per i sistemi ad alto rischio l'AI Act chiede che i livelli di accuratezza e le metriche con cui sono misurati vengano dichiarati nelle istruzioni per l'uso, come prevede l'articolo 15 del [Regolamento (UE) 2024/1689](https://eur-lex.europa.eu/eli/reg/2024/1689/oj). La norma ISO/IEC 42001 dedica la clausola 9 alla valutazione delle prestazioni del sistema di gestione, con monitoraggio e misurazione pianificati. In entrambi i casi il presupposto è lo stesso: l'organizzazione sa dire che cosa misura, con quale metodo e chi ne risponde.

Anche fuori dal perimetro dell'alto rischio, quella dichiarazione è ciò che permette a un consiglio di amministrazione di approvare un rilascio sapendo che cosa approva. Dopo il [D.Lgs. 160/2026](/blog/compliance/documentazione-ai-difesa-dlgs-160-2026) è anche materiale che può essere chiesto in giudizio quando un sistema ha causato un danno.

## Il posto della qualità nel percorso di decisione

Nel nostro metodo la definizione di qualità entra in due momenti. Il primo è il Value Case, dove il beneficio atteso viene calcolato rispetto a una linea di base e a un'alternativa senza AI: se non si sa dire quale livello di qualità rende utilizzabile l'output, il beneficio è una stima senza fondamento. Ne parliamo nell'articolo sul [value case di un progetto AI](/blog/strategia/value-case-alternativa-non-ai-scartata).

Il secondo momento è il gate di validazione, quello in cui si verifica che il pilota abbia raggiunto le soglie dichiarate prima di chiedere l'autorizzazione al rilascio. Un pilota senza soglie scritte non può fallire, e un pilota che non può fallire non autorizza niente. Nell'AI Rating questa capacità pesa sulla dimensione Delivery, mentre la fiducia che utenti e vertice ripongono nel sistema, che dalla misura dipende, viene letta nella dimensione Confidence.

Un'azienda che vuole capire a che punto si trova può fare una prova semplice sul sistema generativo più usato al proprio interno, chiedendo al responsabile quale criterio di accettazione è stato scritto, su quanti casi è stato verificato e quando è stata ripetuta l'ultima misura. Dalle risposte si capisce se la qualità è governata o soltanto percepita, ed è il punto da cui partiamo quando [avviamo un AI Rating](/avvia-ai-rating) o in un primo [incontro di valutazione](https://calendly.com/fabiolalli/zerofive).
