Come valutare un prodotto AI prima di adottarlo: le domande da fare al vendor

Il procurement aziendale ha decenni di esperienza nel comprare software, e quasi nessuna nel comprare software che si comporta in modo probabilistico, cambia con gli aggiornamenti del fornitore e trascina con sé un corredo normativo in evoluzione. Il risultato si vede nelle demo: presentazioni impeccabili, sempre sugli stessi esempi, davanti a compratori che non hanno ancora un questionario all'altezza dell'oggetto. Da posizione vendor-agnostic, senza prodotti da difendere né da attaccare, abbiamo distillato le domande che nei progetti dei clienti separano i fornitori solidi da quelli che vendono una roadmap, e conviene organizzarle in cinque aree.

Cosa c'è dentro, davvero

La prima area apre la scatola. Quale parte del prodotto è AI e quale è logica tradizionale? La domanda sembra ingenua e non lo è, perché la risposta rivela subito i casi di AI washing da fornitore, il prodotto storico ribattezzato per una funzione marginale. Su quali modelli poggia, propri o di terzi, e in questo secondo caso di chi? Il fornitore controlla le versioni o eredita gli aggiornamenti del provider a monte, con i cambi di comportamento che ne seguono? Con quale preavviso comunica modifiche che toccano gli output?

Un fornitore serio risponde senza reticenze, al netto dei dettagli protetti da proprietà intellettuale; uno che oppone il segreto industriale alla domanda "chi produce il modello che elaborerà i miei dati" sta chiedendo un atto di fede, e gli atti di fede nel procurement hanno un altro nome.

Dove vanno i dati, e cosa impara il sistema

La seconda area è quella dove gli errori costano di più. I vostri dati vengono usati per addestrare o migliorare modelli, del fornitore o di terzi? La risposta va pretesa per iscritto nel contratto, con la distinzione tra dati di configurazione, dati operativi e feedback degli utenti, perché le policy spesso divergono tra i tre. Dove risiedono fisicamente i dati, con quali sub-fornitori, con quali tempi di conservazione e cancellazione? Come si concilia tutto questo con GDPR e, per i casi d'uso che lo richiedono, con i vincoli di settore?

Su quest'area la documentazione batte la conversazione: DPA, elenco dei sub-processori, certificazioni di sicurezza con il loro perimetro reale. Il commerciale rassicura, il contratto vincola.

Le prove, il regolamento, l'uscita

La terza area riguarda le evidenze di performance, e la regola discende da ciò che abbiamo scritto sui benchmark: le metriche del fornitore, ottenute sui casi del fornitore, contano come le brochure. La richiesta giusta è una proof of value sui vostri casi reali, con il vostro golden set, i vostri criteri di successo e una durata definita, e la disponibilità del fornitore a sostenerla è essa stessa un dato: chi ha un buon prodotto di solito non teme il banco di prova.

La quarta area è normativa. Come classifica il fornitore il proprio sistema rispetto all'AI Act, con quale motivazione scritta? Quale documentazione fornisce per gli adempimenti che restano a carico vostro come deployer, dalla trasparenza verso gli utenti alla sorveglianza umana? La domanda va fatta oggi anche ai fornitori di sistemi non ad alto rischio, perché la capacità di rispondere misura la maturità della loro governance, e perché il vostro registro dei sistemi ha bisogno di quelle informazioni comunque.

La quinta area guarda alla fine fin dall'inizio: in quali formati escono i vostri dati e le vostre configurazioni se il rapporto si chiude, in quanto tempo, a quale costo? Le personalizzazioni costruite sopra il prodotto restano vostre? È il tema del lock-in, che merita l'articolo a sé che gli dedicheremo, e che in fase di acquisto si riassume in un principio: le condizioni di uscita si negoziano quando il fornitore vi vuole, non quando volete andarvene.

Il metodo oltre le domande

Le domande funzionano dentro un processo, e il processo minimo ha tre proprietà. Le stesse domande a tutti i candidati, con le risposte scritte e conservate, perché la memoria delle demo è generosa con chi ha presentato meglio. Un punteggio con pesi decisi prima, per gli stessi motivi visti nella prioritizzazione degli use case. E la presenza al tavolo, fin dal primo giro, di chi userà il prodotto e di chi ne presidia i rischi, perché il costo di coinvolgerli dopo lo conoscete già.

Nella nostra catena questo lavoro vive dentro l'AI Assessment e la selezione che ne segue, dove i fornitori si valutano con la stessa disciplina degli use case: calendly.com/fabiolalli/zerofive, oppure hello@zerofive.ai. E se una trattativa è già in corso, il test più economico del mese sta in una richiesta sola: chiedete al fornitore la proof of value sui vostri dati, e guardate cosa succede alla conversazione.