LLM proprietari o open source: i criteri di scelta per l'azienda

La domanda arriva in ogni percorso di adozione, di solito posta come scelta di campo: meglio i modelli proprietari dei grandi provider, consumati via API, o i modelli open source (più precisamente open weight, visto che di aperto ci sono i pesi e di rado tutto il resto) da far girare sotto il proprio controllo? La forma della domanda è la prima cosa da correggere, perché presuppone una risposta unica per l'azienda, mentre la risposta seria si dà per caso d'uso, e quasi sempre al plurale.

Da posizione vendor-agnostic quale la nostra, senza modelli da vendere né alleanze da onorare, i criteri che vediamo decidere davvero sono sei, e conviene passarli in ordine di peso.

Capacità richiesta e sensibilità dei dati

Il primo criterio è la distanza tra ciò che il caso d'uso richiede e ciò che le due famiglie offrono. Sui compiti di frontiera, ragionamento complesso e affidabilità su domini difficili, i modelli proprietari di punta mantengono un vantaggio, mentre su una quota crescente di compiti aziendali, classificazione, estrazione, sintesi su domini circoscritti, i modelli aperti di taglia media raggiungono risultati indistinguibili a una frazione del costo per token. La conseguenza pratica è che pagare capacità di frontiera per compiti di routine è lo spreco più comune che incontriamo nei conti dei clienti.

Il secondo criterio sono i dati che il modello vedrà. Per informazioni ordinarie, i contratti enterprise dei provider seri offrono oggi garanzie contrattuali robuste su non-addestramento e residenza dei dati, e vanno lette invece che presunte. Restano i casi in cui il dato non può uscire per vincolo normativo, di segreto industriale o di committenza, ed è lì che il modello aperto in infrastruttura propria smette di essere una preferenza ideologica e diventa l'unica opzione sul tavolo.

Il costo totale, con le voci nascoste

Il terzo criterio è il TCO, e il confronto onesto guarda oltre il prezzo per token. La via proprietaria fa pagare l'uso e regala tutto il resto: aggiornamenti, infrastruttura, sicurezza del serving, scalabilità. La via aperta azzera il costo di licenza e apre le voci che nei business case entusiasti mancano sempre, le GPU o il cloud per l'inferenza, l'ingegneria per servire il modello con latenze accettabili, il monitoraggio, e soprattutto le persone capaci di fare tutto questo, che sono la voce più scarsa e più cara del listino. La regola empirica che ne esce: sotto una certa scala di utilizzo l'API vince quasi sempre sul costo pieno, e il punto di pareggio va calcolato sul proprio traffico reale, non sulle slide del fornitore di GPU.

Il quarto criterio è il controllo, nelle sue forme concrete: la possibilità di fissare una versione del modello e deciderne il ciclo di vita (con le API, il provider può deprecare ciò su cui avete costruito), di specializzarlo in profondità con fine-tuning sui propri dati, di ispezionarne il comportamento per esigenze di audit. Dove queste esigenze pesano, i pesi aperti pesano con loro.

Compliance, competenze e la logica del portafoglio

Il quinto criterio è il profilo normativo. L'AI Act assegna obblighi specifici a chi fornisce modelli per finalità generali, e consumare via API lascia quegli obblighi al provider, mentre chi prende un modello aperto e lo modifica o lo mette in servizio deve capire quale parte della catena di responsabilità sta assumendo, una valutazione da fare con il legale prima e con evidenze scritte, non dopo. Il sesto criterio, le competenze, è il più semplice da enunciare: la via aperta è una scelta di build, e le scelte di build si fanno con le persone che si hanno o che si è certi di poter assumere e trattenere.

Messi in fila, i sei criteri portano quasi sempre alla stessa architettura di arrivo, il portafoglio: modelli proprietari di punta dove la capacità di frontiera paga, modelli aperti o proprietari minori dove il compito è di routine e i volumi mordono, un livello di astrazione tecnico che permetta di instradare e sostituire senza riscrivere le applicazioni. Il portafoglio, oltre a ottimizzare i costi, è la migliore assicurazione contro il lock-in, tema che merita un articolo a sé e che qui lasciamo come promemoria contrattuale: la clausola di uscita si negozia all'ingresso.

La scelta dei modelli, vista da questa distanza, è una decisione di business travestita da decisione tecnica, e come tale entra nel lavoro di AI Strategy che facciamo con i clienti, dentro criteri espliciti invece che dentro preferenze di reparto: calendly.com/fabiolalli/zerofive, oppure hello@zerofive.ai. Il test rapido per capire se la vostra scelta attuale è stata una decisione o un'abitudine sta in una domanda: sapreste dire, caso d'uso per caso d'uso, perché gira sul modello su cui gira?