RAG e connettori: quale canale per quale dato

In sintesi. Il recupero semantico e i connettori rispondono a domande diverse. Un indice vettoriale trova i passaggi di testo più simili alla domanda, quindi funziona su documenti, procedure, contratti e materiale che cambia di rado. Un connettore interroga un sistema e restituisce il dato corrente, con i permessi di chi fa la domanda, quindi serve per saldi, giacenze, stati pratica, scadenze. Un sistema che mette un saldo in un indice vettoriale sta rispondendo con una fotografia vecchia e non lo dichiara.

Questa è la scelta architetturale che decide la qualità percepita di un assistente aziendale, più della scelta del modello.

Due canali con proprietà diverse

Proprietà	Recupero semantico (RAG)	Connettore verso un sistema
Cosa trova	Passaggi simili alla domanda	Il record che soddisfa una query
Freschezza	Quella dell'ultima indicizzazione	Quella del sistema sorgente
Autorevolezza	Dipende dal documento recuperato	Il sistema è la fonte
Permessi	Vanno ricostruiti sull'indice	Ereditati dal sistema
Aggregazioni e conteggi	Inaffidabili	Native
Tracciabilità	Riferimento al documento e al passaggio	Identificativo del record e timestamp
Costo marginale	Basso per query, alto per reindicizzazione	Dipende dal sistema interrogato

La riga sulle aggregazioni spiega metà dei fallimenti. Una domanda del tipo quanti contratti scadono nel trimestre non si risolve recuperando dieci passaggi di testo, perché il recupero restituisce quello che somiglia alla domanda e non la popolazione completa che la soddisfa.

Come funziona davvero il recupero semantico

Il materiale viene spezzato in blocchi, ogni blocco viene trasformato in un vettore numerico, e alla domanda si associa il suo vettore. Il sistema restituisce i blocchi più vicini, quasi sempre un numero fisso, e li passa al modello come contesto.

Da questa meccanica discendono i limiti operativi, e conoscerli evita di promettere comportamenti che il canale non può avere.

La dimensione del blocco decide cosa si riesce a recuperare. Blocchi piccoli danno precisione e perdono il contesto intorno, blocchi grandi portano rumore e diluiscono la somiglianza. Una clausola contrattuale che rimanda a una definizione collocata venti pagine prima si recupera male in entrambe le configurazioni, a meno che la struttura del documento non venga conservata nei metadati.

Il numero fisso di blocchi restituiti introduce un effetto meno ovvio. Se la risposta corretta richiede sette fonti e il sistema ne porta cinque, il modello risponde comunque, con le cinque che ha, senza segnalare che il quadro è parziale.

I documenti quasi identici sono il terzo punto critico. Quattro versioni della stessa procedura, con tre paragrafi diversi su quaranta, hanno vettori quasi sovrapposti, e il recupero restituisce quella sbagliata con la stessa confidenza di quella giusta. La soluzione non è nel modello, è nei metadati di versione e nel filtro che li usa.

Il connettore e le sue tre proprietà

Il connettore traduce una richiesta in una interrogazione verso un sistema che detiene il dato: un gestionale, un CRM, un archivio documentale, un servizio esposto dall'IT.

Tre proprietà lo rendono adatto ai dati operativi. Il risultato è quello corrente, perché viene letto al momento della domanda. I permessi arrivano dal sistema sorgente, quindi una persona vede quello che vedrebbe entrando dall'interfaccia. Il risultato è identificabile, perché porta con sé la chiave del record e il momento della lettura.

C'è una conseguenza di progetto che conviene mettere a budget. Un connettore richiede che qualcuno definisca quali interrogazioni sono ammesse, con quali parametri e con quali limiti, altrimenti un assistente può generare richieste che mettono sotto pressione un sistema di produzione. Questa definizione è un contratto tecnico, e va versionata come il resto.

Quale canale per quale informazione

Tipo di informazione	Canale	Nota
Procedure, policy, manuali	Recupero semantico	Con metadati di versione e data di validità
Contratti e capitolati	Recupero semantico	Con filtro per controparte e periodo
Saldo, giacenza, disponibilità	Connettore	Cambia durante la giornata
Stato di una pratica o di un ordine	Connettore	Il dato è nel sistema che lo governa
Scadenze e date contrattuali	Connettore su dati strutturati	Se vivono solo nei PDF, vanno prima estratte
Conteggi, totali, elenchi completi	Connettore	Il recupero semantico non enumera
Storico decisioni e verbali	Recupero semantico	Con riferimento puntuale al documento
Anagrafiche e identificativi	Connettore	Fonte unica, altrimenti si moltiplicano le versioni

Nella tabella la voce sulle scadenze contiene il problema più comune. Molte informazioni che sembrano strutturate vivono soltanto dentro documenti, e finché non vengono estratte in un sistema interrogabile nessun canale le restituisce in modo affidabile.

Dove il recupero semantico sbaglia sui permessi

Un indice costruito su tutti i documenti aziendali, interrogato da chiunque, espone a chiunque i contenuti che il filtro non riesce a escludere.

Esistono tre impostazioni, con costi diversi. Il filtro prima della ricerca, che restringe lo spazio ai documenti consentiti per quell'utente, è il comportamento corretto e richiede che i permessi siano disponibili nei metadati di ogni blocco. Il filtro dopo la ricerca, che scarta i risultati non consentiti, è più semplice e produce risposte peggiori, perché il sistema ha già speso i suoi posti disponibili su materiale che poi scarta. Gli indici separati per profilo sono la via più sicura e la più costosa da mantenere.

Qualunque impostazione si scelga, i permessi vanno aggiornati quando cambiano nei sistemi di origine. Un indice che conserva le autorizzazioni di sei mesi fa è un problema di sicurezza che nessuno vede, perché si manifesta solo quando qualcuno fa la domanda giusta.

Freschezza, versioni e invalidazione

Ogni blocco indicizzato va accompagnato da tre informazioni: da quale documento proviene, in quale versione, e fino a quando quella versione è valida.

Senza la terza, il sistema cita procedure superate con la stessa sicurezza con cui cita quelle in vigore. Con la terza, il filtro può escludere il materiale scaduto e, quando serve, dichiarare che la versione vigente non è presente nell'indice.

La cadenza di reindicizzazione dipende dal tipo di materiale. Le policy cambiano poche volte l'anno, i listini e le procedure operative molto più spesso, e un assistente che risponde su entrambi i mondi con lo stesso ritmo di aggiornamento sbaglia sistematicamente su uno dei due.

La citazione va trattata come requisito

Ogni risposta che si appoggia a un documento deve portare il riferimento puntuale, con documento, versione e punto. Ogni risposta che si appoggia a un sistema deve portare l'identificativo del record e il momento della lettura.

Questo serve a tre cose. Permette a chi legge di verificare senza rifare la ricerca. Rende possibile ricostruire una risposta mesi dopo, quando il documento è cambiato. Dà al presidio un modo di misurare quanto spesso il sistema cita materiale scaduto o fuori perimetro.

Un assistente che non cita è inutilizzabile nei contesti dove qualcuno risponde di quello che ha fatto sulla base di quella risposta.

L'architettura che combina i due canali

Nei sistemi che funzionano il recupero semantico individua il contesto e il connettore porta il dato, con le regole che decidono cosa fare del risultato.

Una richiesta su una pratica arriva, il recupero trova la procedura applicabile nella versione vigente, il connettore legge lo stato corrente di quella pratica, la regola confronta i due e produce l'esito o l'eccezione. Il modello interpreta la domanda e compone la risposta, senza essere la fonte di nessuno dei due elementi.

Questa separazione rende anche gestibile il presidio, perché un errore si attribuisce a uno dei tre componenti invece che a un sistema indistinto.

Gli errori che si ripetono

Il primo è indicizzare dati operativi. Esportare un gestionale in PDF e metterlo in un indice produce un assistente che risponde con numeri vecchi e non sa di esserlo.

Il secondo è trattare il numero di documenti indicizzati come una misura di qualità. Un indice con centomila documenti non filtrati risponde peggio di uno con duemila documenti curati, versionati e con i permessi corretti.

Il terzo è non misurare il recupero separatamente dalla risposta. Quando un assistente sbaglia, la causa sta quasi sempre nei blocchi recuperati, e senza una misura di quella fase si finisce per cambiare modello mentre il problema è altrove.

Il quarto è esporre un connettore senza limiti. Interrogazioni senza vincoli di volume o di intervallo temporale possono degradare un sistema di produzione, e il rimedio va previsto prima del rilascio.

Da dove partire

La distinzione tra componenti che interpretano e componenti che decidono è in probabilistico e deterministico.

La parte di preparazione e qualità del dato è in data readiness e data governance per l'AI, mentre il ruolo delle strutture di conoscenza è in ontologie e infrastruttura.

Per impostare l'architettura del vostro assistente e decidere cosa va su indice e cosa su connettore puoi fissare un incontro di valutazione.