RAG in produzione: cosa deve possedere il CTO office vs delegare
Il retrieval-augmented generation è una piattaforma dati e un modello operativo, non una milestone da notebook. Guida di ownership per CTO, team di piattaforma e partner CX.
Sintesi esecutiva
- ·Il RAG fallisce in produzione su freschezza, controllo accessi e accountability, non solo sulla scelta del modello.
- ·Il CTO office deve possedere ciclo di vita degli indici, confini di sicurezza, osservabilità e governance dei costi.
- ·CX e prodotto definiscono corpora, rubriche di qualità risposta e escalation quando il sistema sbaglia.
- ·I vendor dovrebbero ricevere componenti delimitati con handover scritto, non «l’intero programma RAG».
- ·I set di valutazione devono riflettere query reali di operatori e clienti, non solo FAQ marketing.
- ·Partite con un corpus, una cohorte e SLA misurabili di allucinazione e freschezza prima di scalare i connettori.
Il problema
I board deck trattano il retrieval-augmented generation come una feature del modello. In produzione è un problema di piattaforma dati che attraversa pipeline di indicizzazione, retrieval consapevole dell’identità, cap sui costi, monitoraggio della deriva e escalation umana quando le risposte impattano clienti o workflow regolati. I team che delegano tutto il RAG a un vendor o a una singola squadra ML scoprono di solito le lacune al go-live: indici obsoleti, regole PII poco chiare, nessun owner per i job di re-embedding e leader CX sorpresi da risposte sbagliate ma sicure.
Cosa cambia tra pilota e produzione
I piloti usano spesso export statici, accesso permissivo e revisione manuale. La produzione aggiunge proliferazione di connettori, accesso basato su ruoli, requisiti di audit, rotazione on-call e query avversariali. Il CTO office è il naturale owner di queste proprietà di produzione, anche quando CX possiede la verità cliente.
Ogni stadio ha bisogno di un owner e di uno SLA. La maggior parte dei programmi sovra-investe in Generate e sotto-investe in Ingest, ACL e Act & log.
Mappa di ownership: chi possiede cosa
| Tema | CTO office | Data / piattaforma | CX / prodotto | Vendor |
|---|---|---|---|---|
| Ciclo di vita indice & re-embed | A | R | C | C |
| Controllo accessi & audit | A | R | I | C |
| Selezione corpus & rubriche | C | I | A/R | I |
| Osservabilità & cap costi | A | R | I | C |
| Build connettore (delimitato) | C | C | C | R |
A = accountable, R = responsible, C = consulted, I = informed. Adattate i nomi alla vostra org, ma non lasciate celle vuote.
Gate di governance prima della scelta degli strumenti
- Classificate i corpora per tier di sensibilità e idoneità all’automazione.
- Definite quali ruoli possono recuperare quali sorgenti, testate con identità reali.
- Pubblicate rubriche di qualità risposta con CX: citazione obbligatoria, trigger di escalation, argomenti vietati.
- Impostate SLA di freschezza per corpus; misurate il tasso di retrieval obsoleto settimanalmente.
- Strumentate tassi di allucinazione e astensione su query simili alla produzione.
| Segnale | Range sano (indicativo) | Azione se fuori range |
|---|---|---|
| Tasso chunk obsoleti | < 5% per corpora regolati | Sistemate SLA pipeline prima di nuovi connettori |
| Tasso astensione | Banda stabile per cohorte | Indagate lacune corpus o mismatch rubrica |
| Incidenti leakage PII | 0 nell’harness di test | Fermate rollout; sistemate ACL e redazione |
| Costo per query risolta | Entro il cap | Ottimizzate retrieval k, cache o routing modello |
Confini vendor sensati
I vendor possono accelerare sviluppo connettori, harness di valutazione o operazioni indice gestite, se i criteri di handover sono espliciti. Non dovrebbero possedere rubriche di qualità risposta, policy di escalation cliente o accountability on-call in produzione, a meno che non acquistiate deliberatamente un servizio gestito con piena consapevolezza del costo a lungo termine.
Assunzioni errate
- ·Qualsiasi team che sa fare fine-tuning può possedere retrieval e indicizzazione in produzione.
- ·La sicurezza RAG è la stessa checklist di una REST API generica.
- ·Gli utenti business possono entrare dopo il lancio per «tunare i prompt».
- ·Più connettori aumentano sempre la fiducia, senza tiering, aumentano il rischio.
- ·I benchmark di accuratezza vendor sostituiscono la valutazione specifica per corpus.
Checklist produzione CTO office
Accountability CTO office
Ciclo di vita indici, confini vendor, standard di osservabilità, modello di severità incidenti e governance costi.
Responsabilità data / piattaforma
Pipeline, job di embedding, separazione ambienti, harness di valutazione, backup/restore degli indici.
Responsabilità CX / prodotto
Corpora fonte di verità, rubriche, percorsi di revisione umana, workflow di scusa e correzione customer-facing.
Delegare al vendor (delimitato)
Solo componenti nominati, es. due connettori e harness eval, con codice, runbook e drill on-call inclusi nel handover.
Production readiness review
Drill on-call, test di penetrazione ACL su identità campione e fire drill freschezza prima del GA.
Regole di stop
Condizioni pre-concordate per sospendere rollout: incidente PII, breach tasso obsolescenza o backlog escalation CX oltre soglia.
Cosa farei
- ·Pubblico un RACI di una pagina e lo faccio firmare a CX, legal e piattaforma prima della scelta degli strumenti.
- ·Costruisco set di valutazione da query reali di clienti, agenti e operatori, includendo edge case.
- ·Eseguo un pilota su un corpus con SLA di freschezza e allucinazione visibili agli executive.
- ·Implemento test di retrieval consapevole dell’identità come gate di release, non come audit post-lancio.
- ·Definisco cap costi e policy di routing (modello piccolo vs grande) con visibilità finance.
- ·Programmo review mensile del corpus con CX, ritiro sorgenti che generano risposte sbagliate ma sicure.
Punti chiave
- ·Il RAG in produzione è un modello operativo posseduto principalmente dal CTO office e dai team di piattaforma.
- ·CX possiede la verità cliente; la tecnologia impone gate tecnici, policy parallele falliscono.
- ·Valutate su query e workflow reali, non solo FAQ demo.
- ·Scalate i connettori solo dopo che freschezza, ACL e percorsi di escalation funzionano in condizioni simili alla produzione.
- ·Lo scope vendor deve essere delimitato con artefatti di handover operabili.
- ·Misurate astensione, obsolescenza e risposta agli incidenti, non solo fluidità.
Domande frequenti
Chi dovrebbe possedere l’indice vettoriale in produzione?
Platform o data engineering sotto accountability del CTO office. Possiedono schedule di re-embedding, backup, promozione ambienti e integrazione accessi. CX possiede cosa appartiene all’indice; non dovrebbe eseguire job di embedding ad hoc.
In cosa il RAG differisce dall’enterprise search?
Il RAG aggiunge sintesi generativa, che aumenta il danno da retrieval errato. Ereditate problemi ACL del search più nuove modalità di fallimento: allucinazione, eccessiva confidenza e prompt injection via documenti.
Cosa dovrebbero fornire i leader CX prima di scalare il RAG?
Liste corpus con tiering, rubriche risposta, esempi lavorati di risposte buone e cattive, e workflow di escalation quando l’output IA raggiunge clienti o agenti.
Quando è appropriato un vendor RAG gestito?
Quando accettate un modello operativo gestito, prezzate il TCO a lungo termine e assegnate comunque owner interni per rubriche, policy ACL e escalation cliente. Ownership vendor parziale senza gate interni fallisce su scala.
Quali metriche meritano una dashboard executive?
Freschezza/obsolescenza, tasso astensione, incidenti per severità, time-to-correction, costo per query risolta e adozione per cohorte, insieme a campioni qualitativi di review CX.
Per, Leader CX
Coinvolgete proprietari VoC e knowledge nella selezione dei corpus dalla settimana uno. Il CTO office può imporre gate tecnici; voi definite quali verità cliente non devono mai essere indovinate. Co-scrivete rubriche e percorsi di escalation prima che i connettori si moltiplicano.
Prospettiva abbinata: Dati VoC e IA: governance prima dei modelliUn programma su questo tema? Descrivi il contesto, tech, esperienza, o entrambi.
Parliamo di un progetto