Watchtower: ogni conversazione dell’agente AI controllata, ogni errore in coda da correggere
Watchtower è la coda di controllo qualità di Orygo AI. Ogni conversazione dell’agente AI passa da 11 controlli automatici: 5 su ogni singola risposta, mentre l’agente scrive, e 6 sulla conversazione intera, circa due ore dopo l’ultimo messaggio. Le conversazioni che hanno fallito, o che hanno mostrato una lacuna vera, finiscono in Watchtower: il team le legge, interviene sul cliente se serve, corregge la causa e vede la settimana dopo più pulita. I casi urgenti arrivano anche via email.
100%
delle conversazioni controllate, non un campione
11 controlli
5 su ogni risposta, 6 sulla conversazione intera
~2 ore
dopo l’ultimo messaggio parte la revisione dell’intera conversazione
25
conversazioni rivedibili, scartabili o riapribili in un colpo solo
Di Davide Petruzzi, founder di Orygo AI · Aggiornato il
Cos’è Watchtower di Orygo AI e cosa controlla?
Watchtower è la parte di Orygo AI che trova gli errori dell’agente AI nelle conversazioni reali e li mette in fila per il team. Non è una dashboard di metriche: è una coda di lavoro, dentro l’helpdesk, in cui ogni riga è una conversazione da leggere e una causa da sistemare.
Orygo AI controlla le conversazioni su tre livelli, con tre destini diversi.
| Livello | Quando gira | Cosa cerca | Dove finisce |
|---|---|---|---|
| Controlli sulla risposta | Mentre l’agente risponde, su ogni risposta | Guasti tecnici di quel turno: azioni in crash, modello fallito, allucinazioni sui prodotti | Watchtower, con l’errore segnato sulla risposta |
| Revisione della conversazione | Circa 2 ore dopo che la conversazione si ferma | Errori di comportamento: escalation mancate, domande senza risposta, lingua sbagliata | Watchtower |
| Segnali misurati | Su ogni risposta | Problemi che il cliente non ha visto, perché una risposta è arrivata lo stesso | Avvisi email e metriche, non la coda |
I numeri aggregati sugli errori, per tipo e nel tempo, sono nella pagina sugli analytics delle conversazioni di Orygo AI. Questa pagina spiega cosa succede alla singola conversazione segnalata.
Quali errori segnala Orygo AI mentre l’agente risponde?
Mentre l’agente AI di Orygo risponde, ogni risposta viene marcata se in quel turno qualcosa si è rotto. I controlli sulla risposta sono cinque e riguardano guasti tecnici precisi, ognuno con una soglia chiara.
| Controllo | Quando scatta |
|---|---|
| Crash di un’azione (Action crash) | Uno strumento è andato in timeout, ha restituito un errore del server o ha sollevato un’eccezione |
| Errore del modello (LLM failure) | Il modello principale ha fallito e anche quello di riserva: il cliente non ha ricevuto risposta |
| Limite di passaggi (Max iterations) | L’agente ha usato tutto il budget di 10 passaggi di strumenti senza arrivare a una risposta |
| Allucinazione sul prodotto (Product hallucination) | Un link a un prodotto scritto dall’agente nella risposta restituisce 404 o 410, cioè la pagina non esiste o non esiste più |
| Trasferimento fuori orario (Off-hours transfer) | L’agente ha tentato un passaggio live a un operatore mentre il team non era in turno |
L’allucinazione sul prodotto è il controllo più specifico per l’ecommerce: Orygo AI non si fida del testo, verifica che il link al prodotto risponda davvero. Un link morto in chat è un cliente che clicca e trova una pagina di errore al posto di un acquisto.
Le azioni coinvolte sono quelle che l’agente usa per leggere ordini, catalogo o CRM, descritte nella pagina sulle azioni e strumenti AI di Orygo AI. Il trasferimento fuori orario è spiegato nel dettaglio nella pagina sul passaggio all’operatore.
Cosa controlla la revisione dell’intera conversazione?
Circa due ore dopo che una conversazione si ferma, Orygo AI la rilegge tutta in una sola revisione e cerca sei tipi di errore che non si vedono sulla singola risposta. La revisione è tarata per segnalare solo quando è sicura: nel dubbio, la conversazione resta pulita.
| Controllo | Cosa intercetta |
|---|---|
| Risposta impossibile (Unable to answer) | Il cliente ha chiesto qualcosa per cui l’agente non aveva conoscenze, procedure o dati, e la richiesta è rimasta in sospeso |
| Escalation mancata (Missed escalation) | L’agente ha detto al cliente di averlo passato al team, ma non ha mai chiamato l’azione di passaggio |
| Cambio di lingua (Language switch) | L’agente ha risposto in una lingua diversa da quella in cui scriveva il cliente |
| Ragionamento esposto (Exposed reasoning) | Una parte del ragionamento interno dell’agente è finita in una risposta al cliente |
| Tentativo di manipolazione (Hijacking attempt) | Il cliente ha provato a fare jailbreak o a portare l’agente fuori dal suo ruolo |
| Insoddisfazione verso l’AI (AI dissatisfaction) | Il cliente si è lamentato dell’agente AI in sé, non della spedizione, del prezzo o del brand |
Cosa non viene segnalato
Un controllo che segnala tutto diventa rumore, e il team smette di guardarlo. Per questo la revisione di Orygo AI lascia pulite le conversazioni in cui l’agente ha fatto la cosa giusta anche se il cliente non ha ottenuto quello che voleva:
- un no corretto
- una ricerca a catalogo senza risultati
- un limite previsto dalla policy
- un passaggio all’operatore che aspetta ancora il cliente
La stessa distinzione vale per l’insoddisfazione: un cliente arrabbiato per un ritardo del corriere non è un errore dell’agente AI, e non entra in Watchtower come tale. Per la lingua, la pagina sull’agente AI multilingua spiega come Orygo AI sceglie la lingua della risposta. Per i tentativi di manipolazione e la prompt injection, le protezioni del canale pubblico sono nella pagina sulla sicurezza di Orygo AI.
Quali problemi vengono misurati senza entrare in Watchtower?
Due segnali di Orygo AI vengono misurati e inviati via email, ma restano fuori dalla coda Watchtower, perché il cliente una risposta l’ha avuta comunque. Servono a vedere un problema tecnico prima che diventi un errore visibile al cliente.
Passaggio al modello di riserva
Il modello principale ha fallito e ha risposto il modello di riserva. Il cliente non se ne accorge; il team riceve una nota. Se fallisce anche la riserva, il caso diventa un errore del modello ed entra in Watchtower.
Azione rifiutata
Uno strumento ha rifiutato la richiesta per un parametro sbagliato o per una regola di business. È diverso dal crash: il rifiuto è una risposta dello strumento, il crash è un guasto. In Watchtower entrano solo i crash.
Come si lavora la coda Watchtower?
Watchtower sta nell’helpdesk di Orygo AI, con un badge che conta le conversazioni aperte. La vista di partenza mostra le ultime 24 ore; si filtra per tipo di errore e si lavora su tre liste: Aperte, Riviste, Scartate.
[01]
Apri la conversazioneOgni riga di Watchtower è una conversazione, non un ticket. Dentro c’è la trascrizione completa, con l’errore segnato sulla risposta che lo ha causato.[02]
Guarda chi la sta gestendo adessoL’AI, una persona del team, un’escalation via email o l’inbox. Accanto alla conversazione c’è il profilo del cliente.[03]
Intervieni se il cliente ha ancora bisognoPrendi in carico ferma l’AI e ti fa rispondere sullo stesso canale in cui ha scritto il cliente. In alternativa puoi inviare un’email dalla conversazione, con CC, CCN e allegati.[04]
Chiudi la segnalazioneSegna la conversazione come rivista quando la causa è chiara, scarta quando era un falso positivo. Puoi selezionare fino a 25 conversazioni e rivederle, scartarle o riaprirle insieme.
| Stato | Cosa significa | Si può riaprire? |
|---|---|---|
| Aperta | Segnalata da un controllo, nessuno l’ha ancora guardata | È già aperta |
| Rivista | Il team l’ha letta e la causa è chiara | Sì |
| Scartata | Era un falso positivo | Sì |
La presa in carico e la risposta dal team usano gli stessi strumenti dell’helpdesk incluso in Orygo AI. Scartare i falsi positivi non è tempo perso: è il modo per vedere quanto sono precisi i controlli sul tuo store.
Quando Orygo AI avvisa il team via email?
Orygo AI manda un’email al team quando un errore richiede un intervento rapido, con il link diretto alla conversazione. Gli avvisi coprono quattro casi.
| Avviso | Perché è urgente |
|---|---|
| Escalation mancata | Il cliente aspetta una persona che non sa di doverlo contattare |
| Errore del modello | Il cliente non ha ricevuto risposta. Una nota separata arriva anche quando ha dovuto rispondere il modello di riserva |
| Crash di un’azione | Un’integrazione non risponde, e lo stesso guasto può ripetersi nelle conversazioni successive |
| Trasferimento live fuori orario | L’agente ha promesso un operatore mentre il team non era in turno |
Per azioni diverse dall’avviso, per esempio scrivere il caso nel tuo helpdesk quando una conversazione resta ferma per 30 minuti, si usano le automazioni di Orygo AI.
Perché controllare ogni conversazione e non un campione?
Perché l’errore che costa è quello che nessuno legge. Un controllo qualità a campione guarda una piccola parte delle conversazioni; un agente AI che risponde a migliaia di clienti può ripetere lo stesso errore in tutte le altre.
Nei contact center il controllo qualità manuale copre in genere dall’1 al 5% delle interazioni, secondo i benchmark citati dai fornitori di software per il QA (per esempio Authenticx e Cresta). Con un agente AI il problema cambia forma: il volume è più alto e un errore di istruzioni non è un caso isolato, si ripete.
E la responsabilità resta del brand. Nel caso Moffatt v. Air Canada (2024 BCCRT 149), il tribunale civile della British Columbia ha stabilito il 14 febbraio 2024 che Air Canada rispondeva delle informazioni sbagliate date dal chatbot del suo sito su una tariffa, e ha respinto l’argomento che il chatbot fosse “un’entità separata”. È una decisione canadese di piccolo importo e non vale come precedente in Italia, ma mostra il punto: quello che scrive l’agente AI lo scrive il negozio.
“It should be obvious to Air Canada that it is responsible for all the information on its website.”
Dopo una segnalazione, come si migliora l’agente AI?
Una segnalazione in Watchtower è un invito a cambiare l’agente, non un punteggio che si aggiusta da solo. Il miglioramento lo fa il team: legge la conversazione, trova la causa e la corregge nel punto in cui l’agente prende le sue informazioni o le sue istruzioni.
Mancava un’informazione
Una risposta impossibile nasce da conoscenze, procedure o dati che l’agente non aveva. Le risposte che l’agente può dare stanno nella knowledge base di Orygo AI: FAQ, documenti e immagini.
Mancava un’istruzione
Come comportarsi in un caso preciso, per esempio quando passare a una persona, si scrive in una procedura in linguaggio naturale.
Prova prima di pubblicare
Ogni correzione si prova nel playground di Orygo AI sulla stessa domanda che ha generato la segnalazione, prima che arrivi ai clienti.
Watchtower, analytics o playground: cosa serve quando?
Il playground di Orygo AI serve prima del lancio, gli analytics misurano l’andamento, Watchtower lavora sulla singola conversazione andata male. Sono tre strumenti per tre domande diverse.
| Playground | Analytics | Watchtower | |
|---|---|---|---|
| Domanda a cui risponde | L’agente risponde bene a questa domanda? | Quanto risolve, quanto vende, quanto sbaglia? | Quale conversazione è andata male, e perché? |
| Quando si usa | Prima del lancio e prima di ogni modifica | Ogni settimana, per l’andamento | Ogni giorno, sulle segnalazioni |
| Su cosa lavora | Conversazioni di prova | Numeri aggregati | Conversazioni reali, una per una |
| Cosa produce | Una modifica verificata | Un trend e un report | Un cliente ripreso e una causa trovata |
| Dove approfondire | Playground | Analytics | Questa pagina |
Per misurare se una modifica ha davvero migliorato i risultati sui clienti reali, c’è l’A/B test di Orygo AI.
Domande frequenti su Watchtower
Watchtower controlla tutte le conversazioni o solo un campione?
Tutte. Orygo AI controlla ogni conversazione dell’agente AI: cinque controlli girano su ogni singola risposta e altri sei sulla conversazione intera, circa due ore dopo che la conversazione si ferma. In Watchtower arrivano solo le conversazioni segnalate, non l’intero traffico.
Dopo quanto tempo una conversazione compare in Watchtower?
Dipende dal controllo. Gli errori tecnici, come il crash di un’azione o un link a un prodotto che non esiste più, vengono segnati sulla risposta nel momento in cui l’agente di Orygo AI la invia. La revisione della conversazione intera, che cerca per esempio escalation mancate e domande senza risposta, parte circa due ore dopo l’ultimo messaggio.
Una ricerca a catalogo senza risultati viene segnalata come errore?
No. La revisione di Orygo AI è tarata per segnalare solo quando è sicura. Un no corretto, una ricerca a catalogo senza risultati, un limite previsto dalla policy o un passaggio all’operatore che sta ancora aspettando il cliente restano conversazioni pulite e non entrano in Watchtower.
Che differenza c’è tra una conversazione rivista e una scartata in Watchtower?
Rivista vuol dire che il team di Orygo AI ha letto la conversazione e la causa è chiara. Scartata vuol dire che era un falso positivo. Entrambi gli stati si possono riaprire, e si possono applicare fino a 25 conversazioni alla volta.
Watchtower avvisa il team quando qualcosa va storto?
Sì, via email e con il link alla conversazione. Orygo AI manda un avviso per le escalation mancate, i fallimenti del modello (con una nota separata quando ha risposto il modello di riserva), i crash delle azioni e i trasferimenti live tentati fuori dall’orario del team.
Cosa fa Watchtower quando un cliente prova a forzare l’agente AI?
Segnala la conversazione come tentativo di manipolazione: il cliente ha provato a fare jailbreak o a portare l’agente fuori dal suo ruolo. La conversazione entra in Watchtower per la revisione. Le protezioni del canale pubblico, come la verifica anti-bot e i limiti di traffico, sono descritte nella pagina sulla [sicurezza di Orygo AI](/funzionalita/sicurezza).
Quanto vende, quanto risolve e dove sbaglia il tuo agente AI: analytics delle conversazioni, vendite attribuite, controlli di qualità e domande dei clienti.
Scopri analyticsVisitatori, ordini, fatturato, scontrino medio e conversion rate via chat, accanto al totale dello store.
Scopri funnel della chat AIQuante conversazioni l’AI chiude da sola, come si calcola il tasso, le escalation per tipo e le procedure che lavorano di più.
Scopri risoluzioniCosa chiedono i clienti su prodotti e policy, raggruppato per prodotto, con le domande a cui l’AI non sapeva rispondere.
Scopri domande dei clientiOgni ricerca che l’AI fa nel catalogo, con risultati, senza risultati o fallita: i prodotti che i clienti cercano e non trovano.
Scopri ricerche prodottoVuoi vedere quali conversazioni segnalerebbe Watchtower sul tuo store?
Prenota una demo: ti mostriamo la coda Watchtower su conversazioni reali, come si legge una segnalazione e come si passa dalla causa alla correzione.