A/B test del chatbot: confronta le versioni e tieni quella che rende di più
Con Orygo AI fai un A/B test del chatbot sul traffico reale del tuo ecommerce. La variante A è l’agente AI che hai oggi, congelato all’avvio; la variante B cambia solo ciò che scegli tu: modello AI, istruzioni e tono di voce, oppure l’intero set di procedure. Le nuove conversazioni si dividono circa 50/50 per sessione e i risultati arrivano affiancati: vendite, risoluzione, escalation ed errori, con un verdetto di significatività statistica. Un secondo test, con e senza widget, misura quanto fatturato porta la chat.
2 tipi
di esperimento: agente contro agente, e con o senza widget
50/50
divisione delle nuove conversazioni, per sessione
7 canali
testabili: widget, email, WhatsApp, Instagram, Messenger, Amazon, Zendesk
Significatività
statistica calcolata su risoluzione, escalation e conversione
Di Davide Petruzzi, founder di Orygo AI · Aggiornato il
Cosa puoi confrontare in un A/B test del chatbot?
In un A/B test di Orygo AI la variante B è una copia dell’agente attuale in cui modifichi una o più di tre leve: i modelli AI, le istruzioni (tono di voce compreso) e le procedure. Tutto il resto resta identico alla variante A, così la differenza nei risultati si può attribuire alla modifica che hai fatto.
Procedure
La variante B può usare un set completo e alternativo di procedure, cioè i playbook che dicono all’agente AI come gestire resi, tracking, consigli di prodotto o passaggio all’operatore. Esempio: una procedura resi che propone prima il cambio taglia e poi il rimborso, contro quella attuale che parte dal rimborso. Come si scrivono le procedure in linguaggio naturale
Tono di voce e istruzioni
Nella variante B puoi riscrivere workflow, regole operative, ruolo, stile di comunicazione, contesto aziendale e di prodotto, regole di visualizzazione e istruzioni per canale. Esempio: tono formale e risposte brevi contro tono amichevole e risposte più dettagliate, oppure griglie prodotto mostrate subito contro dopo una domanda di approfondimento sulle esigenze. Design del widget e tono di voce
Proposte commerciali
Il modo in cui l’agente AI propone i prodotti si scrive nelle istruzioni e nelle procedure, quindi si testa allo stesso modo. Esempio: una regola operativa che fa suggerire un prodotto complementare dopo ogni aggiunta al carrello, contro l’agente attuale che risponde solo a ciò che il cliente chiede. Il confronto mostra carrello, ricerche, clic sui prodotti e vendite delle due versioni.
Modelli AI e livello di ragionamento
La variante B può cambiare il modello principale, il modello di riserva e il terzo livello di failover, oltre al livello di ragionamento (thinking level). Serve a capire se un modello diverso risolve di più, sbaglia di meno o costa meno a parità di risultato.
| Leva | Esempio di variante B | Metriche da guardare per prime |
|---|---|---|
| Procedure | Nuovo set di procedure post-vendita | Tasso di risoluzione, escalation, procedure e azioni usate |
| Tono e istruzioni | Stile più conciso, regole di visualizzazione diverse | Messaggi per sessione, clic sui prodotti, aggiunte al carrello |
| Proposte commerciali | Suggerimento di prodotti complementari | Vendite, ricerche e engagement sui prodotti |
| Modelli | Modello principale diverso, livello di ragionamento più alto | Errori, risoluzione, escalation |
Gli esempi sono illustrativi: le varianti si scrivono sul catalogo e sulle policy di ogni negozio.
Come si divide il traffico fra le due versioni del chatbot?
Orygo AI assegna ogni nuova conversazione alla variante A o alla variante B con una divisione di circa 50/50 per sessione: lo stesso visitatore resta sulla stessa versione per tutta la conversazione. Il test parte dal widget del sito e si può estendere a email, WhatsApp, Instagram, Messenger, Amazon e Zendesk.
[01]
La variante A viene congelataAll’avvio Orygo AI fotografa la configurazione live. Se durante il test qualcuno modifica l’agente in produzione, il controllo non cambia e il confronto resta pulito.[02]
Prepari la variante BModifichi solo modelli, istruzioni o procedure: tutto quello che non tocchi resta uguale ad A.[03]
Scegli i canaliWidget di default; email, WhatsApp, Instagram, Messenger, Amazon e Zendesk se vuoi misurare anche lì.[04]
Fissi un numero obiettivo di sessioniIl test si chiude da solo quando lo raggiunge, senza che nessuno debba ricordarsi di fermarlo.[05]
Leggi i risultati affiancatiE decidi quale configurazione tenere.
Per ogni agente gira un esperimento alla volta. È una scelta di metodo: due test sovrapposti sugli stessi visitatori renderebbero impossibile capire quale modifica ha prodotto il risultato.
Quali metriche confronta l’A/B test: conversione, risoluzione, escalation
Il report dell’A/B test di Orygo AI mette le due varianti fianco a fianco su vendite, tasso di risoluzione, tasso di escalation, procedure e azioni usate, engagement sui prodotti ed errori. Per risoluzione ed escalation il report indica anche se la differenza è statisticamente significativa, cioè se è reale o può essere dovuta al caso.
| Area | Cosa misura | Verdetto di significatività |
|---|---|---|
| Risoluzione | Quota di conversazioni chiuse dall’agente AI senza passaggio a una persona | Sì |
| Escalation | Quota di conversazioni passate al team | Sì |
| Vendite | Ordini e fatturato attribuiti alla chat in ciascuna variante | No, confronto dei valori |
| Ricerca ed engagement sui prodotti | Ricerche prodotto, clic, aggiunte al carrello | No, confronto dei valori |
| Lavoro | Sessioni, messaggi, mix pre-vendita e post-vendita, dispositivi | No, confronto dei valori |
| Procedure e azioni | Quali playbook e quali strumenti ha usato ciascuna variante | No, confronto dei valori |
| Errori | Ogni tipo di errore tracciato da Orygo AI, per variante | No, confronto dei valori |
Le vendite seguono le regole di attribuzione di Orygo AI: un ordine conta come venduto via chat quando il cliente ha chattato nei 30 giorni prima dell’acquisto; gli ordini di prova sono esclusi. Come Orygo AI misura vendite, risoluzioni ed errori.
Il chatbot aumenta davvero le vendite? Il test con e senza widget
Per misurare l’impatto della chat sul fatturato Orygo AI offre un test di holdout: il 50% dei visitatori del negozio, scelto a caso, vede il widget e l’altro 50% no. Le due metà vivono le stesse promozioni e la stessa stagionalità, quindi la differenza fra i gruppi misura l’effetto della chat e non quello del calendario.
| Metrica | Gruppo con widget | Gruppo senza widget |
|---|---|---|
| Visitatori | ✓ | ✓ |
| Ordini e vendite | ✓ | ✓ |
| Valore medio dell’ordine (AOV) | ✓ | ✓ |
| Tasso di conversione | ✓ | ✓ |
| Fatturato per visitatore | ✓ | ✓ |
Per ogni metrica il report riporta il lift, cioè la differenza percentuale fra i due gruppi, e sul tasso di conversione aggiunge un test di significatività. Ogni nuovo test di holdout ridistribuisce i visitatori a caso. Il confronto prima e dopo il lancio di un chatbot non dà la stessa garanzia, perché fra i due periodi cambiano campagne, prezzi e domanda.
Quanto deve durare un A/B test sul chatbot?
Un A/B test sul chatbot dura finché raccoglie abbastanza sessioni, non un numero fisso di giorni. Per questo in Orygo AI si imposta un obiettivo di sessioni e il test si chiude da solo quando lo raggiunge. Quante ne servono dipende dal tasso di partenza e dalla differenza che vuoi riuscire a vedere: più la differenza è piccola, più sessioni servono.
| Cosa vuoi misurare | Valore di partenza | Differenza da rilevare | Sessioni per variante |
|---|---|---|---|
| Tasso di risoluzione | 60% | +5 punti (65%) | circa 1.500 |
| Tasso di risoluzione | 60% | +3 punti (63%) | circa 4.100 |
| Tasso di escalation | 20% | -5 punti (15%) | circa 900 |
| Tasso di escalation | 20% | -3 punti (17%) | circa 2.600 |
| Conversione dei visitatori (holdout) | 2% | +20% relativo (2,4%) | circa 21.000 visitatori per gruppo |
| Conversione dei visitatori (holdout) | 2% | +10% relativo (2,2%) | circa 81.000 visitatori per gruppo |
Calcolo di Orygo AI con la formula standard per il confronto fra due proporzioni, test a due code. I valori di partenza sono esempi: sostituiscili con i tuoi dati della dashboard.
Tre regole pratiche per un risultato affidabile:
- Copri settimane intere. Lunedì e domenica portano clienti e domande diverse: un test che finisce a metà settimana pesa più alcuni giorni di altri.
- Non fermarti al primo segnale. Guardare i risultati ogni giorno e chiudere quando la B sembra avanti aumenta i falsi positivi. L’obiettivo di sessioni fissato all’inizio serve a questo.
- Cambia una leva alla volta. Se la variante B cambia modello, tono e procedure insieme, il test dice che B è migliore ma non quale modifica ha funzionato.
Dove vedo i log e il costo per risposta di ogni conversazione?
In Orygo AI ogni conversazione ha un log con token, crediti consumati, azioni usate ed errori, nella sezione Log di Analytics. È il punto in cui controllare quanto costa una risposta quando la variante B usa un modello diverso o procedure che chiamano più strumenti.
Log per conversazione
Token, crediti, azioni ed errori di ogni conversazione, insieme alla trascrizione completa filtrabile per canale, risoluzione, procedura e tipo di errore.
Crediti per risposta
La dashboard riporta consumo di crediti, token per risposta e crediti per risposta e per sessione, anche come serie giornaliera, settimanale o mensile.
Logica della singola risposta
Nel playground ogni risposta si apre con il pulsante “Mostra la logica AI”: modello, ragionamento, azioni chiamate con argomenti ed esito, prompt ricevuto ed errori.
Playground o A/B test: quando usare l’uno e quando l’altro?
Il playground di Orygo AI serve prima del lancio: provi una modifica parlando con l’agente come un cliente e vedi perché risponde in quel modo. L’A/B test serve dopo: misura la stessa modifica sul traffico reale, con clienti veri e numeri sufficienti per decidere.
| Playground | A/B test | |
|---|---|---|
| Chi parla con l’agente | Il tuo team, in una chat privata | I clienti veri del negozio |
| Domanda a cui risponde | L’agente si comporta come voglio? | La nuova versione rende di più? |
| Cosa ottieni | Logica di ogni risposta, azioni, prompt, errori | Risultati affiancati con verdetto di significatività |
| Quando | Prima di pubblicare una modifica | Dopo averla verificata nel playground |
Domande frequenti sugli A/B test
Quante versioni posso confrontare in un A/B test di Orygo AI?
Due per esperimento: la variante A, che è l’agente live congelato all’avvio, e la variante B, che modifica modelli, istruzioni o procedure. Per ogni agente gira un esperimento alla volta; per provare una terza idea si avvia un nuovo test quando il precedente è concluso.
Quando un risultato dell’A/B test è affidabile?
Quando il test ha raggiunto il numero di sessioni fissato all’inizio e il report di Orygo AI indica la differenza come statisticamente significativa. Il verdetto c’è per tasso di risoluzione ed escalation, e per la conversione nel test con e senza widget. Una differenza senza significatività può essere dovuta al caso.
Posso modificare l’agente AI mentre il test è in corso?
Sì. La variante A di Orygo AI viene congelata quando l’esperimento parte, quindi le modifiche all’agente live non cambiano il gruppo di controllo e non falsano il confronto.
L’A/B test funziona anche su WhatsApp e via email?
Sì. Il test di Orygo AI parte dal widget del sito e si può attivare anche su email, WhatsApp, Instagram, Messenger, Amazon e Zendesk. La divisione resta circa 50/50 per sessione su ogni canale.
Cosa succede quando l’A/B test finisce?
Il test di Orygo AI si chiude da solo quando raggiunge il numero obiettivo di sessioni. Da quel momento hai i risultati delle due varianti affiancati e decidi quale configurazione tenere sull’agente live.
Ordini, tracking, CRM, ticket e passaggio al team: le azioni che l’agente esegue nei tuoi sistemi, e come collegare i tuoi con un webhook.
Scopri azioni e tool AIAddestri l’agente scrivendo procedure come a un collega: nessun codice, nessun workflow builder. Tre esempi completi per resi, danni e ritardi.
Scopri procedure in linguaggio naturaleColori, logo, pulsante, posizione e tono di voce: personalizza l’agente AI perché abbia l’aspetto e il modo di parlare del tuo brand. Scopri come.
Scopri design e tono di voceProva l’agente AI nel playground con le domande dei tuoi clienti, mettilo sotto stress sui casi limite e vai live tranquillo. Errori sotto lo 0,5%.
Scopri playground di testFAQ, documenti, PDF e cartelle di immagini da cui l’agente prende le risposte, su tutti i canali.
Scopri knowledge baseProtezione anti-bot con Cloudflare Turnstile, limiti di traffico per agente e avvisi quando le richieste bloccate aumentano.
Scopri sicurezzaVuoi sapere quanto vende la chat sul tuo store?
Prenota una demo: ti mostriamo il report di un A/B test e di un test con e senza widget, e scegliamo insieme la prima variante da mettere alla prova sul tuo traffico.