Avete presente quel simpatico pop-up che compare sempre più spesso su siti web e app, a cui puoi chiedere aiuto quando davvero non riesci a trovare quello che cerchi? No, non è uno stakanovista dei call center, 24 ore su 24 lì ad accogliere a braccia aperte le richieste dell’utente. E visto che spesso è la prima voce dell'azienda che il cliente sente, in molti sviluppatori si saranno giustamente posti la domanda: come fare a testare un chatbot?
Tutti gli esperti del settore lo conoscono già e sono consapevoli delle potenzialità di piazzare un robottino intelligente che interagisce con l’utente in maniera istantanea ogni volta che ne ha bisogno. Bello, comodo e innovativo, utilizza l’intelligenza artificiale per sfruttare la conoscenza dell’utente e fornire informazioni e servizi personalizzati.
Il ChatBot non è solo un servizio al cliente funzionale, ma, talvolta, un vero e proprio metodo per intrattenere e coinvolgere emotivamente l’utente: Microsoft, infatti, ha regalato a milioni di utenti in Asia un amico virtuale, si chiama Xiaoice e il giorno stesso del rilascio del test sulla famosa app di messagistica WeChat, ha ricevuto ben 1.5 milioni di inviti in chat di gruppo. Il livello di intelligenza dei Chatbot permette di intavolare vere e proprie conversazioni, sia in gruppo che private, su qualunque tipo di argomento.
Da qui nasce il pericolo più grande che spaventa anche i colossi dell’IT (Microsoft, Google e Facebook ne hanno discusso durante l’ultimo Fast Company Innovation Festival):
“E se fosse il tuo stesso ChatBot ad allontanare i tuoi utenti?”
Ogni ChatBot conosce benissimo i suoi utenti ma deve sapere sempre quando e cosa dire. Xiaoice di Microsoft, durante una chat di gruppo, ha rivelato un’informazione personale di uno degli utenti che ha suscitato imbarazzo e malcontento. Come fare, quindi, ad assicurarsi che il vostro assistente intelligente sappia fare il suo lavoro in maniera efficace?
Perché testare un chatbot con utenti reali
Un team di QA potrà anche spendere mesi a testare la ChatBot con le domande più disparate e nelle condizioni più critiche, ma non saprà mai davvero immaginare fino in fondo i problemi in cui può incorrere l’utente finale. Ogni errore, ogni dimenticanza, può risultare fatale. Perdere un bacino di utenza per colpa di un Chatbot può risultare in poco tempo in gravi ripercussioni in termini di soddisfazione del cliente e conversion rate.
Lo scopo del test del chatbot dovrebbe essere quello di coprire più scenari possibili. Ci sono ad esempio dei database di domande da "far studiare" ad chatbot, ma non è realistico pensare che gli utenti reali utilizzino nella vita reale una così stretta varietà di domande (e di modi di porre le stesse domande).
Le parole chiavi sono proprio quelle due: utenti reali. Per poter testare il chatbot in modo che non deluda gli utenti reali bisogna banalmente farlo testare da degli utenti reali. La teoria è semplice, la pratica invece sembra molto complessa. Come fa un team di sviluppatori e di QA a immedesimarsi nel target? Conoscendo già i limiti del chatbot, gli argomenti che conosce e il prodotto al quale si appoggia il chatbot è davvero difficile non avere bias cognitivi. Uno sviluppatore che conosce a fondo il sito sul quale c'è il chatbot non farà le stesse domande di un utente che non conosce la mappatura del sito e che quindi si pone domande diverse. In realtà non è complesso come sembra.
Come testare un chatbot con utenti reali
Nella pratica, come dicevamo, può essere molto complicato, ma in realtà non lo è. Arrivano in aiuto gli strumenti di Crowd Testing. In questo modo testare con utenti reali diventa semplicissimo.
Utenti reali = situazione reale
Utilizzando utenti reali nel processo di testing è possibile emulare quello che sarà la situazione reale e quindi fare training allo stesso chatbot. In questo modo, il chatbot viene messo sotto stress e gli utenti/ crowdtesters ti segnaleranno ogni deviazione dal comportamento atteso (da loro stessi) impossibile da identificare utilizzando tecniche di testing classiche.
Ecco come funziona:
- Il tuo reparto marketing stima la distribuzione geografica, del background culturale e dell'alfabetizzazione tecnologica dei tuoi utenti. In poche parole, tu fornisci una panoramica della user persona del tuo chatbot. Il tuo compito finisce qui. Non dovrai fare più nulla finché non avrai in mano i risultati (dopo pochi giorni).
- Il team di AppQuality seleziona i tester all'interno del Crowd. Sceglierà proprio quelli con le stesse caratteristiche dei tuoi utenti reali.
- A questo punto si può fare un primo test di valutazione e capire lo stato dell'arte del tuo chatbot e quali sono gli argomenti più comuni.
- Una volta selezionati gli argomenti, è fondamentale identificare anche tutte le domande per limitare il tasso di non comprensione o di non risposta da parte del bot. Questa fase comprende quindi l'identificazione di più forme lessicali e costrutti logici per ciascuna domanda di ciascun argomento.
- A questo punto si può prendere il database di domande predefinite di cui parlavamo prima, ma con un utilizzo diverso: darlo in pasto ai tester che riscrivono le domande, ognuno con il proprio lessico e stile naturale.
In pochi giorni il Crowdtesting identifica con maggiore completezza e precisione le domande e allena il chatbot a comprendere e rispondere ai tuoi utenti reali. Ben presto quindi avrai una simulazione reale di quello che sarà il comportamento del chatbot nei confronti dei tuoi utenti. Il team di sviluppo intanto si è liberato tempo dall'analisi, testing e training.
Abbiamo scritto un articolo su un caso reale di training di un chatbot bancario. Lo trovi qui.
Ricorda che il training di un chatbot non finisce mai, ma di sicuro è meglio iniziare a testare già prima del rilascio. Vuoi iniziare?
Ti può interessare anche:
NOTE
Di particolare interesse questo esperimento per la metodologia adottata nel design: https://chatbotsmagazine.com/our-1st-chatbot-design-sprint-with-ummm-farmers-in-kenya-a716436c4964
Qua invece una guida per beginners nel mondo del Chatbot: https://chatbotsmagazine.com/the-complete-beginner-s-guide-to-chatbots-8280b7b906ca
