Comparatif : Analyse sémantique de verbatim manuelle ou automatique ?

Publié le 20 janvier 2021  - Mis à jour le 06 mai 2024

Lorsque l’on réalise des enquêtes ou que l’on souhaite analyser en profondeur les commentaires de ses clients, il est très compliqué de savoir comment s’y prendre.

En effet, dès lors que l’on traite des réponses ouvertes ou des verbatim de sites d’avis, la tâche est bien plus ardue que de faire une moyenne avec les réponses fermées.

Pourtant il s’agit bien là de la source d’information la plus riche sur vos clients. Ce serait dommage de s’en passer n’est-ce pas ?

Comment faire une analyse de verbatim ?

Il existe deux grandes méthodes bien distinctes pour réaliser une analyse sémantique. Les deux peuvent avoir un intérêt et ont des cas d'utilisation précis qui vont dépendre du volume de données à traiter, du budget, du temps disponibles à allouer à cette tâche, etc.

Dans cet article nous allons passer en revue ces deux méthodes utilisées pour réaliser une analyse sémantique de vos verbatim clients : l’analyse manuelle et l’analyse automatique.

1/ L’analyse manuelle de verbatim client

Elle est traditionnellement réalisée avec la technique de post-codification. Cette méthode consiste à définir des thèmes de réponses puis à leur attribuer un chiffre. Ainsi, cela permet de traiter les réponses ouvertes dans les enquêtes avec un niveau de précision approchant le traitement des questions fermées.

Pour réaliser cette analyse, vous pouvez utiliser un logiciel de tableur comme Excel ou équivalent. Ensuite, il faut que vous définissiez les thèmes correspondants à votre enquête. Vous pouvez également définir des sous-thèmes pour gagner en précision dans vos résultats.

Une fois cette étape terminée, sélectionnez l’ensemble des réponses à votre questionnaire (ou un échantillon représentatif), puis notez le chiffre du thème ou sous-thème correspondant à côté de chaque réponse.

Pour mieux comprendre, nous allons voir plus en détail comment réaliser cette analyse avec un exemple concret.

a) Définir les thèmes de l’enquête

L’analyse manuelle de verbatim peut s’appliquer à tout type de verbatim, que ce soit issu d’une enquête mais également aux avis sur les plateformes en ligne (TripAdvisor, TrustPilot, Google Reviews, AvisVérifié, Critizr, etc.).

Dans le cadre de cette analyse, prenons l’exemple d’une enquête dans le secteur bancaire avec une question ouverte du type “Êtes-vous satisfait de votre agence bancaire ?”

En découvrant les réponses au questionnaire, définissez les thèmes qui en ressortent et qui vous semblent les plus pertinents.

Par exemple :

Personnel

1.1 Accueil du personnel

1.2 Capacité d’écoute

1.3 Expertise & Compétences

1.4 Disponibilité

Agence

2.1 Horaires d’ouverture

2.2 Accès à l’agence

2.3 Proximité géographique

2.4 Atmosphère

2.5 Distributeurs automatiques

Parcours client

3.1 Prise de RDV

3.2 Accompagnement

3.3 Résiliation

Produit

4.1 Comptes Courants

4.2 CB/CR

4.3 Tarifs

Le plan de codification doit cependant être figé au moment de la codification. Par souci de comparabilité, on hésitera à le faire évoluer trop souvent. Tout ajout d’un thème en cours d’analyse pourrait nécessiter une nouvelle analyse de l’ensemble des données déjà classées ainsi que des données historiques. Contrairement à un outil de classification automatique, le plan des thématiques est donc assez peu évolutif.

De manière ponctuelle et si la comparabilité avec vos autres enquêtes ou sources d’avis clients n’est pas utile, nous vous conseillons d’ajouter des sujets d’actualité dans vos thèmes.

En plus de l’analyse des thèmes évoqués, vous pourrez également classer les commentaires par sentiment (positif, négatif, neutre) ou émotion primaire. Afin de réaliser une analyse croisée, il est donc nécessaire de rendre les thèmes neutres et sans valence.

Ainsi: La thématique Personnel > Disponibilité doit à la fois regrouper les moments de disponibilité comme les moments d’indisponibilité du personnel. C’est la dimension sentiment/ émotion qui viendra ajouter le niveau de satisfaction ou d’émotion du propos.

Pour organiser son temps: Prévoir entre 1 journée et 3 jours pour établir un plan de codification utilisable sur la ou les enquêtes à venir.

b) Exemple d'analyse de verbatim manuelle : Réaliser la codification

Maintenant que nos thèmes et sous-thèmes sont définis, les choses sérieuses commencent ! Il faut maintenant attribuer le chiffre correspondant à chacune des réponses à l’enquête. Pour mieux visualiser la tâche, voici un exemple avec 10 commentaires clients :

Pour résumer, l’analyse sémantique manuelle de verbatim avec codification permet d’obtenir des résultats poussés et précis. En revanche, la préparation et l’analyse sont très chronophages car il faut passer en revue l’ensemble des verbatim. Pour limiter le temps de codification, on peut se baser sur un extrait aléatoire (ex: chaque réponse toutes les 10 réponses est codifiée) mais dès lors l’analyse n’est plus exhaustive et les problèmes de représentativité statistique peuvent se poser.

Il faut également noter que plus les verbatim sont longs, plus la classification est fastidieuse.

D’autre part, si les verbatim sont multilingues, il faudra s’assurer que l’analyste maîtrisera l’ensemble des subtilités des différentes langues d’expression afin de procéder à la bonne consolidation des résultats par pays ou par langue.

Par conséquent, en fonction du volume de l’enquête (ou autres sources d’avis), de la longueur des commentaires, il n’est pas conseillé d’utiliser cette méthode coûteuse en temps et en ressources et plutôt opter pour l’analyse automatisée.

D’autre part, les efforts réalisés ne sont pas capitalisés pour de prochaines études ou données. Toute nouvelle analyse nécessitera de repartir de zéro.

De plus, bien que les résultats soient précis, il peut y avoir un biais humain dans les réponses liées au manque d’objectivité en fonction de chaque analyste. Pour des mêmes données, les résultats peuvent, en effet, varier d’une personne à l’autre en fonction de la perception et de l’expérience personnelle de la personne qui aura codé l’enquête ou l’analyse. Ce biais peut poser un problème particulièrement important si des partis-pris ou la culture d’entreprise ne poussent pas spontanément à l’écoute du client.

Pour finir, ces analyses manuelles sont difficilement comparables entre elles.

Pour organiser son temps: Prévoir entre 2 à 3 minutes par verbatim à classer, soit environ 1 semaine pour 1000 verbatim courts et 1 semaine 3 jours pour 1000 verbatim longs (supérieur à 144 caractères). Ce temps s’ajoute au temps dédié à la conception du plan de codification.

Notre recommandation : Utiliser l’analyse de commentaires client par codification manuelle peut avoir du bon pour bien prendre connaissance des propos des clients et connaître leur avis, mais cela est toujours très chronophage. Si votre enquête ou votre source d’avis a un nombre de commentaires conséquent et que vous souhaitez être exhaustif, vous vous retrouverez vite débordés. Cette analyse convient donc particulièrement pour les petits volumes de données.

Comme brièvement expliqué précédemment, il existe une autre méthode bien plus rapide et optimisée pour analyser les commentaires de vos clients: l’analyse automatisée des verbatim.

2/ L’analyse automatique de verbatim

A contrario de l’analyse manuelle, un outil sémantique est capable d’analyser un grand nombre de verbatim en un rien de temps et d’identifier les sujets et thématiques qui en ressortent.

Il faut comprendre que dans la grande majorité des projets, les temps de configuration sont négligeables et que cette approche vous permet d’aller plus directement à l’analyse et à la recherche d’insights. D’autre part, en plus de l’analyse sémantique automatisée elle-même, la solution vous met à disposition des outils de visualisation qui vous permettent d’aller directement naviguer dans les données et découvrir facilement les axes d’analyse pertinents sur votre enquête. En choisissant les grilles d’analyse de votre secteur proposées par la solution, vous gagnez du temps de configuration et vous pouvez même bénéficier d’une vision de benchmarking sectoriel.

Dans cet article, nous allons vous présenter plus en détail comment utiliser un outil simple à prendre en main comme CXinsights.io, qui peut vous aider à accélérer votre analyse de commentaires clients… et vous permettre de trouver des insights rapidement et sans effort.

Tout d’abord, il faut savoir que l’algorithme de la solution CXinsights.io est capable d’identifier les sujets abordés et d’y associer une émotion ressentie (parmi les 6 émotions primaires : joie, surprise, peur, tristesse, colère, dégoût) afin de vous révéler de nouveaux insights d’un simple coup d'oeil.

Si les verbatim sont multilingues, la classification permettra de procéder au traitement de chaque verbatim de manière transparente pour facilement donner des résultats par pays ou par langue.

La taille des commentaires impacte de manière marginale les temps de traitement des outils de classification automatique.

Pour commencer votre analyse, il vous suffit d’importer votre fichier de data sur la plateforme SaaS. Vous pouvez également importer des verbatim directement depuis Google Reviews, Trustpilot, Tripadvisor et autres plateformes d’avis si besoin.

Il ne vous reste qu’à attendre quelques instants que l’algorithme traite automatiquement vos données et vous donne les premiers résultats.

Sur la plateforme d’analyse automatique CXinsights.io, vous pouvez choisir une thématique correspondant à votre secteur d’activité ou encore personnaliser tout votre projet en fonction de thèmes et sous-thèmes personnalisés qui vous semblent plus pertinents. Cette configuration prend seulement quelques minutes. Une personnalisation des thèmes, du parcours etc. est également possible sur demande (paramétrage sur mesure nécessitant quelques heures de travail additionnel).

A noter: contrairement à l’analyse manuelle, tout effort de personnalisation réalisé à la configuration du projet est capitalisable pour l’ensemble des données.

Par exemple, si vous créez une nouvelle thématique même 2 mois après le premier traitement, vous pouvez mettre à jour en quelques minutes l’ensemble des données sans effort.

Pour organiser son temps: Une fois le fichier soumis, prévoir un temps de processing de 2 à 3 minutes par lot de 5000 verbatim à classer, soit environ 20 minutes pour 50.000 verbatim. L’outil va ensuite automatiquement placer tous les verbatim dans les thèmes correspondants et vous pouvez immédiatement accéder à la navigation dans les données.

Vous pourrez comparer en un coup d’oeil le nombre de commentaires par thématique ainsi que l’émotion principale qui en ressort (l’E-index dans le screenshot ci-dessous correspond à une température variant de -20°C à +40°C définie par l’émotion principale détectée dans le discours, plus la température est élevée plus l’émotion est positive).

Le monitoring est bien plus facilement réalisable qu’avec une analyse manuelle, l’outil vous offre un suivi de l’évolution des émotions dans les verbatim clients ainsi que de l’E-Index.

Dans le screenshot ci-dessus par exemple, on s’aperçoit qu’il y a eu une chute de joie et une hausse de la tristesse au même moment à partir du mois de septembre 2018. Il est donc important de prendre connaissance principalement des sujets évoqués sur cette période pour comprendre d'où vient ce changement.

Pour se faire, on choisit la période correspondante sur la plateforme qui va ensuite identifier automatiquement les 3 points de succès et les 3 points d’amélioration majoritairement cités dans les commentaires.

Dans cet exemple, on s’aperçoit qu’il y a 3 risques majoritaires qui correspondent à cette chute de la joie et hausse de la tristesse : le risque d’attrition, de contentieux et un risque de bad buzz. En cliquant sur le bouton “Va faire du buzz”, on se rend vite compte qu’une publicité mal réalisée est à l’origine de ce problème et qu’il est mentionné dans les commentaires des clients. On peut par la suite prioriser les actions à mettre en place pour résoudre le problème.

Vous l’aurez compris, l’analyse sémantique automatique est incontournable lorsque vous menez des enquêtes de grande envergure ou que vous recevez de nombreux commentaires chaque mois sur les plateformes d’avis ou les réseaux sociaux.

Mettre en place des alertes par mot-clé ou thématique

Une des principales forces de l'automatisation de cette analyse est la possibilité de se créer des alertes pour être averti en temps réel lorsqu'un verbatim correspondant aux critères choisit est en ligne.

Cela permet de passer d'une approche passive à une approche active et de réagir très vite en cas de risque d'attrition, de bad buzz, etc...

En effet, lorsque l'on reçoit un mail qui parle de résiliation, cela doit être traité prioritairement.

Toutefois, cela peut également être mis en place positivement pour partager avec les différentes équipes les points d'enchantement évoqués par les clients.

Alors comment mettre en place cette alerte sur un outil d'analyse automatique ?

Pour créer une alerte avec Q°emotion, c'est très simple, il faut se rendre sur l'onglet Alertes par email.

Ensuite, il suffit de suivre ces 4 étapes : Choisir ou vérifier son projet; Créer l'alerte; Définir les conditions, les destinataires et la fréquence d'envoi de celle-ci; Valider son choix.

L'étape la plus importante consiste à bien définir les conditions. Si elles ne sont pas assez précises, vous allez recevoir un grand nombre d'alertes pas toujours pertinentes, tandis que si les conditions sont trop restrictives, vous n'allez probablement jamais recevoir d'alertes !

Comment bien définir les conditions ?

Pour se faire, il est possible d'utiliser 3 niveaux différents :

- Le type de sélecteur. Sur notre plateforme, il est possible d'utiliser 4 types de critères différents : l'émotion, les thématiques évoquées, les critères clés (comme le nombre d'étoiles laissées sur un avis par exemple), les mots clés. Cela permet d'être très précis dans le ciblage des alertes que vous souhaitez recevoir.

- Le critère d'équivalence, "est égal" ou "n'est pas égal à" afin de définir le déclencheur de l'alerte.

- Le lien entre les conditions. C'est ce qui permet de définir si l'alerte doit être envoyé lorsqu'une condition est remplie ou lorsque toutes les conditions sont remplies.

Grâce aux alertes, vous ne manquerez plus les verbatim critiques et cela vous aidera grandement à prioriser vos actions et améliorer la satisfaction de vos clients.

Vous l'aurez compris, avoir recours à l'analyse sémantique automatique et un outil comme Q°emotion (éditeur de la plateforme CXinsights.io) vous permettra de gagner un temps précieux et d’identifier très rapidement les sujets mentionnés par vos clients ainsi que les émotions qu’ils ressentent.

Pour aller plus loin : Nous n’avons pu que passer en revue quelques-unes des fonctionnalités de notre plateforme SaaS, si vous souhaitez en savoir plus, découvrez un cas d'usage interactif en cliquant ici.