Les différents types d’études quantitatives

Le terme d’ « études quantitatives » recouvre des méthodologies qui sont en réalité très différentes.

 

Derrière un même air de famille (données chiffrées sous forme de taux, indices et grands échantillons) les études quantitatives englobent des méthodes qui portent sur des objets tout à fait hétérogènes, donnant des résultats allant de la très grande fiabilité à une très grande superficialité.

 

Mesure comportementale ou test de perception ?

 

Au sein des études quantitatives, on peut déjà distinguer deux familles :

 

Les études de mesure et d’observation des comportements	Les sondages d’opinion ou de perception qui reposent sur l’interrogation d’individus
On met en place des indicateurs pour mesurer directement un comportement ou une réalité. On va par exemple demander à un panel d’interviewés de scanner les codes barre de l’ensemble de leurs achats. On va analyser les achats en hypermarché de détenteurs de cartes de fidélité ou comptabiliser avec un logiciel les déplacements de consommateurs dans un espace.	Cette interrogation passe par le langage. On demande à des interviewés de se situer sur diverses échelles. On peut ainsi les interroger sur des publicités, sur la mémorisation des campagnes de communication, ou sur l’attractivité d’un concept.

 

Les études quantitatives bénéficient d’une image globalement très positive, notamment à travers les études qui reposent sur des observations de comportement. Ces dernières ont des capacités d’objectivation et de précision des  résultats qui se sont imposées comme un modèle de scientificité qui rejaillit sur les autres types études.

 

 

La fiabilité des mesures comportementales

 

Les études quantitatives de mesure de comportement ont un atout essentiel en termes de fiabilité car elles s’appuient sur une réalité tangible : l’échantillon étudié. Quand l’échantillon est bien constitué et suffisamment grand, on peut mesurer le comportement des consommateurs de façon assez sûre.

 

Les études qui portent sur de la mesure de comportement (Médiamat, panel consommateur TNS, panel distributeur GFK, etc.) sont globalement fiables. Les méthodes de mesure ou la construction de l’échantillon peuvent être discutées, mais cela n’affecte les résultats qu’à la marge. Un échantillon de 10 000 foyers est certes plus précis qu’un échantillon de 3000 foyers, mais c’est surtout utile pour les petites chaînes TV avec faible pénétration.

 

Dans ce dispositif, les données recueillies sont solides de part le mode de recueil : un instrument de mesure calcule les variations et l’intervention humaine est limitée. Dans le cas du Médiamat, l’intervention humaine se limite à appuyer sur un bouton lorsque la personne est dans la même pièce que son téléviseur. Dans le cas des panels consommateurs, il faut scanner le code barre des produits achetés. Les risques d’erreur sont liés à d’éventuelles négligences du foyer ou au fait que certains produits peuvent échapper au processus de scan. Lors de l’analyse des achats faits par cartes de fidélité, il y a le faible risque d’omettre les achats qui ne sont pas passés via la carte.

 

La fiabilité de ces études repose par conséquent sur un protocole de mesure objective, dont toutes les études quantitatives ne peuvent pas se prévaloir. Dans les études de perception et surtout d’opinion, dans lesquelles on interroge des individus au lieu de mesurer leurs comportements, la méthode peut s’avérer nettement plus fragile.

 

 

La fragilité des tests de perception

 

Au sein des études qui reposent sur une interrogation verbale, il faut encore distinguer deux types d’études :

 

Le déclaratif comportemental	L’enquête de perception
L’interviewé déclare avoir feuilleté tel magazine, être abonné à telle chaîne ou avoir écouté la radio hier entre 14 h et 14 h 15	L’interview se situe sur une échelle et donne son avis sur des sujets qu’il maîtrise plus ou moins bien.

 

Le déclaratif comportemental porte sur le comportement : mais au lieu de mesurer les comportements de l’extérieur, de façon objective et automatique, on demande à l’interviewé de l’indiquer par lui-même.

 

Ce type d’étude est donc d’autant plus sûr que l’interviewé s’exprime sur une réalité objective. Il peut se tromper parce qu’il a confondu ou ne se souvient pas de la radio qu’il a écouté la veille mais, s’il est un minimum conscient du sujet, il décrit une réalité. Les risques sont limités et proviennent des défaillances de la mémoire ou de la mauvaise compréhension des questions.

 

Demander à quelqu’un à quelle heure il a écouté la radio et quelle station il a écouté est moins sûr que de le mesurer à l’aide d’une montre enregistrant des extraits de ce qu’il écoute. Déclarer son comportement est moins sûr que de le mesurer directement mais on reste dans un cadre objectif.

 

En revanche, les enquêtes de perception sont beaucoup plus risquées. En effet, interroger les consommateurs sur leurs perceptions dissimule quelques écueils :

1. On fait semblant de croire que l’on ne fait que recueillir une donnée pour la quantifier, alors que la question elle-même participe à la production du résultat, surtout si l’on force quelqu’un à réagir à un sujet auquel il n’a jamais réfléchi, ou qu’on lui demande de respecter une échelle qui n’est pas la sienne

2. On fait comme si on s’adressait à un consommateur rationnel, conscient, capable de se projeter et d’objectiver ses perceptions comme un bloc homogène que l’on pourrait ensuite décortiquer. Or les avis et les perceptions sont structurés de façon contradictoire et aléatoire selon les individus et les différents niveaux de conscience. La méthode de l’entretien standardisé recueille les opinions de surface, qui sont les plus immédiatement disponibles. Elles peuvent être intéressantes, mais restent inévitablement partielles. 

3. On superpose dans une même échelle de mesure des témoignages de gens qui ont des référentiels et des manières de pensée différents, ce qui revient à mutiler la source même de l’information. Par exemple, on va demander à des individus de donner une marque selon qu’ils la trouvent « cool », « innovante », « moderne », en faisant comme si tout le monde avait le même barème. Comme le souligne Bourdieu, il y a des gens dont la vue est très fine, et qui mesurent en centimètre, d’autres qui ne s’intéressent qu’aux grandes masses et mesurent en mètre. Il est dommage de fusionner leurs relevés dans une même échelle.

4. Dans les études de perception, on a tendance à accorder le même poids à ceux qui connaissent le sujet et à ceux qui le découvrent au moment du questionnaire, sur le modèle un homme = une voix. Dans le cas d’un test de concept, ce procédé peut avoir un effet dévastateur : le plus gros danger consiste alors à interroger des personnes qui ne savent pas de quoi on parle.

 

Dans ce domaine, il y a un risque de prendre ses désirs de quantification pour des réalités d’étude  en se satisfaisant de signes extérieurs de scientificité pour cacher la superficialité des analyses. Le fétichisme de la technique conduit à mépriser le terrain, et à plaquer sur la réalité des perceptions et des opinions des grilles d’analyse ou des outils qui ne leur sont pas toujours appropriés. En attribuant des notes de valeur à des marques (indice 120 sur la valeur « moderne », indice 98 sur la valeur « chic »), on peut certes opérer des multiplications, des rapprochements et croire que l’on dispose d’une matière à traiter, sans toujours s’apercevoir que le contact a la réalité est rompu.

 

Cet écueil est d’autant plus dommageable que ces méthodes revendiquent parfois le statut de seules méthodes sérieuses disponibles, au profit d’un hold-up méthodologique inquiétant. 

• Il est toujours délicat de demander à un interviewé de situer son niveau d’intention d’achat sur une échelle pré-établie par l’interviewer.

• Comme le souligne Jean Claude Kauffmann, l’entretien compréhensif ne peut prétendre à un même degré de présentation de la validité de ses résultats que des méthodes plus formelles, car il renferme une part « d’empirisme irréductible ».

• Dans les études de perception et d’opinion, les preuves de rationalité ne se situent pas dans un prétendu formalisme ou dans des chiffres, mais sont à chercher ailleurs, et d’abord dans la cohérence de l’ensemble du processus de recherche.

Contrairement au dogme de l’analyse behavioriste qui observe les comportements de l’extérieur, la curiosité et l’empathie sont des éléments essentiels de l’étude des opinions et des perceptions. Les résultats d’une étude de perception est fonction de la qualité des questions ou du couple question-réponse. La qualité des résultats est liée à la qualité du processus d’interrogation. Si le questionnaire est mal conçu, les résultats seront faussés quelque soit la taille de l’échantillon. L’augmentation de l’effectif ne permettra pas de corriger l’erreur de départ.

 

Il est même souvent besoin de réaliser des études en plusieurs étapes, car la bonne appréhension du sujet demande de s’en imprégner pendant un certain temps, pour forger la grille de lecture et d’interprétation pertinente.

 

Or trop souvent, les enquêtes qui reposent sur des questionnaires de perception sont administrés en face à face, par téléphone ou online : il est demandé aux individus de se fondre dans un schéma préétabli en cochant de façon mécanique des listes d’items. Les questionnaires sont parfois conçus à l’avance, sans possibilité d’ajustement en cours : ils ne traduisent le plus souvent que les idées préconçues du directeur d’études sur son objet qu’une vraie découverte de la réalité.

 

Je me souviens que lors d’une étude de marché sur le test de potentiel d’un périphérique (qui montrait clairement d’où pouvaient affluer les skieurs), on s’est aperçu qu’il était très difficile de mesurer la réalité du potentiel. Dans ce téléphérique, le retour se faisait impérativement dans les cabines car il était impossible de redescendre à ski. Comme les consommateurs imaginaient difficilement les conditions de leur retour, ils étaient incapables d’évaluer la fréquence de leur utilisation sans avoir expérimenté le téléphérique en question.

 

L’incertitude grandit quand on demande aux interviewés de se projeter dans l’avenir. Il est a priori plus sûr de demander à quelqu’un ce qu’il a voté aux dernières élections que de lui demander ce qu’il compte voter aux prochaines.

 

Plus on est dans la perception, plus l’interaction compte. Faute de prendre cette variable essentielle en considération, le regard quanti abouti à une mutilation des résultats, qui finit par produire des enseignements très superficiels malgré leur illusion de rationalité.

 

Comments

[Rédigé par : Michaël Korchia]

Certaines des critiques faites à l'encontre des études quantis me semblent tout à fait justifiées... C'est le principe du GIGO (Garbage In, Garbage Out), que je traduis en CDCD (Caca Dedans, Caca Dehors).
VOus auriez aussi pu parler des études qui ne laissent pas de possibilités aux non réponses (pour certains types de questions), &/ou qui demandent aux consommateurs de s'exprimer même sur des marques qu'ils ne connaissent pas, des analyses statistiques pas appropriées, & j'en passe.

Le problème de ce billet est, il me semble, qu'il laisse à entendre que le quali est beaucoup moins sujet aux erreurs... Il suffit d'avoir participé en tant qu'interviewé à un focus group pour remarquer que le quali peut aussi faire dire n'importe quoi.

En gros, il faut donc être très vigilant!