Sur Statosphère, Guillaume Main, ancien salarié d'institut de sondage, critique dans un billet argumenté notre article analysant l'étude Ifop/Le Figaro.

Autant lorsque Jean-François Kahn ou Ségolène Royal décide de “se faire” un institut de sondage, l’effet de surprise est quasi nul : après tout, la discréditation des sondages est un fond de commerce et une pratique outrageusement éprouvée. Il faut bien vendre des bouquins, et en faire la promotion chez Ruquier. En revanche, si Owni se prête à son tour à ce jeu simplet, alors j’avoue que la donne n’est plus la même : on ne peut pas se targuer de décrypter l’information tout en s’attaquant à des méthodologies complexes, ne laissant (quoi qu’on en dise et contrairement à la croyance devenue populaire) strictement rien au hasard. Bon nombre de trolleurs qui ont pour passe-temps de s’attaquer aux instituts de sondage s’emploient à les démonter systématiquement, en tirant à boulet rouge sur tout ce qui leur semble, de près ou de loin, “anormal”.

Owni n’est pas de cette trempe et m’a toujours habitué à des articles brillants, éclairés et à la valeur ajoutée indiscutable. Le décryptage est une matière compliquée, nécessitant un recul de tous les instants et une excellente maîtrise des sujets traités. Si Owni est incontestablement la référence du journalisme de données au sein de la blogosphère française, force est d’avouer que le magazine s’est copieusement planté dans son article “Annonces sécuritaires : IFOP a déconné“, lançant une véritable fronde contre IFOP en particulier et les méthodologies sondagières en général. Ainsi l’article se révèle être une réplique mi-fadasse mi-éclairée de ce qu’on peut déjà trouver sur les très médiocres Opiniongate’s Blog et Observatoire des sondages, ou encore dans L’ivresse des Sondages d’Alain Garrigou.

La soucoupe accueille ses détracteurs avec joie

Or, tous ces gens ont au moins un point commun : ils n’ont vraisemblablement effleuré qu’une poignée des enjeux conditionnant le fonctionnement d’un panel d’institut de sondage. Non pas, bien sûr, qu’il soit fondamental de travailler en institut pour être capable d’en parler, mais que certains aspects du propos tiennent trop peu la route pour assurer la crédibilité du reste. Ayant été chargé de traitement statistique pendant huit ans, au sein de deux instituts de sondage, j’ai eu largement l’occasion de travailler sur des panels auto-administrés (essentiellement postaux et internet, mais aussi téléphoniques) où les sélections d’échantillon sur quotas et les redressements en tout genre étaient mon quotidien. J’ai également été programmeur de questionnaires Internet pour un de ces instituts. Par ailleurs, je m’exprime librement à ce sujet, étant actuellement à la recherche d’un emploi dans un autre secteur des statistiques.

La vérité sur les biais des différents modes de recueil

Il existe essentiellement quatre modes de recueil des données : le face à face, le postal, le téléphonique et Internet. Aucun de ces modes ne peut se targuer d’être exempt d’aucun biais : ils présentent tous des avantages et des inconvénients de taille.

• Le face à face est un mode de recueil très lent, complexe et de nature à déranger le sondé : capté dans la rue ou directement à son domicile, le contexte est rarement propice. Il est donc exclu d’aborder des sujets touchant à son intimité ou à ses convictions politiques. Le taux de remplissage est souvent mauvais, le sondé perdant vite patience.
• Le courrier est un mode de recueil lent lui aussi, adapté à des questionnaires plus longs ou aux questions ouvertes, auquel les personnes âgés répondent bien mieux que les jeunes générations. Par ailleurs, en cas de mauvais taux de retour, il est souvent trop tard et trop cher pour relancer une vague d’envois visant à combler un éventuel manque sur un quota.
• Le téléphone est un mode de recueil rapide et offrant une sensation d’anonymat assez sécurisante au sondé : sur des questions sensibles, nécessitant un aveu, il répondra plus spontanément que par courrier et se livrera plus facilement qu’en face à face. Les chômeurs et les personnes âgées sont généralement sur-représentés.
• Enfin, Internet est un mode de recueil assez pratique car très maléable : à l’instar du téléphone, il est possible de suivre en temps réel l’état d’avancement des quotas de l’étude. Les sous-représentations sont donc instantanément détectées. Si les plus âgés sont beaucoup plus difficiles à sonder, cela reste néanmoins de moins en moins vrai.

Internet, un mode de recueil aussi bon que les autres

Au final, les pondérations sont bien moins conséquentes par Internet que par courrier. C’est aussi pour cette raison que de plus en plus souvent, les instituts de sondage proposent de mener des terrains sur des modes de recueil mixtes, Internet et téléphone, avec des résultats excellents. Mais dans tous les cas, les redressements ne sont pas colossaux et n’induisent pas de problème de représentativité irrémédiable, car les panels d’institut sont régulièrement renouvelés et se voient réinjectés prioritairement des populations déficitaires (il existe des services spécialisés, “fournisseur” de panélistes d’un certain âge ou correspondant à une certaine catégorie socio-professionnelle).

De fait, compte tenu des enjeux, les clients des instituts de sondage souhaitent de plus en plus souvent connaître l’opinion et les habitudes des internautes. Internet, en tant que mode de recueil, devient alors une bénédiction puisqu’on ne cherche plus à être représentatif de la population d’un pays, mais des internautes d’un pays, ce qui n’a plus rien à voir. Ainsi, l’échantillon pourrait pratiquement être construit naturellement puisque sélectionner 1000 internautes en respectant des quotas reviendrait théoriquement à les sélectionner aléatoirement. Mais même dans ces cas là, la sélection aléatoire est proscrite et on applique des quotas afin de maximaliser la précision des résultats.

Une autre problématique d’Internet est qu’il est assez difficile de connaître le véritable profil des internautes d’un pays, puisqu’il n’existe pas à proprement parlé de recensement d’internautes (contrairement au recensement classique de la population réalisée par l’INSEE, lequel, malgré les nouvelles méthodes d’extrapolation, n’a pas d’équivalent en terme d’exhaustivité). Chaque institut de sondage dispose de son propre panel prétendument représentatif et dépassant allègrement la dizaine de milliers d’individus. Or, si on compare les différentes structures de panel d’internautes, d’un institut à l’autre, on constate qu’elles sont très proches. Il n’est donc pas rare que les instituts comparent leur structure : ils savent que cela leur permet d’affiner leur représentativité. On les compare également aux panels “Site-Centric”, comme celui de StatCounter Global Stats : sans être parfait, ce type de panel contribue à améliorer la qualité d’un panel d’internautes.

Pour aller plus loin :

• Sondages en ligne : une méthodologie éprouvée par Yves-Marie Cann
• Un livre blanc sur les études en ligne par OpinionWay

Les 10 mauvaises interprétations dans l’article d’OWNI

1 – « La méthodologie du sondage nous a surpris. En effet, on n’y retrouve pas les habituels “ne se prononce pas”. »

Les cases NSPP dépendent directement de la demande du client : il n’y a aucune règle absolue là dessus, à moins qu’il s’agisse d’un baromètre, auquel cas on prend soin de ne pas changer la méthode en cours de route. Les NSPP sont simplement introduites ou non aux tris élaborés selon les désidératas du client. Par ailleurs, enfonçons des portes ouvertes : sur Internet, ce sont ceux qui veulent donner leur avis qui le donnent. Ceux qui ne se prononcent pas n’ont tout simplement pas cliqué sur le lien de l’enquête.

2 – « La méthode, tout d’abord. Tous les français ne sont pas connectés à internet. »

Internet ne biaise pas plus les résultats qu’un autre support. Mieux, il reste le meilleur recueil en période estivale puisqu’il fonctionne sur un support nomade. Le téléphone portable, lui aussi parfaitement nomade, induit les mêmes biais qu’Internet (jeunes générations sur-représentés, vieilles générations sous-représentées, localisation géographique compliquée), on en retirerait donc qu’un inconvénient de taille : le coût des communications téléphoniques.

3 – « L’Ifop nous assure que les résultats sont redressés pour les 25% de non-internautes (31% selon l’ITU). »

De fait, aujourd’hui, sauf cas très particulier (tests de produits, études qualitatives), toutes les études quantitatives reposent nécessairement sur des échantillons finaux construits selon la méthode des quotas ! Mettre le doigt sur un écart de 6% entre les chiffres de l’ITU et ceux de l’IFOP ne reviendrait guère qu’à contester un petit dixième de pourcent sur le résultat d’un tri marginal, d’autant que les chiffres de l’ITU ne reposent, eux non plus, sur rien d’exhaustif, ni de parfait.

4 – « Comment contacter les estivants ? L’Ifop assure que 60% des Français ne partent pas (30% selon le Credoc, mais passons) et que ceux qui partent restent connectés. »

Pour le coup, l’argument a de quoi surprendre. Owni frise carrément la mauvaise foi ! De quoi parle-t-on ? Du nombre total de français partant en vacances durant toute l’année (chiffre du CREDOC avancé par Owni), ou du nombre de français en vacances au moment de l’enquête IFOP ? Bien entendu, on est plus prés des 60% selon l’enquête sur les conditions de vie de l’INSEE.

5 – « Est-ce qu’ils possèdent des statistiques sur le nombre de personnes ayant répondu de leur iPhone, ou ceux dont l’adresse IP montre une localisation différente de leur ville de résidence ? »

N’a-t-on pas suffisament marteler en France que l’adresse IP n’est pas une donnée fiable ? Dans le cas présent, d’autant plus sur le réseau 3G des téléphones portables, plusieurs millions d’internautes (au moins tous les clients Orange, et en grande partie des possesseurs d’iPhone justement) se connectent via une IP dynamique. Croyez-vous qu’il soit possible rapidement et sans autorisation spécifique d’analyser des adresses IP quand on est un institut de sondage ? Pour quelle fiabilité et quel résultat ?

6 – « Mais la chance et les statistiques se marient mal ensemble »

En effet ! Il n’a d’ailleurs jamais été question de cèder la moindre parcelle à « la chance » dans le champs du traitement de données statistiques. Je vous rassure, donc : la chance n’est pas une matière dispensée dans les IUT et IUP de statistiques ou même à l’ENSAE. Plus sérieusement, l’aléatoire n’est que très exceptionnellement utilisé comme modèle pour constituer des échantillons.

7 – « Il aurait pu être intéressant de demander aux sondés si ils étaient favorable à… »

Certes, la remarque est pertinente mais le sondeur n’est pas le client ! En l’occurence, le commanditaire étant Le Figaro, on peut imaginer aisément ce que cela implique sur l’orientation politique des questions.

8 – « …revient à dire… »

Une question est une question ! On touche du doigt le problème de l’interprétation quand on en vient à dire qu’une question X « revient à » se poser une autre question Y. Restons pragmatique ! Si une question est mal posée ou ambigüe, c’est effectivement un problème auquel il aurait fallu s’attaquer en amont. On n’y peut plus rien une fois le terrain finalisé. Au passage, pourquoi OWNI ou Marianne ne commanderaient-ils pas un sondage en bonne et due forme, en posant les questions qu’ils estiment légitimes et adaptées ? Comme le font d’ailleurs régulièrement le Parti Socialiste, la Mairie de Paris ou Le Monde en s’adressant à… Opinion Way (!).

9 – « Cette erreur d’interprétation était d’autant plus à éviter en 2002 que le nombre de sondés qui se déclaraient indécis était toujours très important. »

Alors on le savait ? Si l’information de cette indécision était connue, alors c’est qu’elle était fournie par les instituts de sondage. Pourquoi donc les journalistes ne se la sont pas appropriée ? Et pourquoi reporter la faute sur les instituts de sondage si les journalistes ont joué l’intox !? Pour information, le problème s’était déjà posé lors des présidentielles de 1974. Si les journalistes s’étaient souvenus que ces sondages ont pour vocation d’être des révélateurs de tendance, alors probablement auraient-ils “démasqué” la nette croissance du vote Front National au cours des dernières semaines précédant le premier tour des présidentielles de 2002.

10 – « Mieux, elle avait même rédigé les questions que l’institut a posé aux sondés, qui devaient peu ou prou répondre à cette question… »

Oui, c’est tout ce qu’il y a de plus classique, et je me répète : les clients posent les questions, ils sont les commanditaires et apportent évidemment toute la matière première du sondage. De plus, compte tenu de la nature de certains sondages (ceux de type Omnibus), il est probable que l’institut n’ait de toute façon pas le temps matériel pour réviser l’intégralité du questionnaire. Puis, généralement, on le prie de ne pas le faire, tout simplement.

Le sempiternel amalgame entre les métiers, les types de données…

Les critiques de sondage tombent systématiquement dans les mêmes travers : on amalgame les méthodologies, les questions, les chiffres (données à priori objectives, fournies en tant que telles), avec les analyses de tout poil qui en sont faites (analyses forcément subjectives). On confond le pragmatisme des questions et des résultats chiffrés, avec l’interprétation sujette à caution qui en est faite en aval : on mélange les métiers (institut de sondage, analyste, journaliste, client, prestataire, commanditaire…), les données à analyser (tantôt on prendra un chiffre dans un tableau, tantôt une interprétation bancale qu’on prendra soin de mettre sur le même plan). Puis, on se contente de pointer l’institut du doigt, responsable sans distinction de tous les maux.

Car, comme d’habitude dans ce type d’incrimination, on voit la paille dans l’oeil du sondeur sans que le journaliste voit la poutre qu’il a dans le sien : un des plus forts biais des sondages est relatif aux erreurs d’interprétation, mais aussi aux partis pris des journalistes politiques, métier sur lequel il y aurait également beaucoup à dire en matière de conflit d’intérêt. La preuve : quand les résultats d’une enquête n’arrangent pas ses commanditaires, ça donne ce fameux sondage IPSOS sur les pratiques de piratage, très très peu relayé.

Pourquoi incriminer l’institut de sondage lorsqu’on évoque le manque de neutralité des questions posées ? C’est comme si vous trouviez logique qu’un publicitaire refuse un slogan qui sonne bien sous prétexte qu’il est ambigu ou mensonger. Les sondages n’ont jamais eu pour vocation d’être non partisan, et s’intègrent désormais naturellement dans les campagnes de communication. Le sondeur n’a pas à juger le bien fondé d’une question. On peut éventuellement le déplorer, mais il me semble malhonnête d’en tenir rigueur à l’institut de sondage qui vend une prestation de conseil et met ses panélistes à la disposition du client. Le commanditaire et l’analyste sont libres d’estimer si les données sont à la hauteur de ce qu’ils essayent de prouver. Les aberrations qui en résultent ne sont pas le fait des instituts.

Conclusion

L’absence de fiabilité du mode de recueil par Internet est un mythe : le même mythe qui fit passer le mode de recueil téléphonique pour une aberration méthodologique il y a une quarantaine d’années. Naturellement, le problème essentiel qui se pose aujourd’hui pour le sondeur est celui de la véracité des opinions et comportements déclarés par le sondé. Le panéliste nous dit-il la vérité ? Si le problème se pose de plus en plus dans le cadre des sondages d’opinion politique, je doute qu’il en soit de même avec les autres types d’étude. D’autant que les sondages d’opinion, s’ils constituent la vitrine d’un institut, ne représentent guère qu’une petite dizaine de pourcent de son chiffre d’affaire global.

L’institut de sondage joue certes son rôle de conseil, mais il est avant tout là pour se porter garant de la fiabilité des résultats, quand bien même les questions seraient non pertinentes ou mal posées. L’institut n’est pas tout puissant : il est souvent pieds et points liés aux désidératas du client, dans un contexte concurrentiel très fort. La super caste des professeurs en science politique, sorte de lobby anti-sondage, use de leur verve outrancière et mène la fronde, refusant catégoriquement d’entrer dans la sphère des considérations techniques. Et se défendre attise systématiquement la suspicion… De trop rares spécialistes (comme le très fiable Dr Panel sur Rue89) aiment encore soulever le capot et comprendre comment ça marche.

—

Article initialement publié sur Statosphère

Illustrations par Laurent Taudin et CC FlickR Paulgi

A lire ailleurs:

L’analyse (détaillée)de Rue89 : Sondage Ifop/Le Figaro sur la sécurité : la méthode en question

La critique d’Anthony Hamelle : De l’art de la critique et de l’intérêt des sondages