Il n\u2019est pas nouveau d\u2019incriminer les sondages. Le public comme les media assimilent tous les sondages, quel que soit leur objet, qu\u2019il s\u2019agisse de mesurer des comportements, ou des opinions. Et parmi ces enqu\u00eates, les mesures d\u2019intentions de vote sont les plus visibles, les plus comment\u00e9es et bien s\u00fbr les plus d\u00e9cri\u00e9es. Ce court article consid\u00e8rera uniquement les sondages d\u2019opinion incluant des intentions de vote.<\/p>\n
Depuis plus de 50 ans, sociologues, philosophes, statisticiens s\u2019interrogent sur la pertinence des sondages d\u2019opinions et en particulier des enqu\u00eates d\u2019intentions de vote. Les citoyens, les media, et les acteurs politiques se sont longtemps servis des sondages politiques comme d\u2019instruments de pr\u00e9vision \u00e9lectorale. Cette utilisation a \u00e9t\u00e9 largement remise en question par les \u00ab\u00a0\u00e9checs\u00a0\u00bb retentissants qu\u2019ont subis les sondages \u00e9lectoraux comme outils de pr\u00e9vision infaillible des r\u00e9sultats. \u00a0Il y a plus de quarante ans, Fr\u00e9d\u00e9ric Bon publiait un livre au titre \u00e9vocateur \u00ab\u00a0Les sondages peuvent-ils se tromper ?\u00a0\u00bb [1]<\/sup><\/a>. A cette question, qui paraissait \u00e0 l’\u00e9poque bien acad\u00e9mique, l’auteur donnait une r\u00e9ponse mesur\u00e9e. Tout en soulignant\u00a0 quelques \u00e9checs notables – entre autres l’erreur des sondages britanniques en 1970 – il notait que \u00ab\u00a0sur dix-neuf exp\u00e9riences tent\u00e9es \u00e0 l’occasion de sept scrutins, les instituts britanniques affichent dix-sept succ\u00e8s\u00a0\u00bb[2]<\/sup><\/a> . Aujourd\u2019hui nous ne pouvons que constater les \u00e9checs successifs dans de nombreux pays et pour diff\u00e9rents types de scrutins. Quelques exemples retentissants en attestent. Aux Etats-Unis, lors des \u00e9lections interm\u00e9diaires de 2014, les sondages n\u2019ont pas mesur\u00e9 l\u2019intensit\u00e9 de la vague en faveur des r\u00e9publicains leur assurant une tr\u00e8s forte majorit\u00e9. Lors des derni\u00e8res \u00e9lections l\u00e9gislatives britanniques, la forte majorit\u00e9 en faveur de David Cameron\u00a0n\u2019a pas \u00e9t\u00e9 anticip\u00e9e.\u00a0 En Isra\u00ebl, aux derni\u00e8res l\u00e9gislatives, les sondages ont gravement sous-estim\u00e9 la victoire de B. Netanyahou. Pis, une majorit\u00e9 d\u2019enqu\u00eates britanniques \u00a0n\u2019avaient pas mesur\u00e9 la victoire du non au r\u00e9f\u00e9rendum sur le maintien dan l\u2019UE. Plus r\u00e9cemment, la victoire de Donald Trump n\u2019a pas \u00e9t\u00e9 anticip\u00e9e, m\u00eame si les enqu\u00eates \u00a0nationales avaient correctement mesur\u00e9 le rapport de force Clinton\/Trump, Les estimations des \u00e9lections l\u00e9gislatives espagnoles n\u2019ont pas \u00e9t\u00e9 meilleures\u2026 Aux Pays-Bas, le parti populiste a \u00e9t\u00e9 tellement sur-estim\u00e9 qu\u2019on a craint que la Hollande ne bascule \u00e0 l\u2019extr\u00eame droite et que le \u00ab\u00a0Nexit\u00a0\u00bb soit \u00e0 l\u2019ordre du jour, donnant un probable coup fatal \u00e0 l\u2019Union Europ\u00e9enne.<\/p>\n En France, sans remonter \u00e0 2002, plusieurs instituts ont donn\u00e9 des r\u00e9sultats fantaisistes des scrutins municipaux ou r\u00e9gionaux\u00a0 de 2014 et 2015. Mais tous ne se sont pas tromp\u00e9s. Et que dire des sondages pr\u00e9c\u00e9dant les primaires de droite et du centre ou de la\u00a0\u00ab\u00a0belle alliance populaire\u00a0\u00bb. On peut craindre que pour l\u2019\u00e9lection pr\u00e9sidentielle \u00e0 venir comme pour les \u00e9lections l\u00e9gislatives, l\u2019ind\u00e9cision, la volatilit\u00e9 et la d\u00e9fiance ne soient de mise. Certes les sondages ne sont que des instruments imparfaits, mesurant l\u2019\u00e9tat de l\u2019opinion au moment o\u00f9 le \u00ab\u00a0terrain\u00a0\u00bb est r\u00e9alis\u00e9, et les responsables des instituts ont raison de l\u2019affirmer et de le r\u00e9p\u00e9ter. Mais encore faut-il que cette mesure, prise au temps T, soit la plus pr\u00e9cise possible et qu\u2019elle n\u2019induise pas en erreur les acteurs politiques, les observateurs ou les citoyens. L\u2019exigence de qualit\u00e9 des enqu\u00eates d\u2019opinion doit-elle \u00eatre n\u00e9cessairement moins forte que celle des enqu\u00eates \u00e9pid\u00e9miologiques, d\u2019audience voire de marketing\u00a0?<\/p>\n Aujourd\u2019hui les sondages sont-ils moins bien conduits que par le pass\u00e9\u00a0? Y a-t-il des raisons ou des difficult\u00e9s objectives nouvelles\u00a0? Est-ce une fatalit\u00e9 et faut-il donc penser \u00e0 d\u2019autres moyens pour mesurer l\u2019\u00e9tat de l\u2019opinion\u00a0et particuli\u00e8rement pour \u00e9tablir des intentions de vote ?<\/p>\n Probl\u00e8mes d\u2019\u00e9chantillonnage, taux de r\u00e9ponse en chute constante, modes de recueil, \u00e9lecteurs potentiels mal \u00e9valu\u00e9s, fausses d\u00e9clarations, questionnaires trop facilement d\u00e9cod\u00e9s par les personnes interrog\u00e9es, ind\u00e9cision et plus forte volatilit\u00e9 d\u2019une frange de plus en plus importante du corps \u00e9lectoral jusqu’au jour m\u00eame de l’\u00e9lection ?\u00a0 Cette s\u00e9rie de questions n\u2019est pas exhaustive mais doit \u00eatre abord\u00e9e si l\u2019on souhaite am\u00e9liorer la qualit\u00e9 de ces enqu\u00eates. Ces lignes ne pourront se pencher sur toutes ces questions mais tenteront de donner quelques pistes de r\u00e9flexion.<\/p>\n Les enqu\u00eates par t\u00e9l\u00e9phone, majoritaires dans les ann\u00e9es 1990 et 2000, \u00a0sont plus complexes \u00e0 r\u00e9aliser, plus ch\u00e8res et moins fiables. A l\u2019op\u00e9rateur historique, France Telecom, se sont agr\u00e9g\u00e9s les op\u00e9rateurs priv\u00e9s qui ont rendu le portable pr\u00e9sent dans chaque foyer, utilis\u00e9 par de plus en plus de Fran\u00e7ais d\u00e8s leur plus jeune \u00e2ge. Le rapport annuel de l\u2019ARCEP[3]<\/a> en t\u00e9moigne. Couverture et nombre d\u2019usagers sont en constante progression. \u00a0En cons\u00e9quence \u00a0les bases de sondages sont plus complexes. Et les plans de sondage sont le r\u00e9sultat de mod\u00e9lisations. Aux num\u00e9ros des t\u00e9l\u00e9phones fixes, utilisant des indicatifs g\u00e9ographiques, s\u2019ajoutent les num\u00e9ros des mobiles, g\u00e9n\u00e9r\u00e9s par les op\u00e9rateurs, et les num\u00e9ros en 09 des box internet. Il faut utiliser un nombre de num\u00e9ros impressionnant\u00a0et en constante augmentation, avant de qualifier un num\u00e9ro de t\u00e9l\u00e9phone correspondant \u00e0 une personne qui sera interrog\u00e9e.\u00a0 Et quand on a pu contacter un interlocuteur, le faire r\u00e9pondre devient de plus en plus al\u00e9atoire, m\u00eame avec des enqu\u00eateurs parfaitement form\u00e9s et correctement r\u00e9mun\u00e9r\u00e9s. L\u2019institut am\u00e9ricain Pew Research Center[4]<\/a> estime que les taux de r\u00e9ponse ont chut\u00e9 de 70% dans les ann\u00e9es 1970 \u00e0 36% au cours des ann\u00e9es 90, et jusqu\u2019\u00e0 8% en 2014. Si on a longtemps consid\u00e9r\u00e9 les non-r\u00e9pondants comme ayant les m\u00eames opinions ou intentions de vote que les r\u00e9pondants, cette hypoth\u00e8se semble plus difficile \u00e0 soutenir. Et toujours pour des questions de co\u00fbt et de rapidit\u00e9 du terrain, les \u00e9chantillons sont bas\u00e9s sur la \u00a0m\u00e9thode des quotas. Cette m\u00e9thode a fait ses preuves et a montr\u00e9 dans le pass\u00e9 qu\u2019elle \u00e9tait fiable. Mais appliquer des quotas, \u00e9tablis sur la population des Fran\u00e7ais \u00e2g\u00e9s de 18 ans et plus, \u00e0 des r\u00e9pondants en faible nombre, et obtenir de bons r\u00e9sultats est statistiquement difficilement explicable et justifiable. La taille des \u00e9chantillons est alors pr\u00e9pond\u00e9rante. Plus la part de l\u2019al\u00e9atoire sur un grand nombre de personnes interrog\u00e9es est importante, plus les biais sont restreints.<\/p>\n Notons qu\u2019aux Etats-Unis, lors des sondages pr\u00e9-\u00e9lectoraux[5]<\/a>, la taille des \u00e9chantillons nationaux \u00e9tait le plus souvent suffisante et a permis de bien mesurer le vote national populaire. Alors que dans les Etats en balance, bien des instituts se sont content\u00e9s d\u2019\u00e9chantillons de 500 personnes et ont \u00e9t\u00e9 tr\u00e8s peu fiables. Ils n\u2019ont pas permis aux pr\u00e9visionnistes de mod\u00e9liser avec une chance raisonnable de succ\u00e8s.<\/p>\n Si jusqu\u2019au milieu des ann\u00e9es 2000, les sondages \u00e9taient le plus souvent administr\u00e9s en face \u00e0 face ou par t\u00e9l\u00e9phone, depuis l\u2019\u00e9lection de 2007[6]<\/a>, les enqu\u00eates par Internet sont devenues quasiment la r\u00e8gle en France comme dans bien des pays. Leur co\u00fbt de production bien moindre a encore augment\u00e9 le nombre d\u2019intentions de vote publi\u00e9s. Outre l\u2019avantage du faible co\u00fbt \u00e9conomique, l\u2019auto-administration des questionnaires r\u00e9duit la d\u00e9sirabilit\u00e9 sociale li\u00e9e \u00e0 la pr\u00e9sence d\u2019un enqu\u00eateur. Donner des opinions extr\u00e9mistes ou jug\u00e9es non convenables est plus facile face \u00e0 un \u00e9cran. Mais qui sont les personnes interrog\u00e9es\u00a0? Le plus souvent, les instituts ont leur propre panel d\u2019internautes qu\u2019ils entretiennent le mieux possible. Mais comment sont constitu\u00e9s ces \u00ab\u00a0viviers\u00a0\u00bb et qui accepte ou n\u2019accepte pas d\u2019y participer\u00a0? Le recrutement des pan\u00e9listes est crucial. Les enqu\u00eates de recrutement donnent des informations pr\u00e9cieuses. Mais elles n\u2019existent pas toujours ou sont confidentielles et non disponibles. Quand les pan\u00e9listes sont simplement recrut\u00e9s via des pop-up ou des incitations par mail ou des fichiers achet\u00e9s \u00e0 des brokers, que vaut vraiment la base de sondage\u00a0? On pourra \u00e9laborer le meilleur plan de sondage et interroger le plus bel \u00e9chantillon possible, les profils sociologiques de ceux qui ne\u00a0 sont pas dans le panel ne seront jamais\u00a0 atteints. On apprend, dans le rapport du CREDOC pour l\u2019ARCEP[7]<\/a>, que la population n\u2019utilisant pas ou tr\u00e8s peu Internet pour des raisons de couverture, de moyens financiers, ou par manque d\u2019int\u00e9r\u00eat peut atteindre jusqu\u2019\u00e0 19% de la population. De m\u00eame la population la plus ais\u00e9e \u00e0 fort patrimoine est moins dispos\u00e9e \u00e0 \u00eatre volontaire pour r\u00e9pondre r\u00e9guli\u00e8rement aux enqu\u00eates propos\u00e9es par un institut. Ce ne sont pas les tr\u00e8s faibles incentives qui peuvent les attirer. L\u2019analyse de la composition socio\u00e9conomique des panels utilis\u00e9s par les instituts permettrait de mieux prendre en compte la non-r\u00e9ponse totale. Et peut-\u00eatre de la corriger si on avait une meilleure connaissance de ces populations. Ces questions sont majeures pour \u00e9laborer des plans de sondages corrects et donc pour tirer \u00a0des \u00e9chantillons de qualit\u00e9.<\/p>\n Et pourtant nombre d\u2019enqu\u00eates r\u00e9alis\u00e9es \u00e0 la veille du jour du vote, avec ce protocole, ce taux de r\u00e9ponse si faible et cette m\u00e9thode d\u2019\u00e9chantillonnage, ont conduit \u00e0 des r\u00e9sultats tr\u00e8s proches des r\u00e9sultats r\u00e9els des \u00e9lections. La raison principale est que les \u00e9chantillons repr\u00e9sentaient le mieux possible la population qui allait r\u00e9ellement voter\u00a0: \u00ab\u00a0les exprim\u00e9s\u00a0\u00bb. Ces enqu\u00eates n\u2019ont jamais \u00e9t\u00e9 tr\u00e8s pertinentes pour mesurer l\u2019abstention, m\u00eame si elles donnent des indicateurs int\u00e9ressants sur les raisons de la non-participation.\u00a0 Le contre-exemple peut \u00eatre les sondages des primaires o\u00f9 le corps \u00e9lectoral ne pouvait \u00eatre connu et pour lesquels les instituts ont imagin\u00e9 des questions filtres qui se sont av\u00e9r\u00e9es non suffisamment pertinentes.<\/p>\n Alors \u00e0 un mois de l\u2019\u00e9lection pr\u00e9sidentielle, les intentions de vote publi\u00e9es quotidiennement nous donnent un ordre d\u2019arriv\u00e9e qui pourrait \u00eatre totalement boulevers\u00e9 tant la campagne \u00e9lectorale rend les \u00e9lecteurs perplexes, voire les met en col\u00e8re. L\u2019ind\u00e9cision est \u00e0 ce point forte que la d\u00e9finition-m\u00eame du corps \u00e9lectoral est difficile. En g\u00e9n\u00e9ral, les Fran\u00e7ais se d\u00e9placent massivement pour voter \u00e0 ce scrutin majeur. Mais s\u2019il devait en \u00eatre autrement les sondages actuels ne mesureraient que l\u2019\u00e9tat d\u2019une opinion virtuelle et qui le resterait. Rappelons qu\u2019en 2002 une forte abstention (28 %) avait provoqu\u00e9 le s\u00e9isme dont tout le monde se souvient et la pire b\u00e9r\u00e9zina\u00a0 \u00ab\u00a0ressentie\u00a0\u00bb pour les sondages. Si a contrario, malgr\u00e9 tous les al\u00e9as de cette campagne \u00e9lectorale, les Fran\u00e7ais votent dans les proportions habituelles, les sondages actuels se v\u00e9rifieront et il est fort \u00e0 parier qu\u2019on ne parlera plus dans les media des probl\u00e8mes des sondages et de la fa\u00e7on dont les Fran\u00e7ais s\u2019en m\u00e9fieraient[8]<\/a>. Jusqu\u2019aux prochaines l\u00e9gislatives \u00e0 peine quelques semaines plus tard.<\/p>\n [1]<\/a> Fr\u00e9d\u00e9ric Bon, Les sondages peuvent-ils se tromper, Paris, Calmann-L\u00e9vy, 1974.<\/em><\/p>\n [2]<\/a> Fr\u00e9d\u00e9ric Bon ouv.cit p164<\/em><\/p>\n [3]<\/a> http:\/\/www.arcep.fr\/index.php?id=8571&no_cache=1&tx_gsactualite_pi1%5Buid%5D=1890&tx_gsactualite_pi1%5BbackID%5D=26&cHash=807cca1649139e95c25f77398109592b<\/a><\/span><\/em><\/p>\n [4]<\/a> http:\/\/www.people-press.org\/methodology\/collecting-survey-data\/the-problem-of-declining-response-rates\/<\/a><\/span><\/em><\/p>\n http:\/\/www.people-press.org\/2012\/05\/15\/assessing-the-representativeness-of-public-opinion-surveys\/<\/a><\/span><\/em><\/p>\n [5]<\/a> http:\/\/www.pollingreport.com\/wh16gen.htm<\/a><\/span><\/em><\/p>\n [6]<\/a> Le panel \u00e9lectoral du CEVIPOF, administr\u00e9 par t\u00e9l\u00e9phone par IFOP, a \u00e9galement \u00e9t\u00e9 parall\u00e8lement administr\u00e9 en ligne, avec les m\u00eames questionnaires par OpinionWay. Les r\u00e9sultats ont \u00e9t\u00e9 convergents sur les questions d\u2019intentions de vote. Les reconstitutions des votes pass\u00e9s se sont av\u00e9r\u00e9es meilleures par Internet. L\u2019exp\u00e9rience a \u00e9t\u00e9 r\u00e9\u00e9dit\u00e9e en administrant l\u2019enqu\u00eate post\u00e9lectorale du CEVIPOF \u00e0 la fois en ligne et par t\u00e9l\u00e9phone.<\/em><\/p>\n Boy, D et Chiche, J (2012), L\u2019impact du mode d\u2019administration dans les sondages \u00e9lectoraux<\/em><\/p>\n http:\/\/sondages2012.ensai.fr\/wp-content\/uploads\/2011\/01\/Communication_Boy_Chiche.pdf<\/a><\/span><\/em><\/p>\n [7]<\/a> Barom\u00e8tre du num\u00e9rique\u00a0: Edition 2015. Conseil g\u00e9n\u00e9ral\u00a0 de l\u2019\u00e9conomie, de l\u2019industrie de l\u2019\u00e9nergie et des technologies. ARCEP\u00a0: Rapport du CREDOC par\u00a0:\u00a0 <\/strong>Lucie Brice, Patricia Croutte, Pauline Jauneau-Cottet, Sophie Lauti\u00e9<\/em><\/p>\n
\n