14/11/2016

Les sondages ne mentent jamais! Ceux qui les interprètent en revanche...

B9710173703Z.1_20161108124921_000+GOR7USDKI.1-0.jpgMi-avril 2002. Premier tour de l’élection présidentielle en France. Les sondages donnent Jospin à 17% et Le Pen à 14%. Chirac et ses 20% est loin devant. Au soir du 22 avril, Chirac fera effectivement 19.88%, mais Le Pen sera au second tour avec 16.86%, contre seulement 16.18% à Jospin. Séisme politique ! Le lendemain, on tirera joyeusement à boulets rouges sur les instituts de sondage et on verra même l’immense Pascal Perrineau, l’un des plus brillants politologues français, descendre dans l’arène médiatique pour expliquer ce décalage entre prévisions et résultats. Il sera inaudible. Et pourtant, que de choses intelligentes il avait à dire…

Novembre 2016. Election de Donald Trump à la présidence des Etats-Unis. Immense surprise pour les uns, résultat largement explicable pour les autres. Là encore, la science des sondages se fait allègrement massacrer… comme si elle était coupable d’un résultat… qu’on ne voulait pas…

Pourtant, pour quiconque s’y connaît un peu en la matière (ce qui est modestement mon cas, pour l’avoir longtemps enseignée), la science des sondages ne diffère d’aucune autre science. Entendez par là que c’est tout sauf une science exacte ! Les sondages ne se trompent pas. C’est l’interprétation qu’on en fait qui est mauvaise !

Lors de l’élection américaine, les sondages ont montré que Clinton a toujours eu un avantage – certes léger mais conséquent – sur Trump. Et d’ailleurs, le résultat final ne nous a pas trompés, puisqu’elle a terminé avec 200'000 voix de plus que son adversaire ! Sa non élection – comme celle de Al Gore en 2000 – n’est pas due à son score, puisqu’une majorité de ses concitoyens l’a préférée à son adversaire, mais au système particulier de l’élection américaine (Grand électeurs). Les sondages ont donc eu raison. Mais ils auraient pu tout aussi bien avoir tort, sans pour autant que leur légitimité soit remise en cause. Comment ?

En effet, tout sondage entre deux options faisant apparaître des opinions proches (50/50) voit la marge d’erreur entre les résultats attendus augmenter. Si Trump avait été à 80% et Clinton à 20%, cette marge aurait été bien plus faible et on aurait pu sans autres affirmer sans trop de peur un résultat proche de la réalité. Il s’est finalement passé pour l’élection Clinton/Trump la même chose que pour l’élection Présidentielle de 2002 : la marge d’erreur était trop importante pour qu’on puisse en tirer une conclusion péremptoire.

Cela, les instituts de sondage et les politologues le savent bien. Ils le disent généralement haut et fort. Le problème ne vient dès lors pas de leur méthodologie d’enquête – laquelle a depuis longtemps été maintes fois éprouvée. Elle vient de l’analyse qu’on en fait. Et c’est là où le bât blesse ! Car lorsque des résultats sortent, ce sont plus souvent les journalistes, les chroniqueurs, les analystes auto-proclamés qui prennent la parole. Avec leur subjectivité proverbiale et leur volonté de prophétie autocréatrice. C’est la méthode Coué. Clinton est en tête, elle va gagner. Litanie servie jusqu’à l’overdose par ceux qui prenaient leur désirs pour des réalités. Qui de par nos contrées préfère en effet Trump à Clinton ? Qui préférait Le Pen à Jospin ?

Les enquêtes d’opinions électorales, lorsqu’elles sont bien faites (échantillon aléatoire, nombre élevé de répondants, correction des biais socioéconomiques et sociodémographiques) donnent dans la plupart des cas des résultats très proches de la réalité des urnes. Mais proches ne signifie pas exacts. Il y a toujours une marge d’erreur. On est encore loin – et c’est plutôt rassurant – d’une prédictibilité absolue des résultats.

Mais c’est sur les messagers qu’il faut aujourd’hui tirer, pas sur le message qu’ils apportent.

06:00 | Lien permanent | Commentaires (19) | |  Facebook | | | |

Commentaires

on y croit pas un seul instant ! observez les bien quand la lune monde on a jamais autant de morts suite à une catastrophe pour voir leur nombre diminuer sitôt la pleine lune terminée
Il en va de même pour les graphiques et statistiques ! tous ces sondages via Internet ne représentent pas la réalité sinon cela se saurait depuis longtemps
Combien de sondages par téléphones auxquels ne répondent que très rarement les citoyens Suisses car s'étant fait trop souvent possédés par des gens malhonnêtes
Les arnaques entre politiciens sont nombreuses et les sondages en font partie

Écrit par : lovejoie | 14/11/2016

Merci de nous apporter cet éclairage.

Écrit par : Mère-Grand | 14/11/2016

Au sein de quel cursus universitaire avez-vous longtemps enseigné la science des sondages?

Merci de votre réponse.

Écrit par : Zaller | 14/11/2016

@ Zaller: pendant six ans (2001-2007), en sciences politiques. Dans le cadre du cours de "Méthodes empiriques en sciences sociales" (Prof E. Horber), dont je donnais l'un des séminaires pratiques.

Bien à vous.
Marko Bandler

Écrit par : Marko Bandler | 14/11/2016

"l’immense Pascal Perrineau" a des opinions vraiment particulières sur les "référendums" (à la française). Dans "C dans l'air" il y a deux/trois semaines, il déclarait que le peuple français n'avait pas la maturité suffisante pour répondre aux questions. Sur le nucléaire, en effet, les Verts ont un boulevard pour manipuler le populo. Mais quand il s'agit de "mariage pour tous", l'avis de tous est respectable et si Hollande avait lancé un référendum sur ce sujet, il est très probable qu'il l'aurait gagné. Au lieu de ça, la démocratie en France est représentée par le nombre de manifestants dans la rue. Et c'est ainsi qu'un million de Français décident pour 65 millions. Curieux que votre "immense" Perrineau ne voie pas ça...

Écrit par : Géo | 14/11/2016

@ Geo: merci pour votre commentaire très intéressant.

Je vais visionner le "C dans l'air" en question, ce que je n'ai pas encore fait, et me réjouis d'avance, tant il est vrai que j'ai une profonde admiration pour le travail de Pascale Perrineau. Ceci étant, je ne lui trouve pas non plus que des qualités et je vous rejoins lorsque ses interventions dans le débat public outrepassent le rôle de scientifique qui devrait être le sien. Non pas qu'il ne doive pas intervenir! Loin de moi cette idée! Mais il n'est jamais aussi fort que lorsqu'il parle de méthodologie, d'évolution du vote ou de composition de l'électorat, notamment à l'extrême-droite. Ses positions normatives n'engagent (malheureusement, dans certains cas) que lui. Mais sa posture scientifique, elle, suscite le respect.

Bien à vous
Marko Bandler

Écrit par : Marko Bandler | 14/11/2016

Merci pour votre réponse. Si vous trouvez ce "C dans l'air" (c'était à propos de réferendums...), donnez-nous la référence. Quelque part, c'était fondamental pour le débat entre Français et Suisses. Je vais très souvent en France...

Mon opinion, qui ne vaut pas grand-chose, merci j'en suis parfaitement conscient, c'est que l'on pourrait souhaiter à nos voisins de retrouver leurs provinces. Plutôt que des régions bidon décidées à la va-vite sur le coin d'une table. (vous imaginez ça, en Suisse ? Le Conseil fédéral nous dit un jour "les gars, on va un peu changer : pour des raisons d'économies, Vaud et Genève seront un seul canton..." La France croit être démocratique parce que le Roi est démocratiquement élu...Sur une émission de LCI, on a appris que le ministre de la Défense a appris au conseil des ministres que l'armée allait passer du régime de conscription à armée professionnelle. Il n'a même pas été consulté. Le ministre en charge...)
Et donner à ces provinces les droits d'un land allemand. les Bretons ne sont pas des Savoyards et les Chtis pas des Provençaux, et tous ont droit à leur identité culturelle. Et faire participer les citoyens, qu'ils aient leur mot à dire ! Perrineau (et tous les autres "experts") pense-t-il vraiment que les Français sont plus stupides que les Suisses ?
A bas les Jacobins !

Écrit par : Géo | 14/11/2016

Monsieur Bandler,

- « les sondages »
- « Les enquêtes d’opinions électorales, lorsqu’elles sont bien faites »

Hmmm. Lorsqu'elles sont ... "bien" ... "faites", ... dites vous ?

- « échantillon aléatoire, nombre élevé de répondants, correction des biais socioéconomiques et sociodémographiques «

Pardonnez moi, mais les candidats dont il est question dans les enquêtes d'opinions électorales, et ce qu'ils disent, ... n'auraient donc alors ... aucune importance, ... aucune influence ... sur les espérances _personnelles_ de ceux qui les écoutent, ... et qui ont le choix, ... ou la simple possibilité (selon les obstacles qu'ils ont à surmonter avant de faire compter leur voix) d'aller voter, ... ou de ne pas aller voter ?

Ou est-ce que tout le monde devrait réagir de la même façon au marketing direct des candidats en compétition ?

Écrit par : Chuck Jones | 14/11/2016

@Chuck Jones: merci pour votre commentaire, qui soulève effectivement un autre problème que je n'ai pas évoqué: l'effet normatif des sondages électoraux sur le vote! En effet, à force de voir les sondages montrer tel ou tel résultat, on peut supposer que cela influence le vote des individus (peur de voter "perdant" ou au contraire "envie de donner son suffrage au perdant annoncé"). Là, bien entendu, il s'agit d'une difficulté supplémentaire dont il faut tenir compte dans l'interprétation.

Mais, au risque de me paraphraser, mon propos est de dire que les sondages ne sont jamais "justes" ou "faux", car cela dépend de l'interprétation qu'on en fait, et des précautions qu'on prend pour cela. Les sondages sont simplement "bons" ou "mauvais" en fonction de la méthode utilisée.

Avec mes étudiants, je prenais toujours l'exemple d'un sondage sur l'abolition de l'armée: si vous le faites à une assemblée générale du GSSA, vous n'obtiendrez probablement pas le même résultat que si vous le faites à l’assemblée annuelle de la société suisse des officiers. La méthode est donc vraiment importante.

Bien à vous
Marko Bandler

Écrit par : Marko Bandler | 14/11/2016

Monsieur Bandler,

- « l'effet normatif des sondages électoraux sur le vote! »

J'aime beaucoup ce mot ... "normatif" !

Quelques gentilles explications pour les GB (gentils blogueurs), et le GJ (gentils journalistes) ?

Et comment s'appelle l'effet qui survient quand, par exemple ... les médias achètent des sondages pas cher pas cher, ou créent eux-mêmes leurs sondages, ou empruntent les sondages des autres, pour dire autre chose que ce que les "créateurs" de sondages disent eux-mêmes, sur la base de leurs sondages ?

Ce que je veux dire, c'est ... quel est l'effet produit, ... quand un journaliste interprète ce qu'un blogueur a écrit, lui-même en interpétant ce qu'un autre blogueur a écrit, qui lui-même l'a lu ou inventé de on ne sait où ?

Ou, quel est l'effet produit, ... quand un journaliste ajoute de lui-même des détails (sa valeur créatrice ajoutée), ou simplifie des détails (sa valeur créatrice ajoutée), à l'interprétation d'un "créateur" de sondages qui a lui-même interrogé les échantillons ?

- « Les sondages sont simplement "bons" ou "mauvais" en fonction de la méthode utilisée. »

Pardonnez moi encore, quand vous parlez de "méthode", vous voulez probablement parler de la façon de choisir vos "échantillons", il me semble ?

Mais, qu'en est il du _but_ d'un sondage ? Ne faut-il pas avoir un but pour donner du sens aux différences que l'on cherche a faire ? Par exemple ... dans le temps ?

Et si dans la "création" d'un sondage il est question d'un but, que se passe-t-il alors quand l'on utilise les résultats d'un sondage, pour montrer autre chose que ce pour quoi ce sondage a été réalisé ?

Écrit par : Chuck Jones | 14/11/2016

@Chuck Jones: merci pour votre très pertinente contribution à ce débat.

Pour vous répondre:

- les sondages ont un effet normatif lorsqu'on pense qu'il font l'opinion, au lieu de la traduire. Il existe en effet des hypothèses sur l'influence des résultats des sondages sur l'opinion des gens. Comme je l'ai expliqué, on peut être tenté de voter avec ou contre l'air du temps, en voyant les résultats des sondages.

- sur les buts et la méthode, il est clair qu'on a droit à tout et, surtout, n'importe quoi! Les sondages d'opinion sans échantillonnage avec questions orientées, telles qu'on les trouve parfois sur les sites des journaux est probablement ce qui se fait de pire! D'un autre côté, il y a des enquêtes très sérieuses faites généralement par des instituts universitaires et qui sont de manière générale assez solides (puisqu'elles elles sont jugées par des pairs sur des critères de méthode et de robustesse des outils utilisés). Si vous souhaitez vous renseigner sur le sujet, je vous invite à visiter les pages suivantes:

http://www.europeansocialsurvey.org/

http://www.worldvaluessurvey.org/wvs.jsp

http://forscenter.ch/fr/service-de-donnees-et-d-information-sur-la-recherche/service-donnees/projets-speciaux-ccs-pow-pisa-tree-vox-voxit/vox-voxit/

http://forscenter.ch/fr/our-surveys/selects/

Bien à vous
Marko Bandler

Écrit par : Marko Bandler | 15/11/2016

Je ne trouve pas d'articles scientifiques écrits par vous-même sur les sondages.

Pourriez-vous s'il vous plaît m'indiquer leur référence.

A défaut, je m'adresserai à l'UNIGE.

Merci beaucoup.

Écrit par : wodak | 15/11/2016

@wodak: drôle de question...

Ceci dit, j'ai quelques publications dans le domaine des méthodes quantitative en sciences sociales, notamment au niveau des INSURA. La magie de Google vous fournira tous les renseignements nécessaires.

Pour un pedigree plus approfondi, contactez-moi (mb@ps-ge.ch)

Bien à vous
Marko Bandler

Écrit par : Marko Bandler | 15/11/2016

J'invite toutes les personnes sollicitées pour répondre à un sondage :
1) à se faire payer
2) à mentir sur leurs choix
3) à draguer la personne qui appelle
Facétieux, n'est-il pas ?

Écrit par : Charles | 18/11/2016

@Charles:

1) Cela existe déjà! Le panel LINK vous offre des bons Cumulus si vous répondez à leurs sondages!

2) Suivant de quel type de sondage il s'agit (genre enquête de télémarketing à but commercial), il ne faut pas se gêner... :)

3) ça dépend de la voix...

Bien à vous

Marko Bandler

Écrit par : Marko Bandler | 18/11/2016

Personnellement, dès que je comprends qu'on en veut à mon temps ou mon argent, je claque le téléphone au nez du gentil casse-pied qui appelle à 12h ou à 19h, et je fais le *00#, j'appelle et j'attends une douce voix qui m'indique que ce n° est bloqué...
J'en suis à une vingtaine...

Écrit par : Géo | 18/11/2016

@Geo:

Effectivement, la plupart du temps, ces demandes téléphoniques, avec leur technique de screening (questions sélectives) éculées sont pénibles...

Ceci dit - pour avoir connu le système de près de l'intérieur - je peux vous garantir que les personnes qui sont à l'autre bout de la ligne font un travail terrifiant et passent leurs journées à se prendre des claques. Soumises à la rentabilité et à la course au client, je ne les envie pas. C'est un job vraiment misérable!

Raison pour laquelle, personnellement, je leur réponds poliment que je ne suis pas intéressé, leur souhaite une excellente soirée, et raccroche doucement. Un peu de douceur dans un "non" poli ne peut que leur donner du baume au cœur.

Bien à vous

Marko bandler

Écrit par : Marko Bandler | 18/11/2016

Je sais bien que vous avez raison mais je ne suis pas sûr de vouloir me brimer pour épargner qui me dérange à chaque coup quand je cuisine. J'aime beaucoup cuisiner...

Écrit par : Géo | 18/11/2016

"Raison pour laquelle, personnellement, je leur réponds poliment que je ne suis pas intéressé, leur souhaite une excellente soirée, et raccroche doucement. Un peu de douceur dans un "non" poli ne peut que leur donner du baume au cœur."
Oui, j'aurais pu ajouter cette invitation en point 4).
Vous avez bien entendu raison, le boulot dans les centrales d'appel et les réceptions téléphoniques (ces dernières de plus en plus remplacées par des répondeurs avec choix multiples... l'horreur) est très pénible. Et j'imagine qu'ils sont très mal payés. Il arrive que ce soit l'appelant qui raccroche en premier. Le cas le plus drôle a consisté en plusieurs appels me demandant en anglais de me connecter à mon ordinateur, car il y avait un problème de sécurité sous Windows, et je faisais celui qui ne comprenait pas et demandait de répéter ou de mieux expliquer, pour finalement leur dire que je n'avais pas d'ordinateur... Le monsieur n'a alors plus été très poli !
3) La voix est toujours charmante, non ? Une fois cela a failli déboucher sur un rendez-vous, mais voilà les meilleures plaisanteries sont les plus courtes.
J'adore aussi les témoins de Jéhovah ou les Mormons, mais eux c'est pas par téléphone.

Merci à Géo pour le *00# !

Écrit par : Charles | 18/11/2016

Les commentaires sont fermés.