samedi 17 mars 2012

Deux clichés sur les sondages

C'est la saison des sondages. Je crois utile de déconstruire brièvement deux clichés, un populaire, un autre savant, pour en préciser la portée.

Première idée reçue : celle du cliché, précisément. Les sondeurs expliquent que les sondages "ne sont qu'une photographie de l'opinion à un moment donné" (voir, par exemple, ce "petit guide pour bien lire les sondages", qui relaie cette idée reçue).

Cette idée reçue est utilisée par les professionnels des sondages pour justifier l'insuffisance de leurs enquêtes, dans le seul cas où elles font face à un test empirique : les sondages électoraux. Les résultats de l'élection n'ont pas été ceux qu'ils avaient prédits, mais, nous disent-ils, ils ne se sont pas trompés : c'est l'opinion qui a changé... On peut, bien sûr, se rire d'une telle réponse qui fait des sondages une science irréfutable, au sens de Popper : avec un tel argument, quoi qu'il se passe, aucun test ne peut en réfuter la validité scientifique.

Mais ce n'est pas là l'essentiel : le problème est que cette justification se fonde sur une métaphore profondément fautive, en ce qu'elle interdit de donner aux sondages leur juste valeur (qui n'est pas nulle, loin s'en faut). Dire qu'un sondage est une "photographie" de l'opinion suppose en effet qu'il existe un objet -l'opinion- et que l'on peut le photographier.

Mais le problème est que l'opinion ne possède pas le statut ontologique d'un objet du monde physique, dont la matérialité est saisissable par un objectif photographique. L'opinion n'a jamais une telle ductilité : dans certains cas, les plus rares, elle s'en approche seulement.

Durant une bonne part de la campagne électorale, l'intérêt pour la politique est, dans la population, en moyenne, trop faible pour que les individus se soient formulés clairement une opinion précise sur leurs choix futurs. Les individus ont, pour la plupart, un rapport à la politique qui ressemble à mon rapport au football : un désintérêt complet, à l'exception de la coupe du monde, où, tous les quatre ans, porté par l'effervescence collective, j'en viens à regarder des matchs, à connaître le nom des quelques joueurs emblématiques et même à porter des jugements sur la qualité du jeu et des chances des équipes favorites. Dans quelques moments de folie, il m'arrive même alors de lire L'Équipe. Je subis un processus de "footballisation", à la manière dont une campagne électorale suscite un processus de "politisation".

Faire campagne, c'est précisément susciter et diriger en sa faveur ce lent processus (jamais certain) de politisation : faire en sorte que la population prenne intérêt aux enjeux qu'on lui propose et se mobilise pour son camp. La population se met à parler politique, à regarder les émissions spécialisées, à porter des jugements sur la qualité des candidats, dont elle découvre parfois l'existence (combien de Français, par exemple, connaissaient Eva Joly en avril 2011 ?). Lentement les opinions inexistantes ou flottantes se durcissent dans un choix final. Mais aussi longtemps que ce processus n'est pas achevé, il n'existe pas "d'opinion" que l'on pourrait photographier.

Tant que ce processus est en cours, sonder l’opinion, c'est la constituer. C'est ce que rappelait Bourdieu aux sondeurs, il y a déjà 40 ans : en posant une question que les individus ne se posent pas nécessairement, on les amène à donner une réponse qui n'existait pas jusqu'alors dans leur esprit. Dans ce sens, les sondages font l'opinion. Ils ne la "photographient" pas : ils constituent ce qu'ils disent mesurer, dans l'acte de mesure même.

C'est pleinement le cas au début de la campagne, où le processus de "politisation" n'a pas débuté, et où l'intérêt pour la politique est très faible. Les sondages ne deviennent des photographies que dans la phase ultime de la campagne : celle où le processus de politisation est achevé ou, du moins, ne pourra pas davantage se poursuivre. Avant cela, ils mesurent quelque chose, mais on ne sait jamais exactement quoi. Un quelque chose qui oscille entre le pur artefact et le fait social véritable.

Les sondeurs savent bien cela, mais ne le disent jamais, de peur sans doute de priver leur sondage de leur valeur symbolique (et donc marchande) : depuis longtemps, ils demandent aux sondés de préciser si leur choix sont sûrs ou s'ils pensent pouvoir en changer. Cette question vise, indirectement, à mesurer à quel point de coalescence en est l'opinion. A quel point, autrement dit, leur sondage est un artefact.

Nous sommes en train d'atteindre la dernière phase de la campagne : les opinions flottantes se solidifient lentement. La page 8 de ce sondage CSA donne la mesure de l'inachèvement du processus : entre ceux qui sont sûr et ceux qui pensent pouvoir le faire, les deux principaux candidats peuvent avoir 48% ou 57% des voix au premier tour... (Et même ces chiffres ne veulent pas dire grand chose : même ceux qui excluent de voter pour un candidat peuvent, en fait, changer d'opinion). Les sondages vont, lentement, signifier quelque chose (et François Hollande va, sans doute, découvrir que cela signifie qu'il va "baisser", au fur et à mesure où N. Sarkozy "politise" ses électeurs potentiels).

Deuxième cliché : celui des marges d'erreur et des intervalles de confiance. On lit souvent que, pour un échantillon de 1000 individus (le plus communs pour les sondages électoraux), les sondages ont une certaine marge d'erreur (3,1% est le plus souvent retenu) avec un intervalle de confiance de 95%. C'est en fait l'application du théorème central limite. Voir par exemple la présentation qu'en fait cet institut de sondage. C'est une manière, tout à la fois, de techniciser (et donc mettre à l'écart ceux qui n'ont pas les compétences techniques) et de justifier les erreurs prédictives.

Le problème est que ce vocabulaire, et son arrière fond technique, n'ont presque aucun sens en France, où tous les sondages sont réalisés selon la méthode dite des quotas : pour le dire de manière pédante, les sondages en France ne sont pas construit par un échantillonnage probabiliste, le seul auquel on peut appliquer la loi normale, mais par un échantillonnage non probabiliste (établi en fonction des "quotas"). Pour le dire plus simplement : les sondages ne sont pas faits en tirant au hasard les individus. Or, les lois de probabilité ne s'appliquent que si l'on tire au hasard des individus. Ici, les individus sont sélectionnés à partir d'un modèle de la population, construit en fonction de ce que l'on considère être les variables prédictives de son comportement (taille de la ville, sexe, âge, CSP, etc.) Il n'y a donc pas de hasard dans cette sélection.

On ne peut donc pas, rigoureusement, prévoir une marge d'erreur. Dans tous les cas, le sondage ne vaudra jamais que ce que vaut le modèle théorique qui le fonde -et cette valeur, il est impossible de l'estimer à partir d'un modèle probabiliste. (Pour des développements techniques, y compris les conditions dans lesquelles on peut estimer la valeur des variables dans un sondage par quota, il faut lire ceci). Et il est tout à fait possible qu'elle soit nulle. On peut supposer que des décennies d'expérience ont conduit les sondeurs à affiner leur modèle des variables prédictives des comportements des Français : mais c'est une supposition totalement non quantifiable.

Nous ne savons donc pas vraiment ce que mesurent les sondages. Et nous ne savons pas davantage avec quelle marge d'erreur. Mais cela ne m'empêche pas, durant cette campagne présidentielle, de me jeter avidement dessus. Ce qui n'est pas plus déraisonnable, quand on y pense bien, que de lire L'Équipe.

15 commentaires:

  1. Merci pour cet article éclairant. Est-ce que L'Équipe publie des sondages ? Ou seulement les tirages de Paul le Poulpe...

    RépondreSupprimer
  2. Joli billet. J'avais décrit la même chose au sujet des quotas quand les sondages avaient donné Marine Le Pen en tête.

    RépondreSupprimer
  3. Hop : rétrolien manuel. Je diffuse le lien via Twitter mais je ne pense pas que tu y sois ; si je me trompe, préviens @phnk !

    RépondreSupprimer
  4. "Ici, les individus sont sélectionnés à partir d'un modèle de la population, construit en fonction de ce que l'on considère être les variables prédictives de son comportement (taille de la ville, sexe, âge, CSP, etc.)"
    Sélectionnés au hasard parmi les individus vérifiant ces critères. Je suis d'accord que ça complexifie énormément le modèle et que ça invalide le choix de la loi normale, mais pas que ça invalide la démarche utilisée.

    En revanche, on peut noter que les sondages ne sont jamais réalisés que parmi les individus acceptant de répondre aux sondages, et que les sondeurs admettent généralement implicitement que cette qualité est indépendante de la mesure sondée.

    RépondreSupprimer
  5. Tout à fait d'accord : cela n'invalide pas la démarche utilisée. Ce n'est pas mon propos. Ce que je veux seulement dire c'est qu'on ne peut pas connaître la marge d'erreur.

    RépondreSupprimer
  6. Je suis simplement légèrement gêné par l'emploi du terme «ductilité», ici, dont je ne suis pas certain de saisir l'intention.

    RépondreSupprimer
  7. Pierre Bourdieu, 1972 :
    « Le sondage d'opinion est, dans l'état actuel, un instrument d'action politique ; sa fonction la plus importante consiste peut-être à imposer l'illusion qu'il existe une opinion publique comme sommation purement additive d'opinions individuelles ; à imposer l'idée qu'il existe quelque chose qui serait comme la moyenne des opinions ou l'opinion moyenne.
    […]
    Si vous avez à l'esprit qu'une consultation électorale pose en une seule question syncrétique ce qu'on ne pourrait raisonnablement saisir qu'en deux cents questions, que les uns mesurent en centimètres, les autres en kilomètres, que la stratégie des candidats consiste à mal poser les questions et à jouer au maximum sur la dissimulation des clivages pour gagner les voix qui flottent, et tant d'autres effets, vous concluerez qu'il faut peut-être poser à l'envers la question traditionnelle de la relation entre le vote et la classe sociale et se demander comment il se fait que l'on constate malgré tout une relation, même faible ; et s'interroger sur la fonction du système électoral, instrument qui, par sa logique même, tend à atténuer les conflits et les clivages. Ce qui est certain, c'est qu'en étudiant le fonctionnement du sondage d'opinion, on peut se faire une idée de la manière dont fonctionne ce type particulier d'enquête d'opinion qu'est la consultation électorale et de l'effet qu'elle produit. »

    À lire ici.

    RépondreSupprimer
  8. Bonjour, "Il n'y a donc pas de hasard dans cette sélection" (donc on ne peut pas calculer les marges d'erreur) -> c'est une assertion très répandue, aussi bien dans le monde universitaire que, de façon plus étonnante, de la part de sondeurs, sans doute parce que cela ajoute une couche d'opacité.

    Il est pourtant évident qu'*il y a du hasard* : tous quotas pris en compte, l'enquêteur avant d'appeler ne sait pas s'il tombera sur un partisan d'Untel ou Unetelle, un indécis, etc. ; ceci parce que l'automate qui tire au sort les numéros dans les pages blanches… les tire au sort.

    Je me permets de renvoyer à ce billet sur le sujet (où vous trouverez peut-être une situation pire que celle que vous décrivez !) http://demsf.free.fr/C1749692591/E20070313163305/index.html

    Déclameur : je suis directeur scientifique d'un institut de sondages, qui ne fait pas de sondages politiques.

    RépondreSupprimer
  9. Oups, précision : la proposition "de façon plus étonnante, de la part de sondeurs" portait sur "on ne peut pas calculer les marges d'erreur". Exemple Ipsos : http://www.ipsos.fr/faq#n55550

    Qui au passage écrit une autre horreur "il est possible de remplacer un sondé par un autre qui a les mêmes caractéristiques socio-démographiques. Cela permet de réaliser un sondage dans des délais plus courts." comme si un "répondant trouvé facilement au premier appel" avait a priori une opinion identique à celui d'une personne difficile à joindre au téléphone, simplement parce qu'ils auraient le même âge et la même profession…

    Que fait la Commission des sondages ? (je suppose que le contrôle des sites web ne fait pas partie de son mandat…).

    RépondreSupprimer
  10. @ FrédéricLN: je ne travaille pas chez Ipsos mais c'est vous qui écrivez une "horreur" sur les marges d'erreur. Il y a évidement du "hasard" dans la méthode des quotas mais ce n'est pas suffisant pour calculer une marge d'erreur: il faut que le hasard soit contrôlé par le sondeur (qu'il connaisse la loi de probabilité que chacun des échantillons soit effectivement l'échantillon des répondants).

    Cela nécessite d'avoir la liste des l'ensemble des votants (si possible avec ses caractéristiques démographiques pour faire du redressement), ce qui n'est pas le cas des instituts de sondage (que ce soit Ipsos ou le vôtre).

    On ne peut cependant pas jeter la pierre aux instituts de sondage qui utilisent la méthode des quotas: il s'agit sans doute de la meilleure méthode qu'ils peuvent mettre en oeuvre avec les données dont ils disposent.

    RépondreSupprimer
  11. @ Aluc : je pratique constamment les quotas et ne leur jetterai certainement pas la pierre ! Je critique en revanche le gros mensonge qui consiste à prétendre qu'avec quotas, 1) on ne peut plus calculer de marge d'erreur si ce n'est dire qu'elle serait meilleure qu'avec l'aléa, 2) on peut se dispenser de rappeler les personnes difficiles à joindre, et les remplacer par toute autre personne de même profil.

    Le fait que le hasard soit imparfait (dans toutes les méthodes de sondage, d'ailleurs) ne supprime pas le hasard, et n'empêche pas de le modéliser mathématiquement. Vous avez simplement pour chaque individu de la population une "probabilité d'inclusion" (chances d'être dans l'échantillon) qui est inégale au lieu d'être égale pour tous. C'est la base de la théorie des sondages (vous semblez la connaître).

    A partir du moment où cette probabilité d'inclusion est corrélée au résultat cherché (par exemple, les partisans de certains candidats sont plus faciles à joindre ou mieux représentés sur les fichiers qui servent de base de sondage, que ceux d'autres candidats), votre sondage est biaisé.

    La qualité du travail de sondage se traduit par deux objectifs :
    1) minimiser ces biais,
    2) modéliser / comprendre ceux qui restent de manière à les corriger dans les résultats.

    Certaines professions, tranches d'âge, etc. répondent mieux que d'autre ; or le vote peut être corrélé à la profession ou tranche d'âge (encore qu'il le soit de moins en moins). Le *seul* intérêt des quotas par profession ou tranche d'âge, c'est de supprimer cette source de biais en imposant au *tirage au sort* des répondants de respecter les bonnes proportions de jeunes, d'ouvriers, etc.

    Concrètement, la corrélation entre vote et quotas est si faible que la marge d'erreur qui proviendrait d'un "sondage aléatoire simple" (parfait et sans quotas) représente bien la partie aléatoire de l'erreur de sondage (donc 3,1 points sur 1000 répondants, pour un 2ème tout de présidentielle… mais 4 points sur 600 répondants, ce qu'on a habituellement sur des intentions de vote).

    Cependant les probabilités d'inclusion restent inégales, pour d'autres raisons non "interceptées" par les quotas. Cela produit un biais potentiel B sur les résultats, qui vient *s'ajouter* à l'aléa que produiraient des probabilités d'inclusion toutes égales (de façon quadratique : E2 = A2+B2, mes excuses aux lecteurs pour la formule). En pratique si B<0,5*A, l'erreur totale est à peu près égale à A. Si B est proche de A voire supérieur, il ne peut être négligé. Dans tous les cas, E ne peut être inférieure à A.

    En conclusion : l'erreur de sondage dans des intentions de vote mesurées sur 1000 personnes dont 600 répondants est au strict minimum celle calculée par la formule "aléatoire", donc 4 points pour un 2ème tour de présidentielle ; et elle peut être bien plus élevée si l'institut ne rappelle pas suffisamment les non-répondants, utilise des sources très particulières comme un "access panel", etc.

    RépondreSupprimer
  12. Très bon article.
    Je me suis toujours demandé d'où venait les marges d'erreurs dans des sondages fait par quota. Ce billet et les commentaires sont assez éclairants.
    Si je compred bien, la méthode des quotas est

    RépondreSupprimer
  13. Bonjour,
    merci pour cette intéressante analyse.
    ça me fait penser à la mécanique quantique : la valeur n’existe que si on la mesure.
    Et au principe d'incertitude : la mesure perturbe la valeur.

    Sur la méthode des quotas, peut-on prouver que les quotas choisis (taille de la ville, sexe, âge, CSP, etc.) sont plus efficaces pour le résultat du sondage que des quotas type couleur de cheveux, avec ou sans lunettes,... ? ou peut-on seulement l'observer ?

    Benoît

    RépondreSupprimer
  14. Pour ce qui est du deuxième cliché: il me semble que vous êtes victime d'une entourloupe que par ailleurs vous démontez avec brio lorsque pratiquée par des économistes -- celle qui consiste à prétendre qu'une certaine assertion ne découle pas d'un modèle spécifique mais directement du noyau indéboulonnable de la discipline.

    Dans tous les cas, le sondage ne vaudra jamais que ce que vaut le modèle théorique qui le fonde, *et* on peut, rigoureusement, prévoir une marge d'erreur, une estimation, un intervalle de confiance, etc., tout ça bayésien bien sûr.

    Ici, "tous les cas" inclut en particulier le pas-de-quota-donc-pas-de-modèle!

    RépondreSupprimer
  15. Bonjour,

    doctorante en science politique à l'Université Montpellier I (laboratoire CEPEL CNRS), je réalise une thèse sur la blogosphère.
    En acceptant de répondre à ce questionnaire (temps estimé : 15 min), vous apportez une aide précieuse à mes recherches.
    Vos réponses seront traitées de façon confidentielle.

    En vous remerciant,

    Voici le lien vers le questionnaire :

    https://docs.google.com/spreadsheet/viewform?formkey=dHZZSVdhWGxzZjZMbmluTXVWVkFGV0E6MQ#gid=0

    Cordialement,

    RépondreSupprimer