Jacques Baudron  –  Secrétaire Forum ATENA  –  avril 2022

Les sondages sont-ils à même d’évaluer la proportion d’électeurs qui s’abstiendront ? On peut en douter car la population qui s’exprime dans les sondages est constituée de volontaires a priori motivés par la politique. 

De l’aléa et des quotas

En 1936, lors des élections présidentielles des États-Unis, l’échec de pronostics construits sur 24 millions de réponses à partir des abonnés au téléphone et des membres de clubs automobiles a éclaté face à la méthode de Georges Gallup : se concentrer sur un échantillon représentatif de la population de 50.000 électeurs. Les électeurs possédant téléphone et voiture en 1936 appartiennent à une seule et même classe sociale et ce n’est pas en augmentant la taille que l’on gommera le biais.  

Des aléas …

L’idéal est de piocher au hasard dans la population. Le hasard peut proposer à n’importe qui d’être intégré à l’échantillon. Les réponses récoltées sont alors représentatives de ce qu’on obtiendrait lors d’un scrutin sur l’ensemble de la population. 

Les calculs théoriques nous permettent de calculer l’intervalle de confiance dans lequel on aura une probabilité donnée de trouver la vraie valeur. C’est la marge d’erreur du sondage présentée dans le tableau ci-dessous.  

Tous les sondages sont tenus d’être accompagnés de ce type de tableau dans des notices recueillies sur le site de la commission des sondages. Rappelons la condition préalable : un échantillonnage totalement aléatoire. 

Des résultats accompagnés d’un calcul d’erreurs précis peuvent être espérés. Mais ils nécessitent de posséder une liste exhaustive de la population concernée, de parvenir à joindre chaque individu choisi par le hasard et d’en obtenir une réponse. Les coûts et délais ainsi induits marginalisent l’usage de la méthode. 

... des quotas …

Des résultats probants sont obtenus en travaillant non pas sur une population échantillonnée au hasard mais sur une image de cette population dressée à partir de quelques caractéristiques :  sexe, âge, catégorie socioprofessionnelle, localisation, habitat … Empiriquement on constate que le pronostic est proche de la réalité. C’est la méthode des quotas. 

Il nous faut donc un quota d’hommes et de femmes, un quota par tranche d’âge, un certain nombre de chômeurs de cadres … Dans un premier temps les répondants étaient choisis au hasard au sein de ces strates. Toujours est-il que le constat empirique de l’efficacité de la méthode semble suffisant pour postuler la validité des calculs d’erreurs pourtant établis sur la base de l’aléa. 

… et des quotas pas contents

Quelle que soit la méthode, un problème est récurrent : contacter les personnes sélectionnées et obtenir des réponses. Les sollicitations par téléphone sont de plus en plus mal perçues, les enquêtes en face à face lourdes à réaliser, les envois postaux trop lents. 

Heureusement le développement d’internet gomme tous ces désagréments. L’envoi est immédiat, peu onéreux et le traitement est intégré. Tout comme les envois postaux, ce sont des questionnaires auto-administrés, c’est à dire que le sondé remplit lui-même le questionnaire. 

Combiné avec la méthode des quotas, l’outil délivre en un temps record et à faible coût ses résultats. Les instituts de sondage constituent ainsi des « panels » de personnes à solliciter. 

… sauf qu’il y a un effet de bord. Ce sont les volontaires au sondage qui définissent leurs âge, sexe ou catégorie socio-professionnelles. Des tests de vraisemblance ont été mis en place mais peuvent difficilement garantir l’absence de fausses déclarations. D’autant plus que dans leur  volonté d’enrichir leurs panels, les instituts de sondage rémunèrent les sondés. Enfin, pas tout à fait car il est interdit de rétribuer les sondés. Mais pas de distribuer des cadeaux et des avantages ou de faire participer à des loteries.

L’activité a ses émules, la gestion de plusieurs profils différents pouvant améliorer les rendements.   

Dans ces conditions, le calcul des marges d’erreur devient délicat, voire impossible. Ce qui n’empêche pas les notices des sondages d’afficher imperturbablement le tableau propre aux valeurs aléatoires. 

Le paradoxe de la mesure de l’abstention 

Les volontaires sondés sont bien souvent à la fois très à l’aise avec les outils Internet et, pour les sondages électoraux, impliqués politiquement. Il y a alors dans le fait de poser la question « vous déplacerez-vous pour voter ? » une certaine forme d’humour qui se reflète dans le niveau de fiabilité des réponses !

Le redressement

Au vu de ces conditions, on ne peut qu’admirer les résultats obtenus. Les valeurs brutes sont remaniées sur la base de recettes bien gardées au secret permettant de compenser des strates où les quotas ne sont pas atteints par exemple. L’expérience des scrutins passés est structurante et nous rejoignons les concepts déjà identifiés avec le Big Data ou l’Intelligence Artificielle : tout va bien tant qu’on reste dans la continuité du déjà vécu, tout se gâte quand il y a des changements.