Comme à chaque période électorale, de nombreux sondages tentent de prendre le pouls de l’électorat. Les chroniqueurs les commentent, les états-majors des partis s’efforcent de les décrypter pour mieux enligner leur campagne et certains citoyens s’en serviront pour orienter leur vote. Il importe donc de savoir les lire correctement. L’une des notions importantes pour ce faire est l’interprétation de la notion de marge d’erreur.

Quand on lit qu’un sondage a une « marge d’erreur de trois points, 19 fois sur 20 », les formulations utilisées laissent souvent penser que cette même marge s’applique également à tous les résultats du sondage. En réalité, cette marge varie : elle atteint son maximum autour de 50 % et se rétrécit lorsqu’un résultat s’approche de 0 % ou de 100 %. Pour bien le comprendre, il suffit de comparer deux situations.

Dans la première, la population est parfaitement divisée sur l’appui à une mesure gouvernementale, soit 50 % pour et 50 % contre. L’incertitude est alors maximale. Dans un tel contexte, la variabilité est très forte : un changement d’échantillon peut facilement faire osciller le score entre 47 % et 53 %, car un grand nombre de personnes basculent aisément d’un côté ou de l’autre.

Dans la seconde situation, seuls 5 % des répondants déclarent utiliser le vélo comme moyen de transport principal en plein hiver. L’écrasante majorité choisit une autre option et la réponse « vélo » est coincée tout près de zéro. Or, plus une réponse est rare dans la population globale, plus la probabilité de surreprésenter cette réponse dans un échantillon aléatoire s’effrite. Il n’y a donc moins de place pour la déviation, et le résultat de 5 % est relativement stable d’un sondage à l’autre.

Marge d’erreur

Concrètement, pour un sondage classique de 1000 personnes, la fameuse marge d’erreur de trois points ne s’applique donc qu’aux résultats proches de 50 %. Dès qu’un résultat s’éloigne du centre, la marge se réduit : autour de 20 % (ou 80 %), elle descend à 2,5 % ; autour de 12 % (ou 88 %), elle tombe à 2 % ; à 5 % (ou 95 %), elle n’est plus que d’environ 1,4 %. C’est donc dire qu’en contexte électoral, un parti se faisant créditer de 10 % ne se retrouve pas dans une fourchette de 7 à 13 %, mais de 8,1 à 11,9 %.

Et pourquoi sonde-t-on 1000 personnes, généralement ? C’est le seuil que la plupart des firmes considèrent comme le meilleur compromis entre précision et coût. On pourrait en effet se demander pourquoi elles ne sondent pas plutôt 2000, 5000 ou même 10 000 personnes pour obtenir un résultat encore plus précis. La réponse tient à une loi mathématique peu intuitive : la précision n’augmente pas proportionnellement à la taille de l’échantillon. Doubler l’échantillon ne réduit pas la marge d’erreur de moitié — il faut plutôt la quadrupler pour y arriver. Chaque gain de précision additionnel coûte donc de plus en plus cher à obtenir, pour un bénéfice de moins en moins perceptible.

Quant au célèbre critère du « 19 fois sur 20 », il ne mesure pas la valeur du résultat, mais bien la fiabilité de la méthode. En pratique, lorsqu’on sonde un échantillon d’environ 1000 personnes au sein d’une grande population, la taille de l’échantillon permet d’atteindre ce seuil standard de précision.

Si l’on répétait ce même sondage des centaines de fois avec des échantillons de 1000 personnes différentes, les résultats se distribueraient selon une courbe en cloche appelée la courbe normale. Cette courbe possède une propriété mathématique précise : environ 95 % de tous les résultats possibles se regroupent à une distance restreinte du vrai chiffre.

Concrètement, cela signifie que sur 20 sondages répétés, 19 en moyenne donneront un résultat situé dans la marge annoncée. Il subsiste toujours une chance sur 20 — soit 5 % — que le hasard de l’échantillonnage produise un écart plus grand, faisant de la marge d’erreur un filet de sécurité probabiliste plutôt qu’une garantie absolue.

Aléatoire

Il y a toutefois une réserve importante. Tout ce raisonnement repose sur une condition essentielle : que l’échantillon ait été constitué de façon aléatoire, où chaque personne de la population avait une chance connue et calculable d’être sélectionnée. C’est ce qu’on appelle un sondage probabiliste.

Or, une grande partie des sondages publiés aujourd’hui, notamment ceux réalisés au moyen de panels Web où les gens s’inscrivent volontairement pour répondre à des questionnaires, ne respectent pas cette condition. Dans ces cas, on ne peut pas calculer une marge d’erreur au sens statistique strict, parce que la théorie mathématique qui la fonde (la distribution d’échantillonnage, la courbe normale) suppose un tirage aléatoire véritable.

Certaines firmes calculent tout de même un intervalle de crédibilité, qui ressemble à une marge d’erreur mais repose sur des modèles d’ajustement qui viennent augmenter l’incertitude globale des résultats. Dans un contexte où les sondages influencent de plus en plus le débat public, il devient essentiel de rappeler ces nuances. Elles ne sont pas accessoires : elles sont au cœur de ce que signifie réellement un chiffre de sondage.