Vores seneste sammenfatning af nøjagtigheden af meningsmålinger i amerikanske valg bekræftede noget, vi har sagt i et stykke tid: Meningsmålingerne er i orden. Især har meningsmålinger ved almindelige præsidentvalg historisk set været ret præcise.
Målinger foretaget i de sidste 21 dage før de sidste fem almindelige præsidentvalg havde en vægtet gennemsnitsfejl på 4,0 point.1 (Vi definerer fejl som den absolutte forskel mellem en meningsmålingens margen mellem de to bedste kandidater og den faktiske stemmeandelsmargen. Hvis en meningsmåling f.eks. gav den republikanske kandidat et forspring på 3 procentpoint, men demokraten vandt valget med 2 procentpoint, havde denne meningsmåling en fejl på 5 procentpoint). Og selv i 2016, hvor mange bebrejdede meningsmålingerne, at de ikke kunne forudsige præsident Trumps sejr, klarede meningsmålingerne inden for 21 dage før valget sig anstændigt godt med en vægtet gennemsnitsfejl på 4,9 point.
Men i USA er det valgkollegiet, der udpeger vinderen af præsidentvalget, hvilket betyder, at det er meningsmålingerne på statsniveau, der virkelig betyder noget. Og statslige meningsmålinger havde et dårligt år i 2016 (selv om de stadig lå ret tæt på det langsigtede gennemsnit). De havde en vægtet gennemsnitsfejl på 5,3 point, sammenlignet med 3,2 for de nationale meningsmålinger. Desuden overvurderede denne fejl systematisk Demokraterne: Statslige meningsmålinger havde en vægtet gennemsnitlig statistisk bias (en metrik, der fortæller os, i hvilken retning fejlen gik) på 3,5 point i retning af Hillary Clinton.
Det er dog ikke usædvanligt, at statslige meningsmålinger er mindre præcise end de nationale (selv om de afveg meget i 2016). Siden 2000 har statslige meningsmålinger haft en vægtet gennemsnitlig fejl på 4,3 point, mens nationale meningsmålinger har en vægtet gennemsnitlig fejl på 2,9 point. Nogle stater har dog mere præcise meningsmålinger end andre. Takket være vores datasæt til vurdering af meningsmålinger kan vi kvantificere, hvilke staters meningsmålinger til præsidentvalgets almindelige valg er de mest og mindst præcise, hvilket kan hjælpe os til bedre at forstå de statslige meningsmålinger, vi får senere i år.
Nedenfor er en tabel over den vægtede gennemsnitlige fejl og statistiske bias for hver stats meningsmålinger i de sidste fem almindelige præsidentvalg for stater, der havde mindst 15 meningsmålinger, der blev gennemført i løbet af de sidste 21 dage af valgkampen. Dette eliminerer stater, hvor stikprøvestørrelsen af meningsmålinger er for lille til at drage meningsfulde konklusioner, og indsnævrer listen til hvert valgs vigtigste kampstater (som alligevel har tendens til at få flest meningsmålinger).
Det første, der måske springer dig i øjnene, er problemområderne i valget i 2016 – mange staters meningsmålinger havde f.eks. en statistisk skævhed i retning af Demokraterne. I Michigan havde meningsmålingerne en vægtet gennemsnitlig statistisk skævhed på 4,4 point til fordel for Demokraterne, og i Pennsylvania havde meningsmålingerne en vægtet gennemsnitlig statistisk skævhed på 4,6 point til fordel for Demokraterne. North Carolina og Ohio får mindre opmærksomhed, men var endnu mere upræcise.
Men hvis man ser bort fra 2016, er den mest konsekvente historie, som tabellen fortæller, hvor gode meningsmålinger i swing-state-state typisk er. Deres vægtede gennemsnitlige fejl er normalt ikke så høj – selv i de stater, der snublede os i 2016. I 2008 havde meningsmålingerne i North Carolina for eksempel en vægtet gennemsnitsfejl på kun 2,4 point. Og mens meningsmålingerne i Ohio ikke ramte plet i 2016, var de helt rigtige i 2012 (1,8 point). Den vægtede gennemsnitlige fejl i meningsmålinger i Florida har været under 4,0 i fire ud af de fem valg. Meningsmålingerne i Pennsylvania udviste meget lave vægtede gennemsnitsfejl på 2,0 (i 2004) og 2,4 (i 2008) før deres dårlige år i 2016. Og meningsmålingerne i andre sandsynlige 2020-svingstater, såsom Arizona (2,4 i 2016) og Wisconsin (2,9 i 2012), har også tidligere udvist meget lave vægtede gennemsnitsfejl.
Ingen af disse stater synes heller ikke at være systematisk vanskelige at lave meningsmålinger. Ligesom meningsmålinger generelt ikke bliver mere eller mindre præcise over tid, hopper fejlene og den statistiske skævhed i meningsmålingerne i de enkelte stater uforudsigeligt rundt fra år til år. Selv om der er visse grunde til at være bekymret over, at nogle fejl i meningsmålingerne på statsniveau i 2016, herunder manglende vægtning efter uddannelse, ikke er blevet rettet, synes nøjagtigheden af en stats meningsmålinger et valg ikke at have nogen betydning for deres nøjagtighed det næste.
Så mens vi går ind i det store valgkamp i 2020, kan vi være sikre på, at meningsmålinger i svingstater er omtrent så troværdige, som meningsmålinger kan blive – selv om meningsmålinger selvfølgelig ikke er perfekte. Selv en fejl på 3 point kan være forskellen i et tæt valg.
For at undgå at give produktive meningsmålingsinstitutter for stor indflydelse, vægter vi vores gennemsnit med antallet af meningsmålinger, som hvert meningsmålingsinstitut har foretaget. Konkret er vægtene baseret på kvadratroden af antallet af meningsmålinger, som et firma har foretaget. F.eks. vil et meningsmålingsinstitut, der har foretaget 16 meningsmålinger om en given type valg i en given valgperiode, blive vægtet fire gange så tungt som et meningsmålingsinstitut, der kun har foretaget én meningsmåling. Meningsmålingskontorer, der er forbudt af FiveThirtyEight, fordi vi ved eller har mistanke om, at de har forfalsket data, er udelukket fra alle beregninger i denne artikel. Grænsen for, om en meningsmåling er medtaget, er, om den havde en mediandato på 21 dage før valget.
Det bedste fra FiveThirtyEight, leveret til dig.
Skriv et svar