Hur exakta är de statliga opinionsundersökningarna? Och vad kan det betyda för november?

Vår senaste sammanfattning av noggrannheten hos opinionsundersökningar i amerikanska val bekräftar något som vi har sagt ett tag: Opinionsundersökningarna är okej. I synnerhet opinionsundersökningar i allmänna presidentval har historiskt sett varit ganska exakta.

Omräkningar som genomfördes under de sista 21 dagarna före de fem senaste allmänna presidentvalen hade ett vägt genomsnittligt fel på 4,0 procentenheter.1 (Vi definierar felet som den absoluta skillnaden mellan en opinionsundersöknings marginal mellan de två främsta kandidaterna och den faktiska röstandelsmarginalen. Om en opinionsundersökning till exempel ger den republikanska kandidaten ett försprång på 3 procentenheter, men demokraten vann valet med 2 procentenheter, hade den undersökningen ett fel på 5 procentenheter). Och även 2016, när många skyllde på opinionsundersökningarna för att de inte förutspådde president Trumps seger, presterade opinionsundersökningarna inom 21 dagar före valet hyggligt bra, med ett vägt genomsnittligt fel på 4,9 procentenheter.

Men i USA är det elektorskollegiet som utser vinnaren av presidentvalen, vilket innebär att det är opinionsundersökningarna i delstaterna som verkligen spelar roll. Och delstatsundersökningarna hade ett dåligt år 2016 (även om de fortfarande ligger ganska nära det långsiktiga genomsnittet). De hade ett vägt genomsnittligt fel på 5,3 procentenheter, jämfört med 3,2 för de nationella opinionsundersökningarna. Dessutom överskattade detta fel systematiskt demokraterna: De statliga opinionsundersökningarna hade en vägd genomsnittlig statistisk bias (ett mått som talar om i vilken riktning felet gick) på 3,5 procentenheter till förmån för Hillary Clinton.

Det är dock inte ovanligt att de statliga opinionsundersökningarna är mindre korrekta än de nationella (även om de skiljde sig åt en hel del under 2016). Sedan 2000 har statliga opinionsundersökningar ett vägt genomsnittligt fel på 4,3 procentenheter, medan nationella opinionsundersökningar har ett vägt genomsnittligt fel på 2,9 procentenheter. Vissa delstater har dock noggrannare opinionsundersökningar än andra. Tack vare vår datauppsättning för betygsättning av opinionsinstitut kan vi kvantifiera vilka delstaters opinionsundersökningar för presidentvalet i allmänna val som är mest och minst exakta, vilket kan hjälpa oss att bättre förstå de delstatsundersökningar som vi kommer att få senare i år.

Nedan följer en tabell med det vägda genomsnittliga felet och den statistiska snedvridningen för varje delstats opinionsundersökningar i de senaste fem presidentvalen i allmänna val för de delstater där minst 15 opinionsundersökningar genomfördes under de sista 21 dagarna av kampanjen. Detta eliminerar stater där urvalet av opinionsundersökningar är för litet för att man ska kunna dra meningsfulla slutsatser och begränsar listan till varje vals huvudstridsområde (som tenderar att få opinionsundersökningar oftast ändå).

Det första som kanske hoppar upp för dig är oroshärdarna i valet 2016 – många statliga opinionsundersökningar hade en statistisk bias mot demokraterna, till exempel. I Michigan hade opinionsundersökningarna en vägd genomsnittlig statistisk bias på 4,4 procentenheter mot demokraterna, och i Pennsylvania hade opinionsundersökningarna en vägd genomsnittlig statistisk bias på 4,6 procentenheter mot demokraterna. North Carolina och Ohio får mindre uppmärksamhet men var ännu mer felaktiga.

Men om man bortser från 2016 är den mest konsekventa historien som tabellen berättar om hur bra opinionsmätningar i swing-state vanligtvis är. Deras viktade genomsnittliga fel är vanligtvis inte så högt – även i de stater som snubblade på oss 2016. År 2008, till exempel, hade opinionsundersökningarna i North Carolina ett vägt genomsnittligt fel på bara 2,4 procentenheter. Och medan Ohio-mätningarna missade målet 2016 låg de helt rätt 2012 (1,8 procentenheter). Det vägda genomsnittliga felet i Floridas opinionsundersökningar har varit under 4,0 i fyra av de fem valen. Pennsylvanias opinionsundersökningar uppvisade mycket låga viktade genomsnittliga fel på 2,0 (2004) och 2,4 (2008) innan de hade ett dåligt år 2016. Och opinionsundersökningarna i andra troliga svängningsstater för 2020, som Arizona (2,4 2016) och Wisconsin (2,9 2012), har också tidigare uppvisat mycket låga viktade genomsnittliga fel.

Ingen av dessa stater tycks heller vara systematiskt svåra att genomföra opinionsundersökningar. Precis som opinionsundersökningar i allmänhet inte blir mer eller mindre exakta med tiden, studsar felet och den statistiska bias som finns i opinionsundersökningarna i delstaterna runt oförutsägbart från år till år. Även om det finns vissa skäl att vara orolig för att vissa brister i opinionsundersökningarna på delstatsnivå 2016, inklusive bristande viktning efter utbildning, inte har åtgärdats, verkar noggrannheten i en delstats opinionsundersökningar ett val inte ha någon betydelse för deras noggrannhet nästa val.

Så när vi nu går in i det täta allmänna valet 2020 kan vi känna oss trygga i vetskapen om att opinionsundersökningarna i svängande delstater är ungefär så trovärdiga som opinionsundersökningar kan bli – även om opinionsundersökningar förstås inte är perfekta. Även ett fel på 3 poäng kan vara skillnaden i ett nära val.

.