Onze laatste analyse van de nauwkeurigheid van opiniepeilingen bij Amerikaanse verkiezingen heeft iets bevestigd wat we al een tijdje zeggen: De opiniepeilingen zijn in orde. Met name de opiniepeilingen voor de algemene presidentsverkiezingen zijn historisch gezien vrij nauwkeurig.
Polls uitgevoerd in de laatste 21 dagen voor de laatste vijf algemene presidentsverkiezingen hadden een gewogen gemiddelde fout van 4,0 punten.1 (Wij definiëren fout als het absolute verschil tussen de marge tussen de top twee kandidaten in een peiling en de werkelijke marge tussen de stemmen. Als een peiling de Republikeinse kandidaat bijvoorbeeld een voorsprong van 3 procentpunten geeft, maar de Democraat de verkiezingen met 2 punten wint, heeft die peiling een fout van 5 punten). En zelfs in 2016, toen veel mensen de peilingen verweten dat ze de overwinning van president Trump niet hadden voorspeld, presteerden de peilingen binnen 21 dagen na de verkiezingen redelijk goed, met een gewogen gemiddelde fout van 4,9 punten.
Maar in de Verenigde Staten kiest het kiescollege de winnaar van de presidentsverkiezingen, wat betekent dat de staatspolls er echt toe doen. En de staatspolls hadden een slecht jaar in 2016 (hoewel nog steeds vrij dicht bij het langetermijngemiddelde). Ze hadden een gewogen gemiddelde fout van 5,3 punten, vergeleken met 3,2 voor nationale peilingen. Plus, die fout overschatte de Democraten systematisch: Staatspolls hadden een gewogen gemiddelde statistische bias (een metriek die ons vertelt in welke richting de fout liep) van 3,5 punten in de richting van Hillary Clinton.
Het is echter niet ongebruikelijk dat staatspolls minder nauwkeurig zijn dan nationale (hoewel ze in 2016 wel veel uiteenliepen). Sinds 2000 hebben staatspolls een gewogen gemiddelde fout van 4,3 punten, terwijl nationale polls een gewogen gemiddelde fout van 2,9 punten hebben. Sommige staten hebben echter nauwkeurigere peilingen dan andere. Dankzij onze dataset met pollsterclassificaties kunnen we kwantificeren welke peilingen van staten voor de algemene presidentsverkiezingen het meest en het minst nauwkeurig zijn, wat ons kan helpen de deelstaatpeilingen die we later dit jaar zullen krijgen beter te begrijpen.
Hieronder staat een tabel met de gewogen gemiddelde fout en statistische vertekening van de peilingen van elke staat in de laatste vijf presidentiële algemene verkiezingen voor staten die ten minste 15 peilingen hadden die tijdens de laatste 21 dagen van de campagne werden uitgevoerd. Dit elimineert staten waar de steekproefgrootte van peilingen te klein is om zinvolle conclusies te trekken en beperkt de lijst tot de belangrijkste slagveldstaten van elke verkiezing (die de neiging hebben om toch het vaakst te worden gepeild).
Het eerste dat er voor u uit zou kunnen springen, zijn de probleemgebieden in de verkiezingen van 2016 – veel statenpeilingen hadden een statistische bias in de richting van de Democraten, bijvoorbeeld. In Michigan hadden de peilingen een gewogen gemiddelde statistische vertekening van 4,4 punten in de richting van de Democraten, en in Pennsylvania hadden de peilingen een gewogen gemiddelde statistische vertekening van 4,6 punten in de richting van de Democraten. North Carolina en Ohio krijgen minder aandacht, maar waren nog onnauwkeuriger.
Maar afgezien van 2016, het meest consistente verhaal dat de tabel vertelt is hoe goed peilingen in swing-states doorgaans zijn. Hun gewogen gemiddelde fout is meestal niet zo hoog – zelfs in de staten die ons in 2016 in de val lieten lopen. In 2008, bijvoorbeeld, hadden de peilingen van North Carolina een gewogen gemiddelde fout van slechts 2,4 punten. En terwijl de peilingen van Ohio in 2016 het doel niet bereikten, zaten ze er in 2012 precies op (1,8 punten). De gewogen gemiddelde fout van de peilingen in Florida is in vier van de vijf verkiezingen onder de 4,0 geweest. De peilingen van Pennsylvania vertoonden zeer lage gewogen gemiddelde fouten van 2,0 (in 2004) en 2,4 (in 2008) vóór hun slechte jaar in 2016. En de peilingen van andere waarschijnlijke swing-staten voor 2020, zoals Arizona (2,4 in 2016) en Wisconsin (2,9 in 2012), hebben zich in het verleden ook kunnen beroemen op zeer lage gewogen gemiddelde fouten.
Niemand van deze staten lijkt ook systematisch moeilijk te zijn om te peilen. Net zoals opiniepeilingen in het algemeen niet meer of minder nauwkeurig worden in de loop van de tijd, stuiteren de fouten en statistische vertekeningen in de peilingen van staten onvoorspelbaar rond van jaar tot jaar. Hoewel er enkele redenen zijn om bezorgd te zijn dat sommige gebreken in de peilingen van 2016 op staatsniveau, waaronder een gebrek aan weging naar opleiding, niet zijn verholpen, lijkt de nauwkeurigheid van de peilingen van een staat de ene verkiezing geen invloed te hebben op hun nauwkeurigheid de volgende.
Dus terwijl we het heetst van de algemene verkiezingen van 2020 ingaan, kunnen we veilig zijn in de wetenschap dat peilingen van swing states ongeveer zo betrouwbaar zijn als peilingen kunnen krijgen – hoewel peilingen natuurlijk niet perfect zijn. Zelfs een fout van drie punten kan het verschil uitmaken in een nipte verkiezing.
Om te voorkomen dat overvloedige opiniepeilers te veel invloed krijgen, wegen we ons gemiddelde met het aantal opiniepeilingen dat elke opiniepeiler heeft uitgevoerd. De weging is gebaseerd op de vierkantswortel van het aantal opiniepeilingen dat een bureau heeft uitgevoerd. Bijvoorbeeld, een opiniepeiler die 16 opiniepeilingen heeft uitgevoerd voor een bepaald type verkiezing in een bepaalde cyclus zou vier keer zo zwaar worden gewogen als een opiniepeiler die slechts één opiniepeiling heeft uitgevoerd. Peilingen die door FiveThirtyEight zijn verboden omdat we weten of vermoeden dat ze gegevens hebben vervalst, zijn uitgesloten van alle berekeningen in dit artikel. De cutoff voor het opnemen van een peiling is of deze een mediaan datum had van 21 dagen voor de verkiezingen.
The best of FiveThirtyEight, delivered to you.
Geef een antwoord