A legutóbbi összefoglalónk az amerikai választások során végzett közvélemény-kutatások pontosságáról megerősített valamit, amit már egy ideje mondunk: A közvélemény-kutatások rendben vannak. Különösen az elnökválasztási közvélemény-kutatások történelmileg elég pontosak voltak.
A legutóbbi öt elnökválasztás előtti utolsó 21 napban végzett közvélemény-kutatások súlyozott átlagos hibája 4,0 pont volt.1 (A hibát úgy határozzuk meg, mint a felmérés által az első két jelölt közötti különbség és a tényleges szavazatarány közötti abszolút különbség. Ha például egy felmérés a republikánus jelöltnek 3 százalékpontos előnyt adott, de a demokrata jelölt 2 ponttal nyerte meg a választást, akkor a felmérés hibája 5 pont volt). És még 2016-ban is, amikor sokan a közvélemény-kutatásokat hibáztatták, hogy nem jósolták meg Trump elnök győzelmét, a választást megelőző 21 napon belüli felmérések tisztességesen teljesítettek, a súlyozott átlagos hiba 4,9 pont volt.
De az Egyesült Államokban az elnökválasztás győztesét az elektori kollégium választja ki, ami azt jelenti, hogy az állami felmérések számítanak igazán. És az állami közvélemény-kutatások 2016-ban rossz évet zártak (bár még mindig elég közel vannak a hosszú távú átlaghoz). A súlyozott átlagos hibájuk 5,3 pont volt, míg az országos felméréseké 3,2 pont. Ráadásul ez a hiba szisztematikusan túlbecsülte a demokratákat: Az állami közvélemény-kutatások súlyozott átlagos statisztikai torzítása (a hiba irányát jelző mérőszám) 3,5 pont volt Hillary Clinton javára.
Az azonban nem szokatlan, hogy az állami közvélemény-kutatások kevésbé pontosak, mint az országosak (bár 2016-ban nagymértékben eltértek egymástól). 2000 óta az állami közvélemény-kutatások súlyozott átlagos hibája 4,3 pont, míg az országos felmérések súlyozott átlagos hibája 2,9 pont. Egyes államokban azonban pontosabbak a közvélemény-kutatások, mint másokban. A közvélemény-kutatói minősítési adatsorunknak köszönhetően számszerűsíteni tudjuk, hogy mely államok elnökválasztási közvélemény-kutatásai a legpontosabbak és a legkevésbé pontosak, ami segíthet jobban megérteni az állami közvélemény-kutatásokat, amelyeket még idén kapunk.
Az alábbi táblázat az egyes államok közvélemény-kutatásainak súlyozott átlagos hibáját és statisztikai torzítását tartalmazza az elmúlt öt elnökválasztási általános választás során azon államok esetében, amelyekben a kampány utolsó 21 napja alatt legalább 15 közvélemény-kutatást végeztek. Ez kizárja azokat az államokat, ahol a közvélemény-kutatások mintája túl kicsi ahhoz, hogy értelmes következtetéseket lehessen levonni, és leszűkíti a listát az egyes választások fő csatatérállamaira (amelyekben egyébként is a legtöbb közvélemény-kutatást végzik).
Az első dolog, ami szembetűnő lehet, a 2016-os választások problémás pontjai – például számos állami közvélemény-kutatásban statisztikai torzítás volt a demokraták felé. Michiganben a közvélemény-kutatások súlyozott átlagos statisztikai torzítása 4,4 pont volt a demokraták felé, Pennsylvaniában pedig a közvélemény-kutatások súlyozott átlagos statisztikai torzítása 4,6 pont volt a demokraták felé. Észak-Karolinának és Ohiónak kevesebb figyelmet szentelnek, de még ennél is pontatlanabbak voltak.
A 2016-os évet félretéve azonban a táblázat legkövetkezetesebb története az, hogy a swing-state közvélemény-kutatások általában mennyire jók. Súlyozott átlagos hibájuk általában nem olyan nagy – még azokban az államokban sem, amelyek 2016-ban megbuktattak minket. 2008-ban például az észak-karolinai felmérések súlyozott átlaghibája mindössze 2,4 pont volt. És míg 2016-ban az ohiói közvélemény-kutatások elhibázták a célt, 2012-ben pontosan eltalálták a hibát (1,8 pont). A floridai közvélemény-kutatások súlyozott átlaghibája az öt választásból négy alkalommal 4,0 alatt volt. A pennsylvaniai közvélemény-kutatások nagyon alacsony, 2,0 (2004-ben) és 2,4 (2008-ban) súlyozott átlaghibát mutattak a 2016-os rossz évük előtt. És más, 2020-ra valószínűsíthetően ingadozó államok, például Arizona (2,4 2016-ban) és Wisconsin (2,9 2012-ben) felmérései is nagyon alacsony súlyozott átlaghibával büszkélkedhettek a múltban.
Az említett államok egyike sem tűnik szisztematikusan nehezen felmérhetőnek. Ahogyan a közvélemény-kutatások összességében sem lesznek pontosabbak vagy kevésbé pontosak az idő múlásával, úgy az állami közvélemény-kutatások hibája és statisztikai torzítása is évről évre kiszámíthatatlanul ugrál. Bár van okunk aggódni amiatt, hogy a 2016-os állami szintű közvélemény-kutatás néhány hibáját – többek között az oktatás szerinti súlyozás hiányát – nem javították ki, úgy tűnik, hogy egy állam közvélemény-kutatásának pontossága az egyik választáson nem befolyásolja a következő választás pontosságát.
A 2020-as általános választások sűrűjébe lépve tehát biztosak lehetünk abban, hogy a swing state-i közvélemény-kutatások a lehető legmegbízhatóbbak – bár természetesen a közvélemény-kutatások sem tökéletesek. Még egy 3 pontos hiba is jelentheti a különbséget egy szoros választáson.
Azért, hogy ne adjunk túl nagy befolyást a termékeny közvélemény-kutatóknak, átlagunkat az egyes közvélemény-kutatók által végzett felmérések számával súlyozzuk. Pontosabban, a súlyok az adott cég által végzett közvélemény-kutatások számának négyzetgyökén alapulnak. Például egy olyan közvélemény-kutatót, amely egy adott ciklusban 16 közvélemény-kutatást végzett egy adott típusú választásról, négyszer nagyobb súllyal súlyoznánk, mint egy olyan közvélemény-kutatót, amely csak egy közvélemény-kutatást végzett. Azokat a közvélemény-kutató cégeket, amelyeket a FiveThirtyEight azért tiltott ki, mert tudjuk vagy gyanítjuk, hogy adatokat hamisítottak, kizárjuk a cikkben szereplő összes számításból. Egy közvélemény-kutatás felvételének határideje az, hogy mediánja 21 nappal a választások előtt volt-e.
A FiveThirtyEight legjobbjai, az önök számára.
Vélemény, hozzászólás?