Du behöver inte lära dig en massa matte för att kunna avgöra om det rör sig om riktig statistik eller om det rör sig om siffersallad. Du behöver bara veta vilka ledtrådar du ska leta efter.

Hypotes

Kan hypotesen falsifieras? Om något inte kan formuleras som ett uttalande som kan bevisas eller motbevisas med hjälp av observation och deduktion kan man inte studera det vetenskapligt. Frågor som rör åsikter och övertygelser är inte falsifierbara.

Sampel/Population

Vilken population studeras? Hur stor är den? Vilken typ av individer och i vilka proportioner?

Hur stort är urvalet? Hur många av populationen valde forskarna ut för sin studie?

Hur valde forskarna ut sitt urval? Fördelningen av variablerna i urvalet bör återspegla fördelningen av variablerna i populationen som helhet. Slumpmässigt urval är ett sätt att göra det.

Experimentella metoder

Testade forskarna endast en experimentell variabel åt gången? Detta för att det ska vara möjligt att veta att resultaten beror på den variabel som studeras och inte på något annat.

Hade forskarna en kontrollgrupp? En kontrollgrupp är en grupp som inte utsätts för försöksvariabeln. Återigen, detta för att forskarna ska kunna visa att det var försöksvariabeln som hade effekten och inte bara slumpen. När man till exempel testar effekten av ett läkemedel får kontrollgruppen placebo.

Har forskarna kontrollerat alla variabler så att man kan vara säker på att resultaten var en följd av de variabler som forskarna pekat ut? Ett exempel är att läkemedlet kan ha en annan effekt på en kvinna på 150 pund än på en man på 250 pund.

Var det ett dubbelblint test? Ibland är detta omöjligt i praktiken. Ett dubbelblint test säkerställer att varken forskarna eller försökspersonerna vet vem som får försöksvariabeln. På så sätt kan de inte medvetet eller omedvetet påverka resultatet av experimentet.

Säger de här siffrorna något?

Statistisk signifikans

Beräknar sannolikheten (i form av en procentsats) för att de erhållna resultaten berodde på det som forskaren sa, och inte bara på slumpen.

Plus eller minus (a.k.a., konfidensintervall, felmarginaler)

Mått på säkerhet och osäkerhet. Ett stort plus- eller minustal innebär större osäkerhet, men jämför det med bastalets storlek – 100 plus eller minus 1 är mycket säkrare än 2 plus eller minus 1!

Övriga frågor att ställa

  • Om du jämför två statistiska uppgifter, mäter de då samma sak? Använder de samma metoder och instrument? Definierar de den saken på samma sätt?
  • Om du får några riktigt konstiga siffror (tekniskt sett kallade ”outliers”), tar du med dem eller kastar du bort dem?

Om svaren på dessa frågor inte är lätt tillgängliga kan du börja misstänka att forskaren (eller skribenten) är antingen skrupelfri eller inkompetent. Tänk på att en av de saker som gör samhällsvetenskaplig forskning så utmanande är att man ofta helt enkelt inte kan garantera perfekt slumpmässiga urval eller perfekt kontrollerade variabler. Men en bra samhällsvetenskaplig rapport kommer alltid att ta upp de frågor som väcks av dessa utelämnanden.