Du behøver ikke at lære en masse matematik for at kunne se, hvornår der er tale om en rigtig sag eller en talsalat. Du skal bare vide, hvilke ledetråde du skal kigge efter.

Hypotese

Har hypotesen kunnet falsificeres? Hvis noget ikke kan formuleres som et udsagn, der kan bevises eller modbevises ved hjælp af observation og deduktion, kan man ikke studere det videnskabeligt. Meninger og overbevisninger kan ikke falsificeres.

Stikprøve/population

Hvilken population er undersøgt? Hvor stor er den? Hvilken type individer og i hvilke proportioner?

Hvor stor er stikprøven? Hvor mange af populationen har forskerne udvalgt til deres undersøgelse?

Hvordan har forskerne udvalgt deres stikprøve? Fordelingen af variabler i stikprøven bør afspejle fordelingen af variabler i populationen som helhed. Tilfældig udvælgelse er en måde at gøre det på.

Experimentelle metoder

Testede forskerne kun for én eksperimentel variabel ad gangen? Dette er for at det er muligt at vide, at resultaterne skyldes den variabel, der undersøges, og ikke noget andet.

Har forskerne en kontrolgruppe? En kontrolgruppe er en gruppe, der ikke udsættes for den eksperimentelle variabel. Igen, dette for at forskerne kan påvise, at det var den eksperimentelle variabel, der havde effekten, og ikke bare tilfældigheder. Når man f.eks. tester et lægemiddels virkning, modtager kontrolgruppen en placebo.

Kontrollerede forskerne for alle variabler, så det er muligt at være sikker på, at resultaterne var en konsekvens af de variabler, som forskerne har udpeget? Et eksempel er, at lægemidlet måske har en anden virkning på en kvinde på 150 pund end på en mand på 250 pund.

Var det et dobbeltblindet forsøg? Nogle gange er det umuligt i praksis. Et dobbeltblindet forsøg sikrer, at hverken forskerne eller forsøgspersonerne ved, hvem der får den eksperimentelle variabel. På den måde kan de ikke bevidst eller ubevidst påvirke resultatet af forsøget.

Siger disse tal noget?

Statistisk signifikans

Beregner sandsynligheden (i form af en procentdel) for, at de opnåede resultater skyldes det, som forskeren sagde, og ikke bare tilfældigheder.

Plus eller minus (a.k.a., konfidensintervaller, fejlmarginaler)

Mål for sikkerhed og usikkerhed. Et stort plus- eller minustal betyder større usikkerhed, men sammenlign det med størrelsen af grundtallet – 100 plus eller minus 1 er meget mere sikkert end 2 plus eller minus 1!

Andre spørgsmål at stille

  • Hvis du sammenligner to statistikker, måler de så det samme? Bruger de de samme metoder og instrumenter? Definerer de denne ting på samme måde?
  • Hvis du får nogle virkelig mærkelige tal (teknisk kaldet ” outliers”), medtager du dem så eller smider du dem væk?

Hvis svarene på disse spørgsmål ikke er umiddelbart tilgængelige, kan du begynde at få mistanke om, at forskeren (eller forfatteren) enten er skrupelløs eller inkompetent. Husk på, at en af de ting, der gør samfundsvidenskabelig forskning så udfordrende, er, at man ofte simpelthen ikke kan garantere perfekt tilfældige stikprøver eller perfekt kontrollerede variabler. Men en god samfundsvidenskabelig rapport vil altid tage fat på de spørgsmål, der rejses af disse udeladelser.