Je hoeft niet veel wiskunde te leren om te kunnen zien wanneer je het echte werk voorgeschoteld krijgt of een nummertjes salade. Je hoeft alleen maar te weten op welke aanwijzingen je moet letten.

Hypothese

Was de hypothese falsifieerbaar? Als iets niet kan worden geformuleerd als een verklaring die kan worden bewezen of weerlegd met behulp van observatie en deductie, kun je het niet wetenschappelijk bestuderen. Zaken van mening en geloof zijn niet falsifieerbaar.

Steekproef/Populatie

Welke populatie wordt bestudeerd? Hoe groot is die? Wat voor soort individuen, en in welke verhoudingen?

Hoe groot is de steekproef? Hoeveel van de populatie hebben de onderzoekers gekozen voor hun studie?

Hoe hebben de onderzoekers hun steekproef gekozen? De verdeling van variabelen in de steekproef moet een afspiegeling zijn van de verdeling van variabelen in de bevolking als geheel. Willekeurige selectie is een manier om dat te doen.

Experimentele methoden

Testen de onderzoekers op slechts één experimentele variabele tegelijk? Op die manier weet men dat de resultaten te danken zijn aan de bestudeerde variabele en niet aan iets anders.

Hebben de onderzoekers een controlegroep? Een controlegroep is een groep die niet wordt blootgesteld aan de experimentele variabele. Nogmaals, dit om de onderzoekers in staat te stellen aan te tonen dat het de experimentele variabele was die het effect had, en niet slechts het toeval. Bijvoorbeeld, bij het testen van de werkzaamheid van een geneesmiddel krijgt de controlegroep een placebo.

Hebben de onderzoekers alle variabelen gecontroleerd, zodat men er zeker van kan zijn dat de resultaten het gevolg zijn van de variabelen die de onderzoekers hebben vastgesteld? Een voorbeeld is dat een medicijn een ander effect zou kunnen hebben op een vrouw van 150 pond dan op een man van 250 pond.

Was het een dubbel blinde test? Soms is dat in de praktijk onmogelijk. Een dubbelblinde test zorgt ervoor dat noch de onderzoekers noch de proefpersonen weten wie de experimentele variabele krijgt. Op die manier kunnen ze de uitkomst van het experiment niet bewust of onbewust beïnvloeden.

Zetten deze getallen ergens op?

Statistische significantie

Berekent de kans (in termen van een percentage) dat de verkregen resultaten het gevolg zijn van wat de onderzoeker heeft gezegd, en niet gewoon toeval.

Plus of min (ook wel, betrouwbaarheidsintervallen, foutmarges)

Maten van zekerheid en onzekerheid. Een groot plus- of minteken betekent meer onzekerheid, maar vergelijk het met de grootte van het basisgetal – 100 plus of min 1 is een stuk zekerder dan 2 plus of min 1!

Andere vragen

  • Als je twee statistieken vergelijkt, meten ze dan hetzelfde? Gebruiken ze dezelfde methoden en instrumenten? Definiëren ze dat ding op dezelfde manier?
  • Als je echt vreemde getallen krijgt (technisch “uitbijters” genoemd), neem je die dan mee of gooi je ze weg?

Als de antwoorden op deze vragen niet gemakkelijk beschikbaar zijn, kun je beginnen te vermoeden dat de onderzoeker (of schrijver) ofwel gewetenloos ofwel onbekwaam is. Bedenk dat een van de dingen die sociaal-wetenschappelijk onderzoek zo uitdagend maken, is dat je vaak gewoon geen perfect willekeurige steekproeven of perfect gecontroleerde variabelen kunt garanderen. Maar een goed sociaal-wetenschappelijk rapport zal altijd ingaan op de vragen die door die omissies worden opgeroepen.