Nem kell sokat tanulnod matematikából ahhoz, hogy meg tudd mondani, mikor van szó valódi statisztikáról vagy számsalátáról. Csak tudnia kell, milyen nyomokat kell keresnie.

Hipotézis

A hipotézis falszifikálható volt? Ha valamit nem lehet olyan állításként megfogalmazni, amit megfigyeléssel és következtetéssel lehet bizonyítani vagy cáfolni, akkor azt nem lehet tudományosan vizsgálni. A vélemények és meggyőződések nem hamisíthatók.

Minta/populáció

Milyen populációt vizsgálnak? Mekkora az a populáció? Milyen egyének és milyen arányban?

Hány fős a minta? A populációból hányat választottak ki a kutatók a vizsgálathoz?

Hogyan választották ki a kutatók a mintát? A változók eloszlásának a mintában tükröznie kell a változók eloszlását a teljes populációban. A véletlenszerű kiválasztás az egyik módja ennek.

Kísérleti módszerek

A kutatók egyszerre csak egy kísérleti változót vizsgáltak? Így lehet tudni, hogy az eredmények a vizsgált változónak köszönhetőek, és nem valami másnak.

Volt a kutatóknak kontrollcsoportjuk? A kontroll egy olyan csoport, amely nincs kitéve a kísérleti változónak. Ismétlem, ez azért van, hogy a kutatók bizonyítani tudják, hogy a kísérleti változó volt a hatás, és nem csak a véletlen. Például egy gyógyszer hatékonyságának vizsgálatakor a kontrollcsoport placebót kap.

Kontrollálták-e a kutatók az összes változót, hogy biztosak lehessünk abban, hogy az eredmények a kutatók által meghatározott változók következményei voltak? Egy példa: a gyógyszer másképp hathat egy 150 kilós nőre, mint egy 250 kilós férfira.

Kettős vakvizsgálat volt? Néha ez a gyakorlatban lehetetlen. A kettős vak teszt biztosítja, hogy sem a kutatók, sem a vizsgálati alanyok nem tudják, hogy ki kapja a kísérleti változót. Így nem tudják szándékosan vagy tudattalanul befolyásolni a kísérlet eredményét.

Ezek a számok jelentenek valamit?

Statisztikai szignifikancia

Kiszámítja annak valószínűségét (százalékban kifejezve), hogy a kapott eredmények annak köszönhetőek, amit a kutató mondott, és nem csak a véletlen.

Plusz vagy mínusz (a.k.a., konfidenciaintervallumok, hibahatárok)

A bizonyosság és a bizonytalanság mérőszámai. Egy nagy plusz vagy mínusz szám nagyobb bizonytalanságot jelent, de hasonlítsuk össze az alapszám nagyságával – 100 plusz vagy mínusz 1 sokkal biztosabb, mint 2 plusz vagy mínusz 1!”

Egyéb kérdések

  • Ha két statisztikát hasonlítunk össze, ugyanazt mérik? Ugyanazokat a módszereket és eszközöket használják? Ugyanúgy határozzák meg ezt a dolgot?
  • Ha nagyon furcsa számokat kapunk (szaknyelven ” kiugrónak” nevezik), akkor azokat is figyelembe vesszük, vagy kidobjuk őket?

Ha ezekre a kérdésekre nem kapunk könnyen választ, akkor kezdhetünk gyanakodni, hogy a kutató (vagy a szerző) vagy gátlástalan, vagy inkompetens. Ne feledje, hogy a társadalomtudományi kutatásokat többek között az teszi olyan nagy kihívássá, hogy gyakran egyszerűen nem lehet garantálni a tökéletesen véletlenszerű mintákat vagy a tökéletesen kontrollált változókat. Egy jó társadalomtudományi jelentés azonban mindig foglalkozik az ilyen hiányosságok által felvetett kérdésekkel.