Et tarvitse oppia paljon matematiikkaa voidaksesi erottaa, milloin sinulle esitetään todellista tietoa vai numerosalaattia. Sinun täytyy vain tietää, mitä vihjeitä etsiä.

Hypoteesi

Oliko hypoteesi falsifioitavissa? Jos jotain asiaa ei voi muotoilla väitteeksi, joka voidaan todistaa tai kumota havainnoimalla ja päättelemällä, sitä ei voi tutkia tieteellisesti. Mielipide- ja uskomusasiat eivät ole falsifioitavissa.

Osake/Populaatio

Mitä populaatiota tutkitaan? Kuinka suuri se on? Millaisia yksilöitä ja missä suhteessa?

Minkä kokoinen on otos? Kuinka suuren osan väestöstä tutkijat valitsivat tutkimukseensa?

Miten tutkijat valitsivat otoksensa? Muuttujien jakauman otoksessa tulisi heijastaa muuttujien jakaumaa koko perusjoukossa. Satunnaisvalinta on yksi tapa tehdä se.

Kokeelliset menetelmät

Testasivatko tutkijat vain yhtä kokeellista muuttujaa kerrallaan? Näin voidaan tietää, että tulokset johtuvat tutkittavasta muuttujasta eivätkä jostain muusta.

Oliko tutkijoilla kontrolliryhmä? Kontrolli on ryhmä, joka ei altistu kokeelliselle muuttujalle. Tämä taas siksi, että tutkijat voivat osoittaa, että juuri kokeellinen muuttuja aiheutti vaikutuksen, eikä vain sattuma. Esimerkiksi lääkkeen tehoa testattaessa kontrolliryhmä saa plaseboa.

Kontrolloivatko tutkijat kaikki muuttujat, jotta voidaan olla varmoja siitä, että tulokset olivat seurausta niistä muuttujista, jotka tutkijat paikansivat? Esimerkkinä voidaan mainita, että lääkkeellä saattaa olla erilainen vaikutus 150-kiloiseen naiseen kuin 250-kiloiseen mieheen.

Oliko kyseessä kaksoissokkotesti? Joskus tämä on käytännössä mahdotonta. Kaksoissokkokokeella varmistetaan, etteivät tutkijat eivätkä tutkimushenkilöt tiedä, kumpi saa koemuuttujaa. Näin he eivät voi tietoisesti tai tiedostamattaan vaikuttaa kokeen lopputulokseen.

Merkitsevätkö nämä numerot mitään?

Statistinen merkitsevyys

Lasketaan todennäköisyys (prosentteina ilmaistuna) sille, että saadut tulokset johtuivat siitä, mitä tutkija sanoi, eivätkä pelkästä sattumasta.

Plussan tai miinuksen (a.k.a., luottamusvälit, virhemarginaalit)

Varmuuden ja epävarmuuden mittarit. Suuri plus- tai miinusluku tarkoittaa enemmän epävarmuutta, mutta vertaa sitä perusluvun kokoon – 100 plus tai miinus 1 on paljon varmempi kuin 2 plus tai miinus 1!

Muuta kysyttävää

  • Jos vertaat kahta tilastoa, mittaavatko ne samaa asiaa? Käytetäänkö niissä samoja menetelmiä ja välineitä? Määrittelevätkö ne tuon asian samalla tavalla?
  • Jos saat todella outoja lukuja (joita kutsutaan teknisesti ” outlieriksi” ), otatko ne mukaan vai heitätkö ne pois?

Jos vastaukset näihin kysymyksiin eivät ole helposti saatavilla, voit alkaa epäillä, että tutkija (tai kirjoittaja) on joko häikäilemätön tai epäpätevä. Kannattaa muistaa, että yksi asia, joka tekee yhteiskuntatieteellisestä tutkimuksesta niin haastavaa, on se, että usein ei yksinkertaisesti voida taata täydellisen satunnaisia otoksia tai täydellisesti kontrolloituja muuttujia. Hyvässä yhteiskuntatieteellisessä raportissa käsitellään kuitenkin aina näiden puutteiden herättämiä kysymyksiä.