Sie müssen nicht viel Mathe lernen, um zu erkennen, ob es sich um einen echten Fall oder um Zahlensalat handelt. Man muss nur wissen, auf welche Hinweise man achten muss.

Hypothese

War die Hypothese falsifizierbar? Wenn etwas nicht als Aussage formuliert werden kann, die durch Beobachtung und Schlussfolgerung bewiesen oder widerlegt werden kann, kann man es nicht wissenschaftlich untersuchen. Meinungs- und Glaubensfragen sind nicht falsifizierbar.

Stichprobe/Population

Welche Population wird untersucht? Wie groß ist sie? Welche Art von Individuen und in welchen Anteilen?

Wie groß ist die Stichprobe? Wie viele Personen aus der Grundgesamtheit haben die Forscher für ihre Studie ausgewählt?

Wie haben die Forscher ihre Stichprobe ausgewählt? Die Verteilung der Variablen in der Stichprobe sollte die Verteilung der Variablen in der Grundgesamtheit widerspiegeln. Die Zufallsauswahl ist eine Möglichkeit, dies zu erreichen.

Experimentelle Methoden

Haben die Forscher jeweils nur eine experimentelle Variable getestet? So kann man sicher sein, dass die Ergebnisse auf die untersuchte Variable und nicht auf etwas anderes zurückzuführen sind.

Hatten die Forscher eine Kontrollgruppe? Eine Kontrollgruppe ist eine Gruppe, die der Versuchsvariable nicht ausgesetzt ist. Auch hier können die Forscher nachweisen, dass die experimentelle Variable die Wirkung hatte und nicht nur ein Zufall war. Wenn zum Beispiel die Wirksamkeit eines Medikaments getestet wird, erhält die Kontrollgruppe ein Placebo.

Haben die Forscher alle Variablen kontrolliert, so dass man sicher sein kann, dass die Ergebnisse auf die von den Forschern ermittelten Variablen zurückzuführen sind? Ein Beispiel: Ein Medikament könnte bei einer 150 Pfund schweren Frau eine andere Wirkung haben als bei einem 250 Pfund schweren Mann.

War es ein Doppelblindversuch? Das ist in der Praxis manchmal nicht möglich. Ein Doppelblindversuch stellt sicher, dass weder die Forscher noch die Versuchspersonen wissen, wer die Versuchsvariable erhält. Auf diese Weise können sie das Ergebnis des Experiments weder absichtlich noch unbewusst beeinflussen.

Bedeuten diese Zahlen etwas?

Statistische Signifikanz

Berechnet die Wahrscheinlichkeit (in Prozent), dass die erzielten Ergebnisse auf die Angaben des Forschers zurückzuführen sind und nicht nur auf den Zufall.

Plus oder minus (auch bekannt als, Konfidenzintervalle, Fehlermargen)

Maße für Gewissheit und Unsicherheit. Eine große Plus- oder Minuszahl bedeutet mehr Unsicherheit, aber vergleichen Sie sie mit der Größe der Basiszahl – 100 plus oder minus 1 ist viel sicherer als 2 plus oder minus 1!

Weitere Fragen

  • Wenn Sie zwei Statistiken vergleichen, messen sie dasselbe? Verwenden sie die gleichen Methoden und Instrumente? Definieren sie diese Sache auf die gleiche Weise?
  • Wenn Sie einige wirklich seltsame Zahlen erhalten (in der Fachsprache „Ausreißer“ genannt), beziehen Sie diese mit ein oder verwerfen Sie sie?

Wenn die Antworten auf diese Fragen nicht ohne weiteres verfügbar sind, können Sie den Verdacht hegen, dass der Forscher (oder Verfasser) entweder skrupellos oder inkompetent ist. Denken Sie daran, dass die sozialwissenschaftliche Forschung unter anderem deshalb so anspruchsvoll ist, weil man oft keine perfekten Zufallsstichproben oder perfekt kontrollierte Variablen garantieren kann. Aber ein guter sozialwissenschaftlicher Bericht wird sich immer mit den Fragen befassen, die durch diese Auslassungen aufgeworfen werden.