Non c’è bisogno di imparare un sacco di matematica per essere in grado di dire quando ti viene presentato un vero affare o un’insalata di numeri. Hai solo bisogno di sapere quali indizi cercare.

Ipotesi

L’ipotesi è falsificabile? Se qualcosa non può essere formulato come un’affermazione che può essere provata o confutata usando l’osservazione e la deduzione, non si può studiare scientificamente. Le questioni di opinione e di credo non sono falsificabili.

Campione/Popolazione

Quale popolazione viene studiata? Quanto è grande? Che tipo di individui, e in quali proporzioni?

Quanto è grande il campione? Della popolazione, quanti hanno scelto i ricercatori per il loro studio?

Come hanno selezionato il loro campione? La distribuzione delle variabili nel campione dovrebbe riflettere la distribuzione delle variabili nella popolazione nel suo complesso. La selezione casuale è un modo per farlo.

Metodi sperimentali

I ricercatori hanno testato solo una variabile sperimentale alla volta? In questo modo è possibile sapere che i risultati sono dovuti alla variabile studiata e non a qualcos’altro.

I ricercatori hanno avuto un gruppo di controllo? Un controllo è un gruppo che non è esposto alla variabile sperimentale. Di nuovo, questo affinché i ricercatori possano dimostrare che è stata la variabile sperimentale ad avere l’effetto, e non solo il caso. Per esempio, quando si testa l’efficacia di un farmaco, il gruppo di controllo riceve un placebo.

I ricercatori hanno controllato tutte le variabili in modo che sia possibile essere sicuri che i risultati siano conseguenza delle variabili che i ricercatori hanno individuato? Un esempio è che il farmaco potrebbe avere un effetto diverso su una donna di 150 libbre che su un uomo di 250 libbre.

Era un test in doppio cieco? A volte questo è impossibile nella pratica. Un test in doppio cieco assicura che né i ricercatori né i soggetti di ricerca sappiano chi sta ricevendo la variabile sperimentale. In questo modo non possono influenzare deliberatamente o inconsciamente il risultato dell’esperimento.

Questi numeri significano qualcosa?

Significatività statistica

Calcolano la probabilità (in termini di percentuale) che i risultati ottenuti siano dovuti a ciò che il ricercatore ha detto, e non solo al caso.

Più o meno (alias, intervalli di confidenza, margini di errore)

Misure di certezza e incertezza. Un numero grande più o meno significa più incertezza, ma confrontalo con la dimensione del numero base – 100 più o meno 1 è molto più certo di 2 più o meno 1!

Altre domande da fare

  • Se stai confrontando due statistiche, misurano la stessa cosa? Stanno usando gli stessi metodi e strumenti? Stanno definendo quella cosa nello stesso modo?
  • Se si ottengono dei numeri davvero strani (tecnicamente chiamati “outliers”), li si include o li si butta via?

Se le risposte a queste domande non sono immediatamente disponibili, si può iniziare a sospettare che il ricercatore (o lo scrittore) sia senza scrupoli o incompetente. Tenete a mente che una delle cose che rende la ricerca nelle scienze sociali così impegnativa è che spesso semplicemente non si possono garantire campioni perfettamente casuali o variabili perfettamente controllate. Ma un buon rapporto di scienze sociali affronterà sempre le questioni sollevate da queste omissioni.