Vous n’avez pas besoin d’apprendre beaucoup de mathématiques pour être capable de dire quand on vous présente la vraie affaire ou la salade de chiffres. Il suffit de savoir quels indices rechercher.

Hypothèse

L’hypothèse était-elle falsifiable ? Si quelque chose ne peut pas être formulé comme une déclaration qui peut être prouvée ou réfutée en utilisant l’observation et la déduction, vous ne pouvez pas l’étudier scientifiquement. Les questions d’opinion et de croyance ne sont pas falsifiables.

Echantillon/Population

Quelle est la population étudiée ? Quelle est sa taille ? Quel type d’individus, et dans quelles proportions ?

Quelle est la taille de l’échantillon ? Parmi la population, combien les chercheurs ont-ils choisi pour leur étude ?

Comment les chercheurs ont-ils sélectionné leur échantillon ? La distribution des variables dans l’échantillon doit refléter la distribution des variables dans l’ensemble de la population. La sélection aléatoire est une façon de le faire.

Méthodes expérimentales

Les chercheurs ont-ils testé une seule variable expérimentale à la fois ? C’est ainsi qu’il est possible de savoir que les résultats sont dus à la variable étudiée, et non à autre chose.

Les chercheurs ont-ils eu un groupe témoin ? Un groupe témoin est un groupe qui n’est pas exposé à la variable expérimentale. Là encore, c’est pour que les chercheurs puissent démontrer que c’est la variable expérimentale qui a produit l’effet, et non le hasard. Par exemple, lorsqu’on teste l’efficacité d’un médicament, le groupe témoin reçoit un placebo.

Les chercheurs ont-ils contrôlé toutes les variables afin qu’il soit possible d’être sûr que les résultats sont la conséquence des variables que les chercheurs ont identifiées ? Par exemple, un médicament pourrait avoir un effet différent sur une femme de 150 livres et sur un homme de 250 livres.

Est-ce un test en double aveugle ? C’est parfois impossible dans la pratique. Un test en double aveugle garantit que ni les chercheurs ni les sujets de recherche ne savent qui reçoit la variable expérimentale. De cette façon, ils ne peuvent pas influencer délibérément ou inconsciemment le résultat de l’expérience.

Ces chiffres ont-ils une signification ?

La signification statistique

Calcule la probabilité (en termes de pourcentage) que les résultats obtenus soient dus à ce que le chercheur a dit, et non au hasard.

Plus ou moins (alias, intervalles de confiance, marges d’erreur)

Mesures de la certitude et de l’incertitude. Un grand nombre plus ou moins signifie plus d’incertitude, mais comparez-le à la taille du nombre de base – 100 plus ou moins 1 est beaucoup plus certain que 2 plus ou moins 1 !

Autres questions à poser

  • Si vous comparez deux statistiques, mesurent-elles la même chose ? Utilisent-elles les mêmes méthodes et instruments ? Définissent-elles cette chose de la même manière ?
  • Si vous obtenez des chiffres vraiment bizarres (techniquement appelés  » valeurs aberrantes « ), les incluez-vous ou les rejetez-vous ?

Si les réponses à ces questions ne sont pas facilement disponibles, vous pouvez commencer à soupçonner que le chercheur (ou l’auteur) est soit sans scrupules, soit incompétent. Gardez à l’esprit que l’une des choses qui rend la recherche en sciences sociales si difficile est que souvent vous ne pouvez tout simplement pas garantir des échantillons parfaitement aléatoires ou des variables parfaitement contrôlées. Mais un bon rapport de sciences sociales abordera toujours les questions soulevées par ces omissions.