Você não precisa aprender muita matemática para poder dizer quando você está sendo apresentado com o negócio real ou salada de números. Você só precisa saber que pistas procurar.

Hipótese

A hipótese era falsificável? Se algo não pode ser formulado como uma afirmação que pode ser provada ou refutada usando observação e dedução, você não pode estudá-la cientificamente. Questões de opinião e crença não são falsificáveis.

Amostra/População

Que população está sendo estudada? Qual é o seu tamanho? Que tipo de indivíduos, e em que proporções?

Qual é o tamanho da amostra? Da população, quantos pesquisadores escolheram para seu estudo?

Como os pesquisadores selecionaram sua amostra? A distribuição das variáveis na amostra deve refletir a distribuição das variáveis na população como um todo. A seleção aleatória é uma maneira de fazer isso.

Métodos experimentais

Os pesquisadores testaram apenas uma variável experimental de cada vez? Assim é possível saber que os resultados se devem à variável em estudo, e não a algo mais.

Os investigadores têm um grupo de controlo? Um grupo controle é um grupo que não é exposto à variável experimental. Novamente, isto para que os pesquisadores possam demonstrar que foi a variável experimental que teve o efeito, e não apenas o acaso. Por exemplo, ao testar a eficácia de um medicamento, o grupo controle recebe um placebo.

Did os pesquisadores controlam todas as variáveis para que seja possível ter certeza de que os resultados foram como conseqüência das variáveis que os pesquisadores identificaram? Um exemplo é que o medicamento pode ter um efeito diferente numa mulher de 150 libras do que num homem de 250 libras.

Foi um teste duplamente cego? Às vezes isso é impossível na prática. Um teste duplo-cego assegura que nem os pesquisadores nem os sujeitos da pesquisa sabem quem está recebendo a variável experimental. Dessa forma eles não podem deliberada ou inconscientemente influenciar o resultado do experimento.

Estes números significam qualquer coisa?

Significado estatístico

Calcula a probabilidade (em termos de porcentagem) de que os resultados obtidos foram por causa do que o pesquisador disse, e não apenas por acaso.

Plus ou menos (a.k.a.., intervalos de confiança, margens de erro)

Medidas de certeza e incerteza. Um grande número mais ou menos significa mais incerteza, mas compare-o ao tamanho do número base – 100 mais ou menos 1 é muito mais certo que 2 mais ou menos 1!

Outras perguntas a fazer

  • Se estiver a comparar duas estatísticas, elas medem a mesma coisa? Eles estão usando os mesmos métodos e instrumentos? Estão a definir essa coisa da mesma forma?
  • Se obtiver alguns números realmente estranhos (tecnicamente chamados “outliers”), está a incluí-los ou a deitá-los fora?

Se as respostas a estas perguntas não estiverem prontamente disponíveis, pode começar a suspeitar que o pesquisador (ou escritor) ou é inescrupuloso ou incompetente. Tenha em mente que uma das coisas que torna a pesquisa em ciências sociais tão desafiadora é que muitas vezes você simplesmente não pode garantir amostras perfeitamente aleatórias ou variáveis perfeitamente controladas. Mas um bom relatório de ciências sociais irá sempre abordar as questões levantadas por essas omissões.