Qualidade das evidências em pesquisa

O Natal é um bom momento para falarmos sobre Hipótese nula e qualidade de evidências, claro! Tradicionalmente, a hipótese nula assume a premissa de que não existe diferença entre tratamentos, grupos, fatores, efeitos, condições (etc.) e isso é feito a partir de, no mínimo, duas variáveis óbvias: a primeira agrupa os participantes nas condições possíveis (por exemplo, dois grupos, sendo um de homens e outro de mulheres), a segunda mede alguma característica (por exemplo, o resultado em um inventário de depressão, a performance em um teste de inteligência, a inflação em determinado período ou a quantidade de peças defeituosas).

Em termos mais técnicos, que não há diferença estatisticamente significativa na VD dado a VI. Certamente, a expressão “estatisticamente significativa” pede tanto um texto próprio, quanto mais convidados a este cenário, como o Egan Pearson (o filho de Karl Pearson), o Jerzy Neyman e o Ronald Fisher.

Pois bem, tradicionalmente, representamos esta situação de concorrência de hipóteses tendo a média como estimador e dois grupos como condição base:

H0: μ1 = μ2 = 0 
H1: μ1 ≠ μ2 

Lembre-se que é sempre sobre a hipótese nula que todo pesquisador trabalha, mesmo que ela não seja tão facilmente visualizada. Em outras palavras, uma hipótese nula que diz que não há diferença na saúde mental de crianças submetidas a dois formatos pedagógicos diferentes e uma hipótese nula que diz que não há diferença térmica em duas barras de ferro se apresentam da mesma forma, mas envolvem condições de pesquisa muito diferentes. Não se esqueça, igualmente, que até chegar nesta etapa, você passou por diversos estágios, que podem ser graficamente apresentados como abaixo:


Adaptado do material online dos professores Diogo Provete, Fernando da Silva e Thiago Souza (https://cran.r-project.org/doc/contrib/Provete-Estatistica_aplicada.pdf)

Depois disso tudo, vamos às evidências:

  1. Quantidade de gente que acredita nisso! Retirado, de propósito, de um site fajuto, descobri que 43% dos americanos respondem “sim” à pergunta: “Você acredita e papai noel?”. Evidentemente, “se está na internet então é verdade”.
  2. Quantidade de cartas recebidas pelos correios tendo como destinatário o “Papai noel”. Considerando, 2013, 2014 e 2015, as cartas chegaram a 2.8 milhões!
  3. A quantidade de Papai noel que tem por aí, em um emprego que segundo a internet (e se está na internet então é verdade!) chega a pagar até 16 mil reais.

Agora os pontos principais que fazem com que essas evidências não sejam nada além de ruído.

Primeiro ponto: A estatística fala (ou mede?) sobre a realidade e não o contrário. A construção da hipótese nula tendo, como base, a não diferença entre as condições é muito simples: ou há algum sinal que justifique a diferença na realidade, ou é tudo ruído. Até o momento, em momento algum, houve evidência de papai noel.

Segundo ponto: Plausibilidade extrema. Não tem o menor sentido testar a efetividade de um paraquedas lançando, aleatoriamente, participantes do alto de um avião. Basicamente, esta condição também rejeita a hipótese nula ao entendermos que ciência não se escreve com s e esta condição do paraquedas é apenas uma brincadeira que envolve a Física aplicada.

Terceiro ponto: O ruído é o ruído, mas todo sinal guarda ruído. A Teoria de Detecção de Sinal é extremamente clara e funciona como um excelente modelo para ciências comportamentais/empíricas. Sabe-se que o sinal (alvo que se pesquisa) guarda um ruído. Assim, variáveis estranhas, quando pouco controladas, interferem no sinal.

Quarto ponto: A discriminação de sinal nem sempre é fácil e é exatamente por isso que utilizamos instrumentos de medida. Ao passo que sabemos que é difícil discriminar entre um odor “doce” de um odor “madeira”, criamos instrumentos que permitissem realizar esta discriminação. Uma fantasia de Papai noel nada mais é do que uma fantasia de Papai noel. De forma estilística e extremamente bonita, Joseph Fourier comentou que

A Matemática parece ser uma faculdade da mente humana destinada a suplementar a brevidade da vida e a imperfeição dos sentidos.

Quinto ponto: Uma pesquisa é dotada de método e dentro dele há os procedimentos. Parece-me que até hoje ninguém conseguiu eleger um método em que, de maneira padronizada e criteriosa, avaliasse a existência ou não do Papai noel. Por não haver isso e tampouco plausibilidade extrema, nem é possível concluir favoravelmente a tal condição, tampouco comprar os resultados. Evidências anedóticas are not welcome!

Desta forma, a não rejeição da hipótese nula é a decisão adequada. A rejeição é um erro conhecido como “Tipo 1” ou “Falso positivo”.

Chegou até aqui e deseja estudar mais ? Confira o sistema GRADE logo embaixo e acesse os vídeos que temos em nossos canais sobre Estatística e Psicometria.

Feliz natal.

Um forte abraço,
Luis Anunciação
Psicometria (PUC-Rio)