Como cientistas, todos nós recebemos algum nível de formação em estatística. Um conceito fundamental é que estamos tentando fazer inferências sobre uma população específica, mas que só temos acesso a uma amostra das pessoas, cães, amebas, etc que pertencem a essa população. Ao amostrar aleatoriamente amebas, por exemplo, coletamos dados e realizamos testes estatísticos para aprender algo sobre toda a população, e não apenas as amebas que por acaso testamos.Como não somos capazes de coletar dados de todas as amebas, nossas conclusões vêm com incerteza. Quão bem nossas conclusões se aplicam a toda a população, quão generalizáveis elas são, depende de quão bem nossa amostra é representativa da população. Pode ser que o pequeno número de amebas que experimentamos foram particularmente agressivos. Esta característica não é compartilhada pela maioria das amebas na população, mas porque não incluímos uma medida de agressão em nosso estudo atual, não temos como saber que nossa amostra não é representativa.
no entanto, porque as nossas análises estatísticas revelam uma descoberta interessante, redigimos um manuscrito e submetemo-lo ao top amebas journal. O importante é que elaboramos o manuscrito do ponto de vista de que nossa amostra é de fato representativa da população em geral. Como os nossos resultados foram muito significativos, estamos convencidos de que descobrimos algo importante. Mas isso é verdade?
em média, amostras maiores que são realmente selecionadas aleatoriamente serão mais representativas de toda a população do que uma amostra menor. No entanto, a ciência está cheia de estudos realizados em pequenas amostras, que na maioria dos casos não representam a população em geral. Por que há tantos estudos pequenos? Como apontado pelo prêmio Nobel Daniel Kahneman mais de 40 anos atrás, parte do problema é que os seres humanos estão executando o show…
Crença na lei dos pequenos números
Em um artigo publicado em 1971, no psychological Bulletin direito Crença na lei dos pequenos números, Tversky & Kahneman argumentam que uma vez que os cientistas, que são humanos, têm pouca intuição sobre as leis do acaso (por exemplo, probabilidade), há uma crença esmagadora (e errônea) de que uma amostra selecionada aleatoriamente é altamente representativa da população estudada. Os autores testaram (e confirmaram) esta hipótese através da realização de uma série de pesquisas sobre cientistas.
intervalos de confiança.
” um intervalo de confiança, no entanto, fornece um índice útil de variabilidade de amostragem, e é precisamente esta variabilidade que tendemos a subestimar.”
os autores resumiram as suas principais conclusões da seguinte forma::
- cientistas jogam hipóteses de pesquisa em pequenas amostras sem perceber que as probabilidades contra elas são excessivamente elevadas. Os cientistas sobrestimam o poder.
- os cientistas têm uma confiança irrazoável nas tendências iniciais e na estabilidade dos padrões observados. Os cientistas sobrestimam o significado.
- na avaliação de replicações, os cientistas têm expectativas exageradamente elevadas sobre a replicabilidade de resultados significativos. Os cientistas subestimam a magnitude dos intervalos de confiança.
- os cientistas raramente atribuem um desvio dos resultados das expectativas à variabilidade da amostragem, porque encontram uma “explicação causal” para qualquer discrepância. Assim, eles têm pouca oportunidade de reconhecer a variação de amostragem na ação. Os cientistas auto-perpetuam a crença em pequenos números.
potência estatística e dimensão das amostras.
” recusam-se a acreditar que um investigador sério aceitará conscientemente um risco de 50% de não confirmar uma hipótese de pesquisa válida.”
nada de novo
foi interessante notar que muitos dos tópicos atualmente em discussão no contexto da ciência reprodutível também estavam sendo discutidos há mais de 30 anos. Por exemplo, a presença de “estudos ridiculamente subalternos”, a importância de reproduzir um achado chave, o tamanho da amostra para usar em um estudo de replicação, as limitações dos valores p, o viés presente na interpretação e comunicação de resultados científicos.Com pensadores tão claros ao leme, porque é que estas questões não foram resolvidas e as suas soluções implementadas há décadas?
dependência dos valores p.
” the emphasis on statistical significance levels tends to obscure a fundamental distinction between the size of an effect and it statistical significance. Independentemente da dimensão da amostra, a dimensão de um efeito num estudo é uma estimativa razoável da dimensão do efeito na replicação. Em contraste, o nível de significância estimado é uma replicação depende criticamente do tamanho da amostra.”
resumo
a crença de que os resultados de pequenas amostras são representativos da população total é um viés cognitivo. Como tal, está ativo sem que nós saibamos. Deve ser feito um esforço para reconhecê-lo em nós mesmos, e devem ser tomadas precauções para limitar o seu impacto. Exemplos de tais precauções incluem o foco no tamanho e certeza de um efeito observado, pré-registro de protocolos de estudo e planos de análises, e análises de dados cegos.