Come scienziati, abbiamo tutti ricevuto un certo livello di formazione in statistica. Un concetto fondamentale è che stiamo cercando di fare inferenze su una popolazione specifica, ma che abbiamo accesso solo a un campione di persone, cani, amebe, ecc. Campionando casualmente le amebe, ad esempio, raccogliamo dati e conduciamo test statistici per imparare qualcosa sull’intera popolazione, non solo sulle amebe che abbiamo testato.
Poiché non siamo in grado di raccogliere dati da tutte le amebe, le nostre conclusioni arrivano con incertezza. Quanto bene le nostre conclusioni si applicano all’intera popolazione, quanto sono generalizzabili, dipende da quanto bene il nostro campione è rappresentativo della popolazione. Potrebbe essere che il piccolo numero di amebe che abbiamo provato fosse particolarmente aggressivo. Questa caratteristica non è condivisa dalla maggior parte delle amebe nella popolazione, ma poiché non abbiamo incluso una misura di aggressività nel nostro studio attuale, non abbiamo modo di sapere che il nostro campione non è rappresentativo.
Tuttavia, poiché le nostre analisi statistiche rivelano un risultato interessante, redigiamo un manoscritto e lo sottoponiamo alla rivista top amoebas. È importante sottolineare che redigiamo il manoscritto dal punto di vista che il nostro campione è in realtà rappresentativo della popolazione complessiva. Poiché i nostri risultati sono stati molto significativi, siamo convinti di aver scoperto qualcosa di importante. Ma è questo in realtà vero?
In media, i campioni più grandi che sono veramente selezionati a caso saranno più rappresentativi dell’intera popolazione rispetto a un campione più piccolo. Eppure, la scienza è piena di studi eseguiti su piccoli campioni, che nella maggior parte dei casi non rappresentano la popolazione complessiva. Perché ci sono così tanti piccoli studi? Come ha sottolineato il premio Nobel Daniel Kahneman più di 40 anni fa, parte del problema è che gli esseri umani sono in esecuzione lo spettacolo…
Credo nella legge dei piccoli numeri
In un articolo pubblicato nel 1971 in Psychological Bulletin diritto Credenza nella legge dei piccoli numeri, Tversky & Kahneman sostenere che, per gli scienziati, che sono umani, hanno una scarsa intuizione sulle leggi del caso (es. probabilità), c’è una convinzione schiacciante (ed errata) che un campione selezionato casualmente sia altamente rappresentativo della popolazione studiata. Gli autori hanno testato (e confermato) questa ipotesi conducendo una serie di indagini sugli scienziati.
Intervalli di confidenza.
“Un intervallo di confidenza, tuttavia, fornisce un utile indice di variabilità del campionamento, ed è proprio questa variabilità che tendiamo a sottovalutare.”
Gli autori hanno riassunto i loro risultati chiave come segue:
- Gli scienziati giocano ipotesi di ricerca su piccoli campioni senza rendersi conto che le probabilità contro di loro sono irragionevolmente alte. Gli scienziati sovrastimano il potere.
- Gli scienziati hanno una fiducia irragionevole nelle tendenze iniziali e nella stabilità dei modelli osservati. Gli scienziati sovrastimano il significato.
- Nel valutare le repliche, gli scienziati hanno aspettative irragionevolmente elevate sulla replicabilità di risultati significativi. Gli scienziati sottovalutano l’entità degli intervalli di confidenza.
- Gli scienziati raramente attribuiscono una deviazione dei risultati dalle aspettative alla variabilità del campionamento, perché trovano una “spiegazione” causale per qualsiasi discrepanza. Pertanto, hanno poche opportunità di riconoscere la variazione del campionamento in azione. Gli scienziati auto-perpetuano la credenza in piccoli numeri.
Potenza statistica e dimensioni del campione.
” rifiuta di credere che un investigatore serio accetterà consapevolmente un rischio del 50% di non confermare un’ipotesi di ricerca valida.”
Niente di nuovo
E ‘ stato interessante notare che molti degli argomenti attualmente in discussione nel contesto della scienza riproducibile sono stati discussi anche più di 30 anni fa. Ad esempio, la presenza di “studi ridicolmente sottodimensionati”, l’importanza di riprodurre un risultato chiave, la dimensione del campione da utilizzare in uno studio di replicazione, i limiti dei valori p, il pregiudizio presente nell’interpretazione e nella segnalazione dei risultati scientifici.
Con pensatori così chiari al timone, perché questi problemi non sono stati risolti e le loro soluzioni implementate decenni fa?
Affidamento sui valori P.
“L’enfasi sui livelli di significatività statistica tende ad oscurare una distinzione fondamentale tra la dimensione di un effetto e la significatività statistica it. Indipendentemente dalla dimensione del campione, la dimensione di un effetto in uno studio è una stima ragionevole della dimensione dell’effetto nella replica. Al contrario, il livello di significatività stimato è una replica dipende criticamente dalla dimensione del campione.”
Sommario
La convinzione che i risultati di piccoli campioni siano rappresentativi della popolazione complessiva è un pregiudizio cognitivo. Come tale, è attivo senza che noi nemmeno sapere su di esso. Bisogna sforzarsi di riconoscerlo in noi stessi, e mettere in atto precauzioni per limitarne l’impatto. Esempi di tali precauzioni includono la concentrazione sulla dimensione e la certezza di un effetto osservato, la pre-registrazione dei protocolli di studio e dei piani di analisi e le analisi dei dati in cieco.