ca oameni de știință, cu toții am primit un anumit nivel de pregătire în statistici. Un concept fundamental este că încercăm să facem inferențe despre o anumită populație, dar că avem acces doar la un eșantion de oameni, câini, amibe etc. care aparțin acelei populații. Prin eșantionarea aleatorie a amibelor, de exemplu, colectăm date și efectuăm teste statistice pentru a afla ceva despre întreaga populație, nu doar despre amibele pe care le-am testat.
deoarece nu suntem capabili să colectăm date de la toate amibele, concluziile noastre vin cu incertitudine. Cât de bine se aplică concluziile noastre întregii populații, cât de generalizabile sunt, depinde de cât de bine eșantionul nostru este reprezentativ pentru populație. S-ar putea ca numărul mic de amibe pe care le-am prelevat să fie deosebit de agresiv. Această caracteristică nu este împărtășită de majoritatea amibelor din populație, dar pentru că nu am inclus o măsură de agresiune în studiul nostru actual, nu avem de unde să știm că eșantionul nostru nu este reprezentativ.
cu toate acestea, deoarece analizele noastre statistice dezvăluie o constatare interesantă, redactăm un manuscris și îl trimitem revistei top amoebas. Foarte important, redactăm manuscrisul din punctul de vedere că eșantionul nostru este, de fapt, reprezentativ pentru populația generală. Deoarece rezultatele noastre au fost extrem de semnificative, suntem convinși că am descoperit ceva important. Dar este adevărat acest lucru?
în medie, eșantioanele mai mari care sunt cu adevărat selectate la întâmplare vor fi mai reprezentative pentru întreaga populație decât un eșantion mai mic. Cu toate acestea, știința este plină de studii efectuate pe eșantioane mici, care în majoritatea cazurilor nu reprezintă populația generală. De ce există atât de multe studii mici? Așa cum a subliniat laureatul Nobel Daniel Kahneman cu mai mult de 40 de ani în urmă, o parte a problemei este că oamenii conduc spectacolul…
credința în legea numerelor mici
într-o lucrare publicată în 1971 în Buletinul psihologic intitulat credința în legea numerelor mici, Tversky & Kahneman susține că, deoarece oamenii de știință, care sunt oameni, au o intuiție slabă despre legile întâmplării (adică. probabilitate), există o convingere copleșitoare (și eronată) că un eșantion selectat aleatoriu este foarte reprezentativ pentru populația studiată. Autorii au testat (și au confirmat) această ipoteză prin efectuarea unei serii de sondaje asupra oamenilor de știință.
intervale de încredere.
„cu toate acestea, un interval de încredere oferă un indice util al variabilității eșantionării și tocmai această variabilitate este cea pe care tindem să o subestimăm.”
autorii și-au rezumat concluziile cheie după cum urmează:
- oamenii de știință pariază ipoteze de cercetare pe eșantioane mici, fără să-și dea seama că șansele împotriva lor sunt nerezonabil de mari. Oamenii de știință supraestimează puterea.
- oamenii de știință au încredere nerezonabilă în tendințele timpurii și în stabilitatea modelelor observate. Oamenii de știință supraestimează semnificația.
- în evaluarea replicărilor, oamenii de știință au așteptări nerezonabil de mari cu privire la reproductibilitatea rezultatelor semnificative. Oamenii de știință subestimează amploarea intervalelor de încredere.
- oamenii de știință rareori atribuie o abatere a rezultatelor de la așteptări variabilității eșantionării, deoarece găsesc o „explicație” cauzală pentru orice discrepanță. Astfel, au puține oportunități de a recunoaște variația eșantionării în acțiune. Oamenii de știință se auto-perpetuează credința în număr mic.
puterea statistică și dimensiunile eșantionului.
” refuzați să credeți că un investigator serios va accepta cu bună știință un risc de 50% de a nu confirma o ipoteză de cercetare validă.”
nimic nou
a fost interesant de observat că multe dintre subiectele discutate în prezent în contextul științei reproductibile au fost discutate și acum mai bine de 30 de ani. De exemplu, prezența „studiilor ridicol de slabe”, importanța reproducerii unei constatări cheie, dimensiunea eșantionului de utilizat într-un studiu de replicare, limitările valorilor p, părtinirea prezentă în interpretarea și raportarea rezultatelor științifice.
cu gânditori atât de clari la conducere, de ce aceste probleme nu au fost rezolvate și soluțiile lor implementate cu zeci de ani în urmă?
dependența de valorile P.
„accentul pus pe nivelurile de semnificație statistică tinde să ascundă o distincție fundamentală între mărimea unui efect și semnificația statistică a acestuia. Indiferent de mărimea eșantionului, dimensiunea unui efect într-un studiu este o estimare rezonabilă a dimensiunii efectului în replicare. În schimb, nivelul de semnificație estimat este o replicare depinde în mod critic de dimensiunea eșantionului.”
rezumat
convingerea că rezultatele din eșantioane mici sunt reprezentative pentru populația generală este o prejudecată cognitivă. Ca atare, este activ fără ca noi să știm măcar despre asta. Trebuie exercitat efort pentru a-l recunoaște în noi înșine și trebuie luate măsuri de precauție pentru a-i limita impactul. Exemple de astfel de măsuri de precauție includ concentrarea asupra dimensiunii și certitudinii unui efect observat, preînregistrarea protocoalelor de studiu și a planurilor de analiză și analizele de date orbite.