jako naukowcy, wszyscy otrzymaliśmy pewien poziom szkolenia w statystyce. Podstawową koncepcją jest to, że staramy się wnioskować o określonej populacji, ale mamy dostęp tylko do próbki ludzi, psów, ameb itp., które należą do tej populacji. Na przykład poprzez losowe pobieranie próbek ameb, zbieramy dane i przeprowadzamy testy statystyczne, aby dowiedzieć się czegoś o całej populacji, a nie tylko amebach, które tak się składa, że testowaliśmy.
ponieważ nie jesteśmy w stanie zebrać danych ze wszystkich ameb, nasze wnioski są niepewne. Jak dobrze nasze wnioski odnoszą się do całej populacji, jak generalizowalne są, zależy od tego, jak dobrze nasza próbka jest reprezentatywna dla populacji. Możliwe, że niewielka liczba ameb, które próbowaliśmy, była szczególnie agresywna. Ta cecha nie jest dzielona przez większość ameb w populacji, ale ponieważ nie uwzględniliśmy w naszym obecnym badaniu miary agresji, nie mamy możliwości dowiedzenia się, że nasza próbka nie jest reprezentatywna.
ponieważ jednak nasze analizy statystyczne ujawniają interesujące odkrycie, przygotowujemy rękopis i przekazujemy go do czołowego czasopisma amoebas. Co ważne, projektujemy manuskrypt z punktu widzenia, że nasza próbka jest w rzeczywistości reprezentatywna dla całej populacji. Ponieważ nasze wyniki były bardzo znaczące, jesteśmy przekonani, że odkryliśmy coś ważnego. Ale czy to prawda?
przeciętnie większe próbki, które są rzeczywiście wybierane losowo, będą bardziej reprezentatywne dla całej populacji niż Mniejsza próbka. Jednak nauka jest pełna badań przeprowadzonych na małych próbkach, które w większości przypadków nie reprezentują całej populacji. Dlaczego jest tak wiele małych badań? Jak zauważył noblista Daniel Kahneman ponad 40 lat temu, częścią problemu jest to, że ludzie prowadzą program…
wiara w prawo małych liczb
w artykule opublikowanym w 1971 w Biuletynie psychologicznym zatytułowanym wiara w prawo małych liczb, Tversky & Kahneman twierdzi, że ponieważ naukowcy, którzy są ludźmi, mają słabą intuicję co do praw przypadku (tj. prawdopodobieństwo), istnieje przytłaczające (i błędne) przekonanie, że losowo wybrana próbka jest wysoce reprezentatywna dla badanej populacji. Autorzy przetestowali (i potwierdzili) tę hipotezę, przeprowadzając serię badań na naukowcach.
” przedział ufności zapewnia jednak przydatny wskaźnik zmienności próbkowania i właśnie tę zmienność lekceważymy.”
autorzy podsumowali swoje kluczowe ustalenia w następujący sposób:
- naukowcy stawiają hipotezy badawcze na małych próbkach, nie zdając sobie sprawy, że szanse na nie są nieuzasadnione. Naukowcy przeceniają moc.
- naukowcy mają nieuzasadnione zaufanie do wczesnych trendów i stabilności obserwowanych wzorców. Naukowcy przeceniają znaczenie.
- oceniając replikacje, naukowcy mają nieuzasadnione wysokie oczekiwania co do powtarzalności znaczących wyników. Naukowcy nie doceniają skali przedziałów ufności.
- naukowcy rzadko przypisują odchylenie wyników od oczekiwań do zmienności próbkowania, ponieważ znajdują przyczynowe „Wyjaśnienie” dla każdej rozbieżności. W ten sposób mają niewielkie możliwości rozpoznania zmienności próbkowania w działaniu. Naukowcy sami utrwalają wiarę w małych liczbach.
moc statystyczna i wielkości próbek.
” nie wierzę, że poważny badacz świadomie zaakceptuje 50% ryzyko braku potwierdzenia prawidłowej hipotezy badawczej.”
nic nowego
warto zauważyć, że wiele tematów omawianych obecnie w kontekście powtarzalnej nauki było również omawianych ponad 30 lat temu. Na przykład, obecność „absurdalnie niedostatecznie wzmocnione badania”, znaczenie odtwarzania kluczowe ustalenia, wielkość próby do wykorzystania w badaniu replikacji, ograniczenia wartości p, odchylenie obecne w interpretacji i sprawozdawczości wyników naukowych.
z tak jasnymi myślicielami na czele, dlaczego te kwestie nie zostały rozwiązane, a ich rozwiązania wdrożone dziesiątki lat temu?
” nacisk na poziomy istotności statystycznej ma tendencję do zaciemniania podstawowego rozróżnienia między wielkością efektu a istotnością statystyczną it. Niezależnie od wielkości próby, wielkość efektu w jednym badaniu jest rozsądnym oszacowaniem wielkości efektu w replikacji. Natomiast szacowany poziom istotności jest replikacja zależy krytycznie od wielkości próby.”
podsumowanie
przekonanie, że wyniki z małych próbek są reprezentatywne dla całej populacji, jest błędem poznawczym. Jako taka, jest ona aktywna bez naszej wiedzy o niej. Należy podjąć wysiłek, aby rozpoznać go w nas samych i zastosować środki ostrożności, aby ograniczyć jego wpływ. Przykłady takich środków ostrożności obejmują skupienie się na wielkości i pewności obserwowanego efektu, wstępną rejestrację protokołów badań i planów analiz oraz ślepe analizy danych.