Jako vědci, my všichni jsme dostali nějakou úroveň školení v oblasti statistiky. Základním konceptem je, že se snažíme vyvodit závěry o konkrétní populaci, ale že máme přístup pouze ke vzorku lidí, psů, améb atd., které patří k této populaci. Náhodně vzorků améby například, budeme shromažďovat data a provádět statistické testy, aby se dozvědět něco o celé populaci, ne jen améby jsme testovali.
protože nejsme schopni shromažďovat data ze všech améb, naše závěry přicházejí s nejistotou. Jak dobře se naše závěry vztahují na celou populaci, jak jsou zobecnitelné, závisí na tom, jak dobře je náš vzorek reprezentativní pro populaci. Je možné, že malý počet améb, které jsme odebrali, byl obzvláště agresivní. Tato charakteristika není sdílena většinou améb v populaci, ale protože jsme do naší současné studie nezahrnuli míru agrese, nemáme žádný způsob, jak vědět, že náš vzorek není reprezentativní.
protože však naše statistické analýzy odhalují zajímavý nález, navrhujeme rukopis a předkládáme jej do časopisu Top améby. Důležité je, že rukopis navrhujeme z pohledu, že náš vzorek je ve skutečnosti reprezentativní pro celkovou populaci. Protože naše výsledky byly velmi významné, jsme přesvědčeni, že jsme objevili něco důležitého. Ale je to ve skutečnosti pravda?
v průměru budou větší vzorky, které jsou skutečně vybrány náhodně, reprezentativnější pro celou populaci než menší vzorek. Dosud, věda je protkána studiemi prováděnými na malých vzorcích, které ve většině případů nepředstavují celkovou populaci. Proč existuje tolik malých studií? Jak poukázal nositel Nobelovy Ceny Daniel Kahneman před více než 40 lety, část problému je, že lidé jsou spuštěny show…
Víra v zákon malých čísel.
V dokumentu, který byl zveřejněn v roce 1971 v Psychological Bulletin nazvaný Víra v zákon malých čísel, Tversky & Kahneman tvrdí, že proto, že vědci, kteří jsou lidští, mají špatnou intuici o zákonech šanci (tj. pravděpodobnosti), je ohromující (a chybné) přesvědčení, že náhodně vybraný vzorek je vysoce reprezentativní pro populaci studovány. Autoři testovali (a potvrdili) tuto hypotézu provedením řady průzkumů vědců.
intervaly spolehlivosti.
“ interval spolehlivosti však poskytuje užitečný index variability vzorkování a právě tuto variabilitu máme tendenci podceňovat.“
autoři shrnuli svá klíčová zjištění následovně:
- vědci hazardují s výzkumnými hypotézami na malých vzorcích, aniž by si uvědomili, že šance proti nim jsou nepřiměřeně vysoké. Vědci přeceňují sílu.
- vědci mají nepřiměřenou důvěru v rané trendy a ve stabilitu pozorovaných vzorců. Vědci přeceňují význam.
- při hodnocení replikací mají vědci nepřiměřeně vysoká očekávání ohledně replikovatelnosti významných výsledků. Vědci podceňují velikost intervalů spolehlivosti.
- vědci zřídka připisují odchylku výsledků od očekávání variabilitě vzorkování, protože najdou příčinné „vysvětlení“ jakéhokoli rozporu. Mají tedy jen malou příležitost rozpoznat variace vzorkování v akci. Vědci si sami udržují víru v malé počty.
statistický výkon a velikost vzorku.
“ odmítněte věřit, že vážný vyšetřovatel vědomě přijme 50% riziko, že nepotvrdí platnou výzkumnou hypotézu.“
Nic nového
To bylo zajímavé poznamenat, že mnoho témat, kterými se v současné době diskutuje v souvislosti reprodukovatelné vědy byly také projednávány před více než 30 lety. Například, přítomnost „neskutečně poddimenzované studie“, význam reprodukci klíčové zjištění, že velikost vzorku pro použití v replikace studie, omezení p-hodnoty, zkreslení přítomné v tlumočení a vykazování vědeckých výsledků.
s takovými jasnými mysliteli u kormidla, proč nebyly tyto problémy vyřešeny a jejich řešení byla implementována před desítkami let?
spoléhání se na p-hodnoty.
“ důraz na úroveň statistické významnosti má tendenci zakrývat základní rozdíl mezi velikostí efektu a statistickou významností it. Bez ohledu na velikost vzorku je velikost účinku v jedné studii přiměřeným odhadem velikosti účinku při replikaci. V porovnání, odhadovaná úroveň významnosti je replikace kriticky závisí na velikosti vzorku.“
shrnutí
přesvědčení, že výsledky z malých vzorků jsou reprezentativní pro celkovou populaci, je kognitivní zkreslení. Jako takový je aktivní, aniž bychom o tom věděli. Je třeba vyvinout úsilí, abychom to rozpoznali v sobě, a zavést preventivní opatření k omezení jeho dopadu. Příklady takových opatření zahrnují zaměření na velikost a jistotu pozorovaného účinku, předběžnou registraci studijních protokolů a plánů analýz a zaslepené analýzy dat.