tudósként mindannyian kaptunk valamilyen szintű képzést a statisztikákban. Alapvető koncepció az, hogy következtetéseket próbálunk levonni egy adott populációról, de csak az adott populációhoz tartozó emberek, kutyák, amőbák stb. Például az amőbák véletlenszerű mintavételével adatokat gyűjtünk és statisztikai teszteket végzünk, hogy megtudjunk valamit az egész populációról, nem csak az amőbákról, amelyeket történetesen teszteltünk.
mivel nem tudunk adatokat gyűjteni az összes amőbáról, következtetéseink bizonytalansággal járnak. Az, hogy következtetéseink mennyire vonatkoznak az egész lakosságra, mennyire általánosíthatók, attól függ, hogy a mintánk mennyire reprezentatív a lakosságra. Lehet, hogy a kis számú amőba, amelyet mintavételeztünk, különösen agresszív volt. Ezt a tulajdonságot a populáció amőbáinak többsége nem osztja, hanem azért, mert jelenlegi tanulmányunkban nem vettünk fel egy agressziós mértéket, nem tudjuk, hogy mintánk nem reprezentatív-e.
mivel azonban statisztikai elemzéseink érdekes megállapítást tárnak fel, elkészítjük a kéziratot, és elküldjük a top amoebas journal-nak. Fontos, a kéziratot abból a szempontból készítjük, hogy mintánk valójában reprezentatív a teljes népességre. Mivel eredményeink rendkívül jelentősek voltak, meg vagyunk győződve arról, hogy valami fontosat fedeztünk fel. De ez valóban igaz?
átlagosan a valóban véletlenszerűen kiválasztott nagyobb minták reprezentatívabbak lesznek a teljes populációra, mint egy kisebb minta. A tudomány azonban tele van kis mintákon végzett vizsgálatokkal, amelyek a legtöbb esetben nem képviselik a teljes populációt. Miért van olyan sok kis tanulmány? Amint arra a Nobel-díjas Daniel Kahneman több mint 40 évvel ezelőtt rámutatott, a probléma egy része az, hogy az emberek vezetik a show-t…
hit a kis számok törvényében
egy 1971-ben megjelent tanulmányban pszichológiai Közlöny című hit a kis számok törvényében, Tversky & Kahneman azzal érvel, hogy mivel a tudósok, akik emberek, rossz intuícióval rendelkeznek a véletlen törvényeiről (azaz a kis számok törvényeiről). valószínűség), van egy elsöprő (és téves) meggyőződés, hogy egy véletlenszerűen kiválasztott minta nagyon reprezentatív a vizsgált populációra. A szerzők tesztelték (és megerősítették) ezt a hipotézist a tudósok körében végzett felmérések sorozatával.
konfidencia intervallumok.
“a konfidencia intervallum azonban hasznos mutatót nyújt a mintavételi variabilitásról, és éppen ezt a variabilitást hajlamosak vagyunk alábecsülni.”
a szerzők a következőképpen foglalták össze legfontosabb megállapításaikat:
- a tudósok kis mintákon játszanak kutatási hipotéziseket anélkül, hogy észrevennék, hogy az esélyek indokolatlanul magasak. A tudósok túlbecsülik a hatalmat.
- a tudósok megalapozatlanul bíznak a korai trendekben és a megfigyelt minták stabilitásában. A tudósok túlbecsülik a jelentőségét.
- a replikációk értékelésekor a tudósok indokolatlanul magas elvárásokat támasztanak a jelentős eredmények replikálhatóságával kapcsolatban. A tudósok alábecsülik a konfidencia intervallumok nagyságát.
- a tudósok ritkán tulajdonítják az eredmények eltérését a várakozásoktól a mintavételi változékonysághoz, mert ok-okozati “magyarázatot” találnak minden eltérésre. Így kevés lehetőségük van felismerni a mintavételi variációt a cselekvésben. A tudósok kis számban örökítik meg a hitet.
statisztikai teljesítmény és mintaméretek.
” ne higgye el, hogy egy komoly nyomozó tudatosan elfogadja az érvényes kutatási hipotézis megerősítésének elmulasztásának 50% – os kockázatát.”
semmi új
érdekes volt megjegyezni, hogy a reprodukálható tudomány összefüggésében jelenleg tárgyalt témák közül sok több mint 30 évvel ezelőtt is megvitatásra került. Például a “nevetségesen alulteljesített tanulmányok” jelenléte, a kulcsfontosságú megállapítások reprodukálásának fontossága, a replikációs vizsgálatban használandó mintaméret, a p-értékek korlátai, a tudományos eredmények értelmezésében és jelentésében jelen lévő torzítás.
ilyen világos gondolkodókkal az élen, miért nem oldották meg ezeket a kérdéseket, és miért nem hajtották végre megoldásaikat évtizedekkel ezelőtt?
P-értékekre való támaszkodás.
“a statisztikai szignifikancia szintek hangsúlyozása általában elhomályosítja a hatás nagysága és a statisztikai szignifikancia közötti alapvető különbséget. A minta méretétől függetlenül az egyik vizsgálatban a hatás nagysága ésszerű becslés a replikáció hatásának nagyságáról. Ezzel szemben a becsült szignifikancia szint a replikáció kritikusan függ a minta méretétől.”
összefoglaló
az a meggyőződés, hogy a kis minták eredményei reprezentatívak a teljes populációra, kognitív elfogultság. Mint ilyen, aktív anélkül, hogy tudnánk róla. Erőfeszítéseket kell tennünk, hogy felismerjük magunkban, és óvintézkedéseket kell tennünk, hogy korlátozzuk a hatását. Ilyen óvintézkedések közé tartozik például a megfigyelt hatás méretére és bizonyosságára való összpontosítás, a vizsgálati protokollok és elemzési tervek előzetes regisztrálása, valamint a vak adatelemzések.