tutkijoina olemme kaikki saaneet jonkinasteista koulutusta tilastotieteessä. Peruskäsite on, että yritämme tehdä päätelmiä tietystä populaatiosta, mutta että meillä on vain pääsy otokseen ihmisistä, koirista, ameboista jne.jotka kuuluvat kyseiseen populaatioon. Esimerkiksi satunnaisotannalla keräämme tietoja ja teemme tilastollisia testejä oppiaksemme jotain koko populaatiosta, emme vain testaamistamme ameboista.
koska emme pysty keräämään tietoja kaikista ameboista, johtopäätöksiimme liittyy epävarmuutta. Kuinka hyvin johtopäätöksemme pätevät koko väestöön, kuinka yleistettävissä ne ovat, riippuu siitä, kuinka hyvin otoksemme edustaa väestöä. Saattaa olla, että pieni määrä ameboja, joita otimme, oli erityisen aggressiivisia. Suurin osa populaation ameboista ei jaa tätä ominaisuutta, mutta koska emme ole sisällyttäneet nykyiseen tutkimukseemme aggression määrää, emme voi mitenkään tietää, että otoksemme ei ole edustava.
koska tilastolliset analyysimme paljastavat mielenkiintoisen löydön, laadimme käsikirjoituksen ja toimitamme sen amebojen ylimpään lehteen. Tärkeää on, että luonnostelemme käsikirjoituksen siitä näkökulmasta, että otoksemme itse asiassa edustaa koko väestöä. Koska tuloksemme olivat erittäin merkittäviä, olemme vakuuttuneita siitä, että olemme löytäneet jotain tärkeää. Mutta onko tämä todella totta?
keskimäärin suuremmat otokset, jotka valitaan todella sattumanvaraisesti, edustavat koko väestöä enemmän kuin pienempi otos. Tiede on kuitenkin täynnä pienistä näytteistä tehtyjä tutkimuksia, jotka eivät useimmissa tapauksissa edusta koko väestöä. Miksi on niin paljon pieniä tutkimuksia? Kuten nobelisti Daniel Kahneman yli 40 vuotta sitten totesi, osa ongelmaa on se, että ihmiset johtavat show ’ ta…
usko pienten lukujen lakiin
Psychological Bulletin-lehdessä vuonna 1971 julkaistussa julkaisussa believe in the law of small numbers, Tversky & Kahneman väittää, että koska tiedemiehillä, jotka ovat ihmisiä, on huono intuitio sattuman laeista (ts. todennäköisyys), on olemassa ylivoimainen (ja virheellinen) uskomus, että satunnaisesti valittu otos edustaa tutkittua väestöä erittäin hyvin. Kirjoittajat testasivat (ja vahvistivat) tämän hypoteesin suorittamalla joukon tutkimuksia tiedemiehille.
luottamusvälit.
” luottamusväli antaa kuitenkin hyödyllisen otantavaihtelun indeksin, ja juuri tätä vaihtelua meillä on tapana aliarvioida.”
kirjoittajat tiivistivät Keskeiset havaintonsa seuraavasti:
- tutkijat pelaavat tutkimushypoteeseja pienistä näytteistä tajuamatta, että niiden todennäköisyys on kohtuuttoman suuri. Tiedemiehet yliarvioivat voiman.
- tutkijat luottavat kohtuuttomasti varhaisiin suuntauksiin ja havaittujen kuvioiden pysyvyyteen. Tiedemiehet yliarvioivat merkityksen.
- monistusten arvioinnissa tutkijoilla on kohtuuttoman suuret odotukset merkittävien tulosten toistettavuudesta. Tutkijat aliarvioivat luottamusvälien suuruuden.
- tutkijat harvoin pitävät tulosten poikkeamaa odotuksista otosvaihteluna, koska he löytävät mahdollisen poikkeaman syy-seurausselityksen. Siksi niillä ei ole juurikaan mahdollisuuksia tunnistaa näytteenottovaihtelua toiminnassa. Tiedemiehet itse ylläpitävät uskoa pieniin lukuihin.
tilastollinen teho ja otoskoot.
” kieltäydy uskomasta, että vakavasti otettava tutkija tietoisesti hyväksyy 50 prosentin riskin siitä, ettei pätevää tutkimushypoteesia vahvisteta.”
Ei mitään uutta
oli mielenkiintoista huomata, että monesta nykyisin toistettavan tieteen yhteydessä käsiteltävästä aiheesta keskusteltiin myös yli 30 vuotta sitten. Esimerkiksi ”naurettavan alitehoiset tutkimukset”, avainlöydöksen toistamisen tärkeys, replikaatiotutkimuksessa käytettävä otoskoko, p-arvojen rajoitukset, tieteellisten tulosten tulkinnassa ja raportoinnissa esiintyvä vinous.
kun ruorissa oli niin selkeitä ajattelijoita, miksi näitä kysymyksiä ei ratkaistu ja niiden ratkaisuja pantu täytäntöön vuosikymmeniä sitten?
riippuvuus p-arvoista.
” tilastollisen merkitsevyyden tasojen korostaminen on omiaan hämärtämään perustavanlaatuisen eron efektin koon ja sen tilastollisen merkitsevyyden välillä. Otoskoosta riippumatta yhden tutkimuksen vaikutuksen suuruus on kohtuullinen arvio replikaation vaikutuksen suuruudesta. Sen sijaan arvioitu merkitsevyystaso on replikaatio, joka riippuu kriittisesti otoksen koosta.”
Yhteenveto
käsitys siitä, että pienten otosten tulokset edustavat koko väestöä, on kognitiivinen vinouma. Sellaisena se on aktiivinen ilman, että me edes tiedämme siitä. Täytyy ponnistella sen tunnistamiseksi itsessämme ja ryhtyä varotoimiin sen vaikutuksen rajoittamiseksi. Tällaisia varotoimia ovat esimerkiksi havaitun vaikutuksen suuruuteen ja varmuuteen keskittyminen, tutkimusprotokollien ja analyysisuunnitelmien ennakkorekisteröinti sekä sokkoutettu data-analyysi.