Varför gör vi statistik så svårt för våra studenter?

(Varning: lång och lite wonkish)

om du är som jag, är du ständigt frustrerad av det faktum att studenter kämpar för att förstå statistik. Faktum är att det är mildt: en stor del av doktorander vägrar helt enkelt att förstå statistik.nämna ett krav på statistisk dataanalys i din kurs och du får ögonrullning, groans eller (om det är tillräckligt tidigt på terminen) ett utslag av kursfall.

detta stör mig, för vi kan inte göra slutsatser i vetenskapen utan statistik*. Varför är eleverna så okänsliga för något så viktigt? I obevakade ögonblick, jag har skyllt det på eleverna själva för att ha beslutat, a priori och i en självuppfyllande profetia, att statistiken är matematik, och de kan inte göra matte. Jag har skyllt det på gymnasielärare för att göra matte tråkig. Jag har skyllt det på gymnasievägledare för att berätta för eleverna att om de inte gillar matte, borde de bli biologiska majors. Jag har skyllt det på föräldrar för att låta sina barn ogillar matte. Jag har till och med skyllt det på boogie**.

alla dessa parter (utom boogie) är skyldiga. Men jag har förstått att min lista utelämnade den mest skyldiga parten av alla: oss. Med” oss ” menar jag universitetsfakultetsmedlemmar som undervisar statistik – oavsett om de är i matematiska institutioner, statistiska institutioner eller (gasp) biologiska avdelningar. Vi gör statistik onödigt svårt för våra studenter, och jag förstår inte varför.

problemet fångas i bilden ovan – formlerna som behövs för att beräkna Welchs t-test. De är aritmetiskt lite komplicerade, och de används i en viss situation: att jämföra två medel när provstorlekar och avvikelser är ojämlika. Om du vill jämföra tre medel behöver du en annan uppsättning formler; om du vill testa för en icke-noll lutning behöver du en annan uppsättning igen; om du vill jämföra framgångsgraden i två binära försök, en annan uppsättning fortfarande; och så vidare. Och varje uppsättning formler fungerar endast med tanke på riktigheten i sin egen specifika uppsättning antaganden om data.

med tanke på detta, kan vi skylla eleverna för att tänka statistik är komplicerat? Nej, vi kan inte; men vi kan skylla oss själva för att låta dem tro att det är det. De tror det för att vi konsekvent underskattar det enda viktigaste med statistik: att denna komplikation är en illusion. Faktum är att varje signifikanstest fungerar exakt på samma sätt.

varje signifikanstest fungerar exakt på samma sätt. Vi bör lära ut detta först, lära det ofta och lära det högt; men det gör vi inte. istället gör vi ett stort misstag: vi whiz av det och börjar undervisa test efter test, bombardera studenter med härledningar av teststatistik och distributioner och ägna mer uppmärksamhet åt skillnader mellan tester än till deras avgörande, underliggande identitet. Inte konstigt att eleverna ogillar statistik.

Vad menar jag med ”varje signifikanstest fungerar exakt på samma sätt”? Alla (nhst) statistiska tester svarar på ett problem med två enkla steg.

problemet:

• vi ser tydligt mönster, men vi är inte säkra på om vi ska tro att det är verkligt, eftersom våra data är bullriga.

de två stegen:

• Steg 1. Mät styrkan i mönstret i våra data.
• steg 2. Fråga oss själva, är detta mönster tillräckligt starkt för att bli trodd?

att undervisa problemet motiverar användningen av statistik i första hand (många matematiklärda kurser, och nästan alla biologilärda, gör ett bra jobb med detta). Undervisning i de två stegen ger eleverna verktygen för att testa någon hypotes – förstå att det bara handlar om att välja rätt aritmetik för deras specifika data. Det är här vi verkar falla ner.

Steg 1 är naturligtvis teststatistiken. Vårt jobb är att hitta (eller uppfinna) ett nummer som mäter styrkan i ett visst mönster. Det är inte förvånande att detaljerna för att beräkna ett sådant tal beror på det mönster vi vill mäta (skillnad i två medel, lutning av en linje, vad som helst). Men dessa detaljer involverar alltid de tre saker som vi intuitivt förstår att vara en del av ett mönsters ”styrka” (illustrerad nedan): den råa storleken på den uppenbara effekten (i Welchs t, skillnaden i de två provmedlen); mängden brus i data (i Welchs t, de två provstandardavvikelserna) och mängden data i handen (i Welchs t, de två provstorlekarna). Du kan se genom inspektion att dessa beter sig i Welchs formler precis som de borde: t blir större om medlen är längre ifrån varandra, proverna är mindre bullriga och/eller provstorlekarna är större. Allt annat är ointressant aritmetisk detalj.

steg 2 är P-värdet. Vi måste få ett P-värde som motsvarar vår teststatistik, vilket innebär att veta om antaganden är uppfyllda (så vi kan använda en uppslagstabell) eller inte (så vi borde använda randomisering eller byta till ett annat test***). Varje test använder en annan tabell-men alla tabeller fungerar på samma sätt, så skillnaderna är återigen bara aritmetiska. Att tolka P-värdet när vi har det är en snap, för det spelar ingen roll vilken aritmetik vi gjorde under vägen: P-värdet för något test är sannolikheten för ett mönster så starkt som vårt (eller starkare), i avsaknad av någon sann underliggande effekt. Om detta är lågt, skulle vi hellre tro att vårt mönster uppstod från verklig biologi än att tro att det uppstod från en svindlande tillfällighet (Deborah Mayo förklarar filosofin bakom detta här, eller se hennes utmärkta blogg).

naturligtvis finns det många detaljer i skillnaderna mellan tester. Dessa frågor, men de spelar roll på ett andra ordningens sätt: tills vi förstår den underliggande identiteten på hur varje test fungerar, finns det ingen anledning att oroa sig för skillnaderna. Och även då är skillnaderna inte saker vi behöver komma ihåg; de är saker vi behöver veta för att leta upp när det behövs. Det är därför om jag vet hur man gör ett statistiskt test – något statistiskt test – Jag vet hur man gör dem alla.

betyder det att jag förespråkar undervisning i” kokbok ” – statistik? Ja, men bara om vi använder metaforen noggrant och inte pejorativt. En kokbok är till liten nytta för någon som inte vet någonting alls om matlagning; men om du känner till en handfull grundläggande principer, guidar en kokbok dig genom tusentals matlagningssituationer, för olika ingredienser och olika mål. Alla kockar äger kokböcker; få memorera dem.

så om vi undervisar statistik helt fel, så här gör du det rätt: organisera allt runt den underliggande identiteten. Börja med det, spendera mycket tid på det och illustrera det med ett test (vilket test som helst) som utarbetats med detaljerad uppmärksamhet inte på beräkningarna, utan hur det testet tar oss genom de två stegen. Försök inte att täcka ”8 tester varje grundutbildning borde veta”; det finns ingen sådan lista. Erbjuda ett statistiskt problem: några verkliga data och ett mönster, och fråga eleverna hur de kan utforma ett test för att ta itu med det problemet. Det kommer inte att finnas ett rätt sätt, och även om det fanns, skulle det vara mindre viktigt än utövandet av att tänka igenom stegen i den underliggande identiteten.

äntligen: varför gör instruktörer statistik om skillnaderna, inte den underliggande identiteten? Jag sa att jag inte vet, men jag kan spekulera.

när statistik lärs ut av matematiker kan jag se frestelsen. I matematiska termer är skillnaderna mellan tester den intressanta delen. Det är här matematiker visar sina kotletter, och det är där de gör det svåra och viktiga jobbet med att uppfinna nya recept för att laga tillförlitliga resultat från nya ingredienser i nya situationer. Användare av statistik skulle dock gärna föreskriva att matematiker har varit kloka och att vi alla är tacksamma för dem, så att vi kan komma på jobbet med att göra den statistik vi behöver göra.

när statistik lärs ut av biologer är mysteriet djupare. Jag tror (jag hoppas!) de av oss som undervisar statistik förstår alla den underliggande identiteten hos alla tester, men det verkar inte hindra oss från parade-of-test-metoden. En hypotes: vi kan svara på tryck (uppfattat eller verkligt) från Matematikavdelningar, som kan ogilla statistik som lärs ut utanför sina enheter och är snabba att hävda otillräcklig matematisk Rigor när det är. Fokus på massor av matematiska detaljer ger en faner av skenbar stringens. Jag är inte säker på att min hypotes är korrekt, men jag har verkligen varit en del av diskussioner med matematiska avdelningar som var förenliga med det.

oavsett orsakerna gör vi verkliga skador på våra studenter när vi gör statistiken komplicerad. Det är det inte. Kom ihåg att varje statistiskt test fungerar exakt på samma sätt. Lär en elev det idag.

Obs: För en ganska annorlunda syn på kokboksstatistikmetaforen, se Joan Strassmanns intressanta inlägg här. Jag tror att jag bara håller med henne delvis, så du borde läsa hennes stycke också.

en annan relaterad bit av Christie Bahlai är här: ”Hej, låt oss bara slappna av om statistik” – men med ett bredare budskap om NHST över fält.

slutligen, här är historien om två ekologer som lärde sig att älska statistik – och det är mycket roligt.

bisexuell Stephen hörde ([email protected]) oktober 6, 2015

*^i det här inlägget kommer jag att diskutera frequentist inferential statistik, eller traditionell ”nollhypotes signifikanstestning”. Jag lämnar debatter om huruvida Bayesianska metoder är överlägsna och om P-värden blir felaktiga (se mitt försvar av P-värdet). Jag kommer att avstå från att fnysa hånfullt på påståenden om att vi inte behöver inferentiell statistik alls.

**^OK, inte riktigt, men att glida in där låter mig länka till detta. På samma sätt är jag frestad att skylla på regnet, att skylla på Kain, att skylla på Bossa Nova och att skylla på Rio. OK, jag slutar nu; men om du har en jag missade, varför inte släppa en länk i svaren?

***^jag skulle inkludera att omvandla data som” byt till ett annat test”, men om du hellre vill göra en skillnad där är det bra.