Temavecka Samband, problem 3: Slumpsignifikans

Tänk dig att du och en kompis kastar två tärningar. Oftast får ni olika resultat. Men ibland händer det att ni bägge får en sexa, i samma kast. Låt säga att det här råkar inträffa när ni båda har hatt på er, men inte när en av er tagit av hatten. Detta är naturligtvis en slump. Tärningen tar inte hänsyn till huvudbonad, men det här kan inträffa med en viss sannolikhet. Dagens tema är att psykologiska samband ibland kan uppmätas av en slump.

Det är svårt att hitta bra exempel på slumpsignifikans i populärvetenskapliga artiklar. Slumpsignfikans bör nämligen bedömas utifrån två variabler: 1) Risken att ett samband har uppstått av en slump, och 2) Antalet samband som rapporteras. I populärpsykologiska notiser brukar bara ett samband åt gången rapporteras, och slumprisken (alpha) rapporteras inte alls.

Men ibland dyker exempel upp i tidningar som får en att höja på ögonbrynen. Att storleken på Playboymodeller är relaterat till ekonomisk konjunktur rapporterade Dagens Industri 2003:

http://di.se/Nyheter/?page=/Avdelningar/Vin.aspx%3FarticleId%3D2003%255C06%255C27%255C81575%26SectionID%3DVin%26menusection%3DVin

Tankarna går till en gammal korrelaionsstudie av längden på Kalle Ankas näbb, och ekonomisk utveckling i USA.

Nu till det mer raljanta exemplet, som faktiskt uppehållit många statistiker genom ett par decennier: Storkteorin. Några tyska forskare testade en gång sambandet mellan ett stort antal saker som skulle vara roliga om de hade ett samband. Två av dem var: Storkpopulation och barnfödslar (på sjukhus). Thomas Höfer, Hildegard Przyrembel och Silvia Verleger problematiserade teorin i sin artikel ”New Evidence for the Theory of the Stork” genom att notera (fritt översatt citat): ”Bristen på statistisk information om födslar utanför sjukhuset är ett allvarligt handikapp för ytterligare bevis för storkteorin”. Det är så att man storknar.

Ni som tror att det här bara är ett problem vid relativt höga p-värden får dåliga nyheter av Robert Matthews i artikeln ”Storks Deliver Babies”. Han har hittat ett samband som bara har 0.8 promille chans att uppstå av en slump. Med andra ord: Testa många tusen udda grejer, och ni kan hitta ett eget slumpsamband på samma nivå. Men, de flesta populärpsykologiska journalister accepterar slumprisker upp till 5 %, vilket innebär att var 20:e samband har uppstått av slump. Det är inte mycket som har storkteorins statistiska stöd.

Dagens budskap är att sambandsanalyser alltid borde stödjas av ett teoretiskt resonemang, som gör det intressant att ens undersöka om två separata fenomen har något med varandra att göra.

Annonser