Förbannad lögn

Journalisters förhållande till statistik är inte alltid en kärlekssaga med ömsesidiga inslag. Det kanske inte är så konstigt alla gånger. Dels är statistik ett genuint komplicerat ämne, dels kan en korrekt hantering av det statiska underlaget sabba en bra story. Och som man brukar säga, förstör inte en bra story genom alltför grundlig research.

DN publicerade häromveckan en opinionsundersökning som noterade en ökning för Moderaterna, från 24,7 procent till 27,4, en ökning med 2,7 procentenheter (inte att förväxla med procent, ett annat vanligt misstag). Reportern gjorde stor sak av detta – en lång trend av vikande opinionssiffror tycktes över. Nu var det bara det där med den statistiska felmarginalen.

Av alla fel som har med statistik att göra, tycks detta med den statiska felmarginalen vara något notoriskt svårt. Och det kan bero på att det faktiskt är en smula komplicerat. Vad handlar då denna om? Jo, även om man kan nöja sig med att titta på ett utsnitt av befolkningen (eller vad man nu undersöker) och med ganska stor precision säga något substantiellt om helheten (matematiken bakom detta får vi ta en annan gång), så kommer resultatet alltid vara en smula osäkert. Ju fler man frågar desto säkrare kan man räkna med att siffrorna är, men så länge man inte frågar alla får man leva med att det finns en viss felmarginal. Denna felmarginal beräknas enligt följande:

2*√(p(100-p))/n

där p är procentsatsen (i vårt fall 27,4) och n är antalet tillfrågade (i vårt fall 2 200 personer).

Lite komplicerat kan tyckas, men siffran man får fram är marginalen inom vilket ens resultat skiljer sig från det verkliga värdet. I alla fall 19 gånger av 20. I fem procent av fallen kommer värdet avvika med mer än den statistiska felmarginalen, men detta får man helt enkelt leva med. Statistik är fantastiskt, men det har sina begränsningar.

För DN:s undersökning betyder det att siffran 27,4 för Moderaterna med 95 procents sannolikhet befinner sig inom intervallet 25,5 till 29,3 procent. Den tidigare mätningen visade 24,7 vilket betyder intervallet 22,9 till 26,5 procent. Den uppmärksamme ser att intervallen överlappar varandra med 0,7 procentenheter, vilket betyder att Moderaternas ökning faktiskt kan vara en minskning.

Och det är här DN faller i den klassiska fällan. För trots att moderaternas förändring faller inom felmarginalen, så behandlar man det ändå som vore det en faktisk förändring.

Reportern har dock gått kursen och skriver att ”förändringen är förvisso inom felmarginalen, men att Moderaterna inte längre backar är ett trendbrott”. Ja, om de inte längre backar vore det ett trendbrott, men poängen är ju att om vi rör oss inom felmarginalen så kan vi inte sluta oss till detta. Representanten för opinionsinstitutet är lite mer modest och talar om att trenden ”förefaller ha avstannat”, men även om detta är något mer sannolikt bör man helt avstå från att analysera förändringar inom felmarginalen. Det är liksom det den är till för.

DN är dock i gott sällskap. Bortsett från alla andra journalister som gör samma misstag, är detta inte helt ovanligt i forskarvärlden. När ett stort antal vetenskapliga rapporter undersöktes, noterades ett och samma statistiska räknefel i fler än hälften av de undersökningar där detta misstag var möjligt. Det handlade om undersökningar av följande typ: en grupp försökspersoner får en substans som ska testas medan en annan grupp får placebo. Om gruppen som fick den förment aktiva substansen uppvisar en förbättring som är statistiskt signifikant (är större än felmarginalen) medan kontrollgruppen inte gör det, sluter man sig till att substansen har effekt. För att sluta sig till detta måste man dock jämföra grupperna med varandra och se om skillnaden mellan grupperna är större än felmarginalen. I annat fall har man inget stöd för sin tes. Dock hade alltför många forskare slarvat sig igenom statistikkursen, vilket resulterade i felaktiga rapporter.

På tal om detta kan även en alltför liten felmarginal utgöra ett problem. Man kan tycka att ju större forskningsunderlaget är desto säkrare blir resultatet. Det är dock långt ifrån självklart. Faktum är nämligen att de allra flesta undersökningar lider av småmät- och metodfel som gynnar ett positivt resultat. Och ju större undersökningen är, desto mindre blir felmarginalen och därmed risken att detta falska positiva resultat blir statiskt signifikant.

Slutsats? Hur man än vänder sig har man rumpan bak!