Svenska medier och alla dessa opinionsundersökningar

Radioprogrammet Medierna granskade i dag journalisters förhållande till opinionsundersökningar. Det är bra. Opinionsundersökningar har stort nyhetsvärde i svensk journalistik. Frestelsen är stor för ansvarig redaktör att i stort uppslagna rubriker lyfta fram och övervärdera förändringar som inte är statistiskt säkerställda. Särskilt stor blir frestelsen för de tidningar eller andra medieaktörer som själva beställt och betalat för en undersökning. Därför är det viktigt att opinionsjournalistiken kontinuerligt utsätts för en kritisk granskning.

Särskilt omdiskuterad blev Expressens rubrik "Fritt fall för Lööf" för någon vecka sedan, då en förtroendemätning från Demoskop gav Centerledaren hennes sämsta siffra någonsin. Problemet var att förändringen i förhållande till föregående mätning inte var statistiskt säkerställd. Visserligen framgick det av artikeln att förändringen inte var statistiskt signifikant, men det påpekandet kom bort i förhållande till den braskande rubriksättningen. Uppdaterat 21 maj 2013: Sedan bloggtexten skrevs har Anders Lindholm, VD för Demoskop, förtydligat att nedgången för Annie Lööf faktiskt var statistiskt signifikant.

Jag är inte fullt lika negativ till svenska mediers hantering av opinionsundersökningar som flera av mina kollegor är. Min bedömning är att svenska medier vid en internationell jämförelse ligger långt fram när det gäller att kritiskt reflektera eller släppa fram kritiska röster till opinionsmätningar. Jag följer nu israelisk press inför valet till Knesset på tisdag. Opinionsmätningarna är många. Urvalen är i allmänhet betydligt mindre än i motsvarande svenska undersökningar. Jag tror inte jag sett orden "signifikansnivå" eller "statistiskt säkerställd" förekomma en enda gång. I en stor artikel i ansedda New York Times (18/1 - 13, tyvärr bakom betalvägg) rapporteras om en ny opinionsundersöking om amerikanernas inställning till en mer restriktiv vapenlagstiftning. Artikeln kryllar av siffror som tas för givna och i de allra flesta fall helt utan några jämförelser över tid eller med andra mätningar. Allra längst ned i artikeln återfinns några fakta om undersökningen och om felmarginalen.

Det som skiljer svenska medier från de flesta av sina europeiska eller amerikanska motsvarigheter är mängden av opinionsundersökningar som rapporteras, samt att opinionsundersökningar i svenska medier ges en mer framträdande position på nyhetsplats.

Är det då rätt att rapportera om förändringar som ligger inom felmarginalen? Ja, det tycker jag. Ett parti kan minska med till exempel 0.2 procentenheter flera mätningar i rad. Varje enskild förändring ligger inom felmarginalen, men sammantaget kan dessa små förändringar kanske snart komma att utgöa en statistiskt säkerställd trend. Det avgörande är inte om utan hur man rapporterar. För redaktören gäller det att hitta de relevanta jämförelsepunkterna för att identifiera intresanta statistiskt säkerställda förändringar. Det är inte särskilt svårt, om man verkligen försöker.

I debatten glöms det ofta bort att vi av praxis använder en signifikansnivå på 95 procent, det vill säga det är 95 procents sannolikhet att förändringen inte är en statistisk slump. Men 95-procentsgränsen är godtycklig. Om vi skärper kraven till 98 eller 99 procent blir än färre förändringar statistiskt signifikanta (säkerställda). Om vi däremot sänker kraven till 90 procent blir betydligt fler förändringar statistiskt säkerställda (signifikanta).

Sammantaget: Det är utmärkt att medierapporteringen av opinionsundersökningar granskas kritiskt. Mycket kan bli bättre. Men vid en internationell jämförelse har svenska journalister ingenting att skämmas för. Snarare tvärtom.