Radioprogrammet Medierna granskade i dag journalisters förhållande till opinionsundersökningar. Det är bra. Opinionsundersökningar har stort nyhetsvärde i svensk journalistik. Frestelsen är stor för ansvarig redaktör att i stort uppslagna rubriker lyfta fram och övervärdera förändringar som inte är statistiskt säkerställda. Särskilt stor blir frestelsen för de tidningar eller andra medieaktörer som själva beställt och betalat för en undersökning. Därför är det viktigt att opinionsjournalistiken kontinuerligt utsätts för en kritisk granskning.
Särskilt omdiskuterad blev Expressens rubrik "Fritt fall för Lööf" för någon vecka sedan, då en förtroendemätning från Demoskop gav Centerledaren hennes sämsta siffra någonsin. Problemet var att förändringen i förhållande till föregående mätning inte var statistiskt säkerställd. Visserligen framgick det av artikeln att förändringen inte var statistiskt signifikant, men det påpekandet kom bort i förhållande till den braskande rubriksättningen. Uppdaterat 21 maj 2013: Sedan bloggtexten skrevs har Anders Lindholm, VD för Demoskop, förtydligat att nedgången för Annie Lööf faktiskt var statistiskt signifikant.
Jag är inte fullt lika negativ till svenska mediers hantering av opinionsundersökningar som flera av mina kollegor är. Min bedömning är att svenska medier vid en internationell jämförelse ligger långt fram när det gäller att kritiskt reflektera eller släppa fram kritiska röster till opinionsmätningar. Jag följer nu israelisk press inför valet till Knesset på tisdag. Opinionsmätningarna är många. Urvalen är i allmänhet betydligt mindre än i motsvarande svenska undersökningar. Jag tror inte jag sett orden "signifikansnivå" eller "statistiskt säkerställd" förekomma en enda gång. I en stor artikel i ansedda New York Times (18/1 - 13, tyvärr bakom betalvägg) rapporteras om en ny opinionsundersöking om amerikanernas inställning till en mer restriktiv vapenlagstiftning. Artikeln kryllar av siffror som tas för givna och i de allra flesta fall helt utan några jämförelser över tid eller med andra mätningar. Allra längst ned i artikeln återfinns några fakta om undersökningen och om felmarginalen.
Det som skiljer svenska medier från de flesta av sina europeiska eller amerikanska motsvarigheter är mängden av opinionsundersökningar som rapporteras, samt att opinionsundersökningar i svenska medier ges en mer framträdande position på nyhetsplats.
Är det då rätt att rapportera om förändringar som ligger inom felmarginalen? Ja, det tycker jag. Ett parti kan minska med till exempel 0.2 procentenheter flera mätningar i rad. Varje enskild förändring ligger inom felmarginalen, men sammantaget kan dessa små förändringar kanske snart komma att utgöa en statistiskt säkerställd trend. Det avgörande är inte om utan hur man rapporterar. För redaktören gäller det att hitta de relevanta jämförelsepunkterna för att identifiera intresanta statistiskt säkerställda förändringar. Det är inte särskilt svårt, om man verkligen försöker.
I debatten glöms det ofta bort att vi av praxis använder en signifikansnivå på 95 procent, det vill säga det är 95 procents sannolikhet att förändringen inte är en statistisk slump. Men 95-procentsgränsen är godtycklig. Om vi skärper kraven till 98 eller 99 procent blir än färre förändringar statistiskt signifikanta (säkerställda). Om vi däremot sänker kraven till 90 procent blir betydligt fler förändringar statistiskt säkerställda (signifikanta).
Sammantaget: Det är utmärkt att medierapporteringen av opinionsundersökningar granskas kritiskt. Mycket kan bli bättre. Men vid en internationell jämförelse har svenska journalister ingenting att skämmas för. Snarare tvärtom.
8 kommentarer:
Jag tycker svenska opinionsundersökningar har ryckt upp sig, särskilt som flera nu äntligen har börjat redovisa utfallet i antalet mandat när det rör Riksdagsvalet.
När det gäller medias hantering av materialet tycker jag dock att det går år fel håll beroende på värderingar hos journalisten. När det gäller Sd så var det i höstas efter "järnrörsskandalen" en av fyra undersökningar där Sd backade inom felmarginalen, medan de gick fram inom den i de andra. Detta fick Nyheter 24 att gå ut med att Sd "rasade". Sånt inger inte förtroende, och inte heller det i ditt eget exempel i inlägget.
Jag prenumererar på Bill O'Reillys Talking Points på iTunes sedan flera år (inte för att jag delar värderingarna men för att jag vill ha en bredare bevakning än de demokratiska östkusttidningarna New York Times och Washington Post som uteslutande används av svenska journalister och utlandskorrespondenter.) Där sprutas opionionsundersökningar fram, särskilt vid de olika valen. Visserligen finns antalet utfrågade och felmarginaler med, men texten är lika liten och snabb som den i nederkanten av läkemedelsreklam. Om man fryser bilden så ser man dock att deras undersökningar har riktigt låg tillförlitlighet. antalet utfrågade är inte sällan mellan 3-500 personer och marginalen blir därefter, något O'Reilly och hans motståndare på öppet demokratiska MSNBC inte bryr sig om för att stärka sina åsikter.
Sålunda; Vi har en bra kultur hos opionionsinstitut och akademiska institutioner, en sämre kultur hos media men vi har långt kvar till den amerikanska situationen.
Tendenser innebär ingenting. En skillnad måste enligt den statistiska professionen vara säkerställd på vald signifikansnivå och svenska medier borde ha ett kroniskt dåligt samvete över sin rapportering av ickesignifikanta differenser.
Ditt resonemang är ett stort felslut. En rad ickesignifikanta skillnader innebär visst inte någon tendens utan betyder enbart en ny nollställning inför kommande mätningar.
Mats: Tack för synpunkter!
Anonym 4:28 Ditt resonemang får absurda konsekvenser. Låt oss anta att Moderaterna i februari 2013 får stöd av 30 procent av de tillfrågade i en opinionsmätning. Därefter tappar partiet varje månad 1 - 1.5 procentenheter (låt oss anpassa den täkta siffran så att minskningenhela tiden ligger inom felmarginalen i förhållande till föregående mätning). Lagom till valrörelsen 2014 har partiet i så fall ett väljarstöd på på omkring tio procent, utan att någon enskild förändring varit statistiskt säkerställd. Ändå påstår du att "tendenser innebär ingenting".
Bra synpunkter.
Slumpmässiga fel är en sida av saken. Systematiska fel är en annan sida som det talas mindre om. Visserligen har de institut som använder webbenkäter utsatts för en hel del framträdande kritik på sista tiden. Men de med telefonintervjuer har sluppit kritik. Trots att de som regel är dåliga på att förutsäga SD:s (underskattar) och möjligen också MP:s (överskattar) valresultat.
Du länkar till dina kollegor på Ekot, så jag antar att du jobbar där?
Ulf. En tendens innebär flera signifikanta skillnader i mätningar över tid. Det går, som du gör, inte att summera ickesignifikanta resultat och tala om tendens.
Håller med Erik, Sthlm om att såväl opinionsinstitut som medier förringar effekten av systematiska fel i mätresultat av opinioner.
I synnerhet redovisas och analyseras aldrig bortfallens storlek i enkäterna och dessas ev. systematiska effekt på resultaten
Opinionsundersökningar är mycket dåliga på att uppfatta en underliggande opinion, och i vilken riktning den rör sig. I Sverige blir problemet större, då medierna ofta slår upp enstaka mätningar stort, och inte sammanfattningar av ett flertal.
Skicka en kommentar