Fel man kan begå när man bedömer opinionsundersökningar

Det finns åtminstone två fel man kan begå när man bedömer partisympatiundersökningar. Det första felet är att man drar för långtgående slutsatser av en enskild mätning, särskilt om alla förändringar ligger inom felmarginalen. En mätning är ingen mätning, är en god utgångspunkt. Det andra felet är att man är så fixerad vid antagandet att alla icke-signifikanta förändringar är ointressanta att man missar långsiktiga opinionsförändringar. Om Socialdemokraterna till exempel ökar med 0.5 procentenheter flera mätningar i rad är varje enskild ökning inom felmarginalen, men sett över tid blir förändringen så småningom signifikant.

I Sifo:s januarimätning 2013 hade de rödgröna partierna ett försprång i opinionen över Alliansen på 4 procentenheter, 47.2 mot 43.2 procent. I Sifo:s decembermätning som publicerades i natt var de rödgrönas försprång hela 12.6 procentenheter, 51.3 mot 38.7 procent. De rödgrönas försprång har således tredubblats under året, trots att de flesta kommentatorer (inklusive undertecknad) betonat stabiliteten i opinionsläget. Ökningen från 4.0 till 12.6 procentenheter har kunnat äga rum trots att det sammantaget under året bara varit en handfull signifikanta förändringar i opinionen mellan varje enskild mätning. Göran Eriksson i SvD beskriver opinionsutvecklingen under året som "en bred och trögflytande flod."

I den nu aktuella Sifo-mätningen leder de rödgröna således med 12.6 procentenheter. Det kan förefalla mycket, men i motsvarande mätning från december 2009 var försprånget 11.4 procentenheter. Så ingenting är givet, även om jag har svårare att se de politiska förutsättningarna för Alliansen att hämta in försprånget denna gång.

Hoppet för Alliansen är att Socialdemokraterna fortfarande inte lyfter i opinionen. Det kan vara så att miljövännerna bland de rödgröna går till Miljöpartiet och de som tycker att Socialdemokraterna gått för långt mot mitten väljer Vänsterpartiet.

För att bryta den onda cirkeln behöver Socialdemokraterna formulera kreativa, tydliga och ideologiskt förankrade förslag som Alliansen inte kan triangulera bort. Jag antar att den socialdemokratiska partiledningen tacksamt tar emot alla tips.

Svenska medier och alla dessa opinionsundersökningar

Radioprogrammet Medierna granskade i dag journalisters förhållande till opinionsundersökningar. Det är bra. Opinionsundersökningar har stort nyhetsvärde i svensk journalistik. Frestelsen är stor för ansvarig redaktör att i stort uppslagna rubriker lyfta fram och övervärdera förändringar som inte är statistiskt säkerställda. Särskilt stor blir frestelsen för de tidningar eller andra medieaktörer som själva beställt och betalat för en undersökning. Därför är det viktigt att opinionsjournalistiken kontinuerligt utsätts för en kritisk granskning.

Särskilt omdiskuterad blev Expressens rubrik "Fritt fall för Lööf" för någon vecka sedan, då en förtroendemätning från Demoskop gav Centerledaren hennes sämsta siffra någonsin. Problemet var att förändringen i förhållande till föregående mätning inte var statistiskt säkerställd. Visserligen framgick det av artikeln att förändringen inte var statistiskt signifikant, men det påpekandet kom bort i förhållande till den braskande rubriksättningen. Uppdaterat 21 maj 2013: Sedan bloggtexten skrevs har Anders Lindholm, VD för Demoskop, förtydligat att nedgången för Annie Lööf faktiskt var statistiskt signifikant.

Jag är inte fullt lika negativ till svenska mediers hantering av opinionsundersökningar som flera av mina kollegor är. Min bedömning är att svenska medier vid en internationell jämförelse ligger långt fram när det gäller att kritiskt reflektera eller släppa fram kritiska röster till opinionsmätningar. Jag följer nu israelisk press inför valet till Knesset på tisdag. Opinionsmätningarna är många. Urvalen är i allmänhet betydligt mindre än i motsvarande svenska undersökningar. Jag tror inte jag sett orden "signifikansnivå" eller "statistiskt säkerställd" förekomma en enda gång. I en stor artikel i ansedda New York Times (18/1 - 13, tyvärr bakom betalvägg) rapporteras om en ny opinionsundersöking om amerikanernas inställning till en mer restriktiv vapenlagstiftning. Artikeln kryllar av siffror som tas för givna och i de allra flesta fall helt utan några jämförelser över tid eller med andra mätningar. Allra längst ned i artikeln återfinns några fakta om undersökningen och om felmarginalen.

Det som skiljer svenska medier från de flesta av sina europeiska eller amerikanska motsvarigheter är mängden av opinionsundersökningar som rapporteras, samt att opinionsundersökningar i svenska medier ges en mer framträdande position på nyhetsplats.

Är det då rätt att rapportera om förändringar som ligger inom felmarginalen? Ja, det tycker jag. Ett parti kan minska med till exempel 0.2 procentenheter flera mätningar i rad. Varje enskild förändring ligger inom felmarginalen, men sammantaget kan dessa små förändringar kanske snart komma att utgöa en statistiskt säkerställd trend. Det avgörande är inte om utan hur man rapporterar. För redaktören gäller det att hitta de relevanta jämförelsepunkterna för att identifiera intresanta statistiskt säkerställda förändringar. Det är inte särskilt svårt, om man verkligen försöker.

I debatten glöms det ofta bort att vi av praxis använder en signifikansnivå på 95 procent, det vill säga det är 95 procents sannolikhet att förändringen inte är en statistisk slump. Men 95-procentsgränsen är godtycklig. Om vi skärper kraven till 98 eller 99 procent blir än färre förändringar statistiskt signifikanta (säkerställda). Om vi däremot sänker kraven till 90 procent blir betydligt fler förändringar statistiskt säkerställda (signifikanta).

Sammantaget: Det är utmärkt att medierapporteringen av opinionsundersökningar granskas kritiskt. Mycket kan bli bättre. Men vid en internationell jämförelse har svenska journalister ingenting att skämmas för. Snarare tvärtom.

Henrik Brors (DN) och opinionsjournalistikens svåra konst

Avståndet mellan de politiska blocken minskar i opinionen och är nu så litet att det inte ens är statistiskt säkerställt. Det visar DN/Synovates januarimätning. Så skrev Dagens Nyheters politiske reporter Henrik Brors i en artikel den 29 januari i år. Bakgrunden var en enskild mätning från Synovate där det rödgröna försprånget i opinionen hade minskat till 2.9 procent. I artikeln diskuterar Henrik Brors olika förklaringar till varför det rödgröna försprånget försvunnit och vad det kan få för konsekvenser för den fortsatta politiska debatten. Inte någonstans i artikeln markerar Henrik Brors insikt om att andra mätningar som genomförts vid ungefär samma tillfälle pekar i en helt annan riktning, eller att det är omöjligt att dra slutsatser utifrån en enskild mätning.

En som upprördes av Henrik Brors sätt att hantera opinionsundersökningen är professorn i journalistik Jesper Strömbäck. Under rubriken Missvisande opinionsjournalistik, DN skriver Jesper Strömbäck på sin blogg att Henrik Brors gör en rad fel när han redovisar undersökningen, framför allt att han undanhåller läsarna att förändringarna inte är statistiskt säkerställda utan tvärtom ger bilden av att viktiga förändringar har skett; och han antyder att förändringarna åtminstone delvis beror på att Mona Sahlin och de rödgröna har börjat ge besked om sin politik, utan att det finns något som helst stöd för det i opinionsundersökningen.
Statsvetarprofessorn Henrik Oscarsson är också utomordentligt kritisk mot DN:s och Henrik Brors rapportering, vilken han i programmet Medierna i P 1 (6/2) karaktäriserar som "oärlig" och att den "brister i saklighet".

Det är naturligtvis bekymmersamt när den politiska reportern på landets största morgontidning inte förmår eller vill referera opinionsundersökningar på ett professionellt sätt. I SVT Agenda kl 21.15 i kväll möts just Jesper Strömbäck och Henrik Brors i en debatt om opinionsjournalistik. Debatten lär bli en intressant och sevärd tillställning. Kanske återkommer jag efter debatten med en uppdatering av denna post.

Uppdatering kl 21.55, efter inslaget i Agenda. Henrik Brors kom lindrigt undan, även om Jesper Strömbäck gjorde en gedigen insats. Det som kom bort i debatten är tidningarnas oskick att dra för långtgående slutsatser utifrån en enskild mätning. I Henrik Brors fall fick man i den ovan nämnda artikeln dessutom intrycket att ett önsketänkande låg i botten.