Fel man kan begå när man bedömer opinionsundersökningar

Det finns åtminstone två fel man kan begå när man bedömer partisympatiundersökningar. Det första felet är att man drar för långtgående slutsatser av en enskild mätning, särskilt om alla förändringar ligger inom felmarginalen. En mätning är ingen mätning, är en god utgångspunkt. Det andra felet är att man är så fixerad vid antagandet att alla icke-signifikanta förändringar är ointressanta att man missar långsiktiga opinionsförändringar. Om Socialdemokraterna till exempel ökar med 0.5 procentenheter flera mätningar i rad är varje enskild ökning inom felmarginalen, men sett över tid blir förändringen så småningom signifikant.

I Sifo:s januarimätning 2013 hade de rödgröna partierna ett försprång i opinionen över Alliansen på 4 procentenheter, 47.2 mot 43.2 procent. I Sifo:s decembermätning som publicerades i natt var de rödgrönas försprång hela 12.6 procentenheter, 51.3 mot 38.7 procent. De rödgrönas försprång har således tredubblats under året, trots att de flesta kommentatorer (inklusive undertecknad) betonat stabiliteten i opinionsläget. Ökningen från 4.0 till 12.6 procentenheter har kunnat äga rum trots att det sammantaget under året bara varit en handfull signifikanta förändringar i opinionen mellan varje enskild mätning. Göran Eriksson i SvD beskriver opinionsutvecklingen under året som "en bred och trögflytande flod."

I den nu aktuella Sifo-mätningen leder de rödgröna således med 12.6 procentenheter. Det kan förefalla mycket, men i motsvarande mätning från december 2009 var försprånget 11.4 procentenheter. Så ingenting är givet, även om jag har svårare att se de politiska förutsättningarna för Alliansen att hämta in försprånget denna gång.

Hoppet för Alliansen är att Socialdemokraterna fortfarande inte lyfter i opinionen. Det kan vara så att miljövännerna bland de rödgröna går till Miljöpartiet och de som tycker att Socialdemokraterna gått för långt mot mitten väljer Vänsterpartiet.

För att bryta den onda cirkeln behöver Socialdemokraterna formulera kreativa, tydliga och ideologiskt förankrade förslag som Alliansen inte kan triangulera bort. Jag antar att den socialdemokratiska partiledningen tacksamt tar emot alla tips.

Kan Twitter förutsäga valresultatet?

I dag skriver jag på Ajour angående en studie som påstår att innehållet i twitterflödet kan förutsäga valresultat lika bra som traditionella opinionsundersökningar. Är det verkligen så? Ett utdrag ur texten kan läsas nedan. Hela texten kan läsas här.


Men kanske är de klassiska opinionsundersökningarnas storhetstid snart förbi. Den snabba framväxten av sociala medier – inte minst Twitter – ger nya möjligheter att studera medborgarnas känslor, värderingar och åsikter. I studien ”Election Forecasts With Twitter: How 140 Characters Reflect the Political Landscape” (Social Science Computer Review, 29(4) 402-418) argumenterar författarna för att andelen gånger ett av de sex största tyska partierna nämndes på Twitter i valkampanjen 2009 förutsade valresultatet lika träffsäkert som de genomförda opinionsundersökningarna. Så nämndes till exempel CDU i 30.1 procent av Twittertrafiken, och erhöll 29.0 procent av rösterna. Socialdemokraterna nämndes i 26.6 procent av Twittertrafiken, och fick 24.5 procent av rösterna. Den genomsnittliga procentavvikelsen för de sex partierna stannade vid 1.65 procent.

Studien har kritiserats på metodologiska grunder, främst för att ha anpassat tidsperioden på ett sätt som gynnade undersökningsresultatet samt att ha valt bort Piratpartiet som var oproportionerligt förekommande i Twittertrafiken. Författarna försvarar sig med att Piratpartiet valdes bort för att möjliggöra en jämförelse med de traditionella opinionsinstituten och att huvudresultaten kvarstår även om man laborerar med tidsperioderna.

Om de tyska forskarna har rätt väcks frågan om det vi kallar kausala mekanismer. Hur kan det vara så att twitteromnämnanden har så starka samband med  folkopinioner trots att twitteranvändarna inte på något sätt är representativa för befolkningen som helhet? Här är det inte fråga om några obundna slumpmässiga urval, inga viktningar och inga signifikansnivåer eller felmarginaler. Ändå fungerar det. Eller? Till dess frågor ämnar jag återkomma i ett senare sammanhang.

Svenska medier och alla dessa opinionsundersökningar

Radioprogrammet Medierna granskade i dag journalisters förhållande till opinionsundersökningar. Det är bra. Opinionsundersökningar har stort nyhetsvärde i svensk journalistik. Frestelsen är stor för ansvarig redaktör att i stort uppslagna rubriker lyfta fram och övervärdera förändringar som inte är statistiskt säkerställda. Särskilt stor blir frestelsen för de tidningar eller andra medieaktörer som själva beställt och betalat för en undersökning. Därför är det viktigt att opinionsjournalistiken kontinuerligt utsätts för en kritisk granskning.

Särskilt omdiskuterad blev Expressens rubrik "Fritt fall för Lööf" för någon vecka sedan, då en förtroendemätning från Demoskop gav Centerledaren hennes sämsta siffra någonsin. Problemet var att förändringen i förhållande till föregående mätning inte var statistiskt säkerställd. Visserligen framgick det av artikeln att förändringen inte var statistiskt signifikant, men det påpekandet kom bort i förhållande till den braskande rubriksättningen. Uppdaterat 21 maj 2013: Sedan bloggtexten skrevs har Anders Lindholm, VD för Demoskop, förtydligat att nedgången för Annie Lööf faktiskt var statistiskt signifikant.

Jag är inte fullt lika negativ till svenska mediers hantering av opinionsundersökningar som flera av mina kollegor är. Min bedömning är att svenska medier vid en internationell jämförelse ligger långt fram när det gäller att kritiskt reflektera eller släppa fram kritiska röster till opinionsmätningar. Jag följer nu israelisk press inför valet till Knesset på tisdag. Opinionsmätningarna är många. Urvalen är i allmänhet betydligt mindre än i motsvarande svenska undersökningar. Jag tror inte jag sett orden "signifikansnivå" eller "statistiskt säkerställd" förekomma en enda gång. I en stor artikel i ansedda New York Times (18/1 - 13, tyvärr bakom betalvägg) rapporteras om en ny opinionsundersöking om amerikanernas inställning till en mer restriktiv vapenlagstiftning. Artikeln kryllar av siffror som tas för givna och i de allra flesta fall helt utan några jämförelser över tid eller med andra mätningar. Allra längst ned i artikeln återfinns några fakta om undersökningen och om felmarginalen.

Det som skiljer svenska medier från de flesta av sina europeiska eller amerikanska motsvarigheter är mängden av opinionsundersökningar som rapporteras, samt att opinionsundersökningar i svenska medier ges en mer framträdande position på nyhetsplats.

Är det då rätt att rapportera om förändringar som ligger inom felmarginalen? Ja, det tycker jag. Ett parti kan minska med till exempel 0.2 procentenheter flera mätningar i rad. Varje enskild förändring ligger inom felmarginalen, men sammantaget kan dessa små förändringar kanske snart komma att utgöa en statistiskt säkerställd trend. Det avgörande är inte om utan hur man rapporterar. För redaktören gäller det att hitta de relevanta jämförelsepunkterna för att identifiera intresanta statistiskt säkerställda förändringar. Det är inte särskilt svårt, om man verkligen försöker.

I debatten glöms det ofta bort att vi av praxis använder en signifikansnivå på 95 procent, det vill säga det är 95 procents sannolikhet att förändringen inte är en statistisk slump. Men 95-procentsgränsen är godtycklig. Om vi skärper kraven till 98 eller 99 procent blir än färre förändringar statistiskt signifikanta (säkerställda). Om vi däremot sänker kraven till 90 procent blir betydligt fler förändringar statistiskt säkerställda (signifikanta).

Sammantaget: Det är utmärkt att medierapporteringen av opinionsundersökningar granskas kritiskt. Mycket kan bli bättre. Men vid en internationell jämförelse har svenska journalister ingenting att skämmas för. Snarare tvärtom.

Tänker TV4 ägna sig åt opinionsjournalistisk desinformation?

Alla dessa opinionsundersökningar som kom och gick, inte visste jag att det var livet. Så är det kanske lätt att känna i dessa valtider. Det pågår också en debatt om betydelsen av alla de opinionsmätningar som genomförs. En del menar att politiker och partistrateger jagar vind när de fokuserar på opinionsundersökningar i stället för på sakfrågor. Andra menar att opinionsundersökningar utgör ett viktigt verktyg för politiker, väljare och media när de på olika sätt skall förhålla sig till det politiska livet och till människors åsikter och värderingar.

Jag tror inte att opinionsundersökningarna är fler i denna valrörelse än vad de var i den förra. Möjligen diskuteras de mer - vilket är bra. Allt fler har också låtit sig inspireras av Henrik Oscarssons initiativ att inte bara publicera enskilda mätningar - vilka ju kan variera avsevärt - utan också en sammanställning, ett index, av mätningar från flera opinionsinstitut. En "mätningarnas mätning" eller en "poll of polls".

TV4 väljer att gå den motsatta vägen och kommer fortsättningsvis endast att redovisa och kommentera opinionsundersökningar från ett enda institut - Novus. TV4:s motivering är något märklig: Även om de olika opinionsmätningarna kan ge en hyggligt samstämmig bild av trenderna bland väljarna så tittar många just på de enskilda siffrorna för partierna. Därför riskerar vi inom media att förvirra om vi redovisar alla undersökningar. (...) Därför kommer vi från och med nu och fram till valet att bara redovisa, och referera till, våra egna mätningar från Novus.

TV4 argumentation är rimlig endast så länge Novus resultat inte skiljer sig från övriga opinionsinstitut. Men eftersom olika institut använder olika urvalsmetoder, olika tekniker och frågeformuleringar och även viktar de inkomna svaren på olika sätt så blir skillnaderna mellan de olika institutens resultat inte sällan väldigt olika. Om mätningar från Sifo, Demoskop, Skop och United Mind t ex visar att KD kommer att trilla ur riksdagen medan mätningar från Novus i stället visar att KD stannar kvar så kommer TV4:s tittare fortsättningsvis endast att informeras om Novus resultat. I så fall är det snudd på journalistisk desinformation, säger jag.

Uppdaterat 25/8 kl 15.05: Efter min kritik här på bloggen - och säkert från annat håll också - har TV4 nu ändrat sig. I en reviderad version av länken ovan skriver TV4 nu att Trender och tendenser som kan utläsas ur flera undersökningar kommer vi naturligtvis fortsätta göra inslag, och skriva webbartiklar, om. Och kommer det en uppseendeväckande förändring för något parti, eller sida, så kan det ju naturligtvis inte förbigås nyhetsmässigt. Bra!

Opinionsläget har varierat kraftigt under den innevarande mandatperioden. Jag har inte gjort någon empirisk undersökning, men jag tror faktiskt inte att avståndet mellan de båda blocken någonsin varierat så kraftigt under en mandatperiod som det har gjort under denna. I några mätningar 2007 var det rödgröna blocket nästan 20 procentenheter större än Alliansen. I den senaste Sifo-mätningen i söndags var Alliansen i stället drygt 7 procentenheter större än de rödgröna. Variationerna är ett uttryck för väljarnas ökade rörlighet, men kanske också för att partierna närmar sig varandras förslag i större utsträckning än tidigare.

Teknikutvecklingen och den accelererande individualiseringen sätter också opinionsinstituten på svåra prov. Svenska opinionsundersökningar är fortfarande bland de absolut bästa i världen. Men svarsfrekvenserna tenderar att sjunka och mobiltelefonin påverkar intervjusituationen för svarspersonerna. Det är en sak att bli uppringd på en stationär telefon i hemmet under lugna och ordnade former. Det är en annan sak att bli uppringd på mobilen när man befinner sig i affären, hos vänner, på restaurangen eller på Gamla Ullevi.

Sammantaget är det inför detta val svårare att utifrån opinionsundersökningarna uttala sig om valresultatet. Senast i dag kom det en mätning från United Mind som visade på en liten rödgrön ledning över Alliansen - dock så liten att den inte är signifikant utan i praktiken var det dött lopp mellan blocken. Men varje mätning till det egna blockets fördel - hur liten den än kan vara - fungerar mobiliserande för partiaktivister och valarbetare. Däri ligger också en av mätningarnas största betydelser.