Maurice de magiër
Maurice de Hond brengt de resultaten van zijn peilingen met zo veel stelligheid dat ze de verkiezingsuitslag beïnvloeden. Terwijl het maar de vraag is wat er van klopt.
In de aanloop naar de verkiezingen worden we gebombardeerd met opiniepeilingen. Veel onderzoeksbureaus schroeven de frequentie van hun peilingen op, en journalisten gebruiken die steeds vaker. Maar hoe kan het dat die bureaus vaak tot zulke uiteenlopende voorspellingen komen? En wat maakt Maurice de Hond zo onbetrouwbaar? Opiniepeilers baseren hun schattingen van de zetelverdeling op een steekproef van Nederlanders, waarbij altijd toevallige verschillen kunnen ontstaan. Soms heb je zomaar een paar PvdA’ers of PVV’ers meer of minder. Zulke onnauwkeurigheden worden uitgedrukt in foutmarges, die afhangen van de omvang van de steekproef en die van een partij. Foutmarges variëren van drie à vier zetels voor grote partijen in peilingen met 1000 respondenten tot minder dan een halve zetel voor kleine partijen in een peiling met meer dan 10.000 deelnemers.
Op dit punt van de representativiteit – een basisprincipe uit de statistiek – gaat het meteen al mis bij Maurice de Hond en zijn Peil.nl. Want waar andere onderzoeksbureaus, zoals Ipsos Synovate (de Politieke Barometer) en TNS/NIPO, een willekeurige steekproef van Nederlanders trekken, zit de glazen bol van Maurice vol mensen die zichzelf hebben aangemeld. Het grote probleem van zo’n self-selected sample, is dat sommige groepen – bijvoorbeeld jonge meisjes, hoogbejaarden of niet-westerse allochtonen – er niet of nauwelijks in voorkomen, terwijl politiek geïnteresseerde internetgebruikers zwaar zijn oververtegenwoordigd. Maar als je wilt generaliseren naar de hele bevolking, is het cruciaal dat je uitgaat van een goede willekeurige steekproef. Ook foutmarges worden berekend op de aanname van zo’n random steekproef, en De Hond kan dus nooit weten hoe ver hij ernaast zit.
Schattingen van andere bureaus verschillen trouwens ook vaak meer van elkaar dan je zou kunnen verwachten op basis van de foutmarge. Zo zat er eind juli een discrepantie van 10 zetels voor de SP tussen de peiling van TNS/NIPO en die van Ipsos Synovate. Zulke afwijkingen moeten dus worden verklaard door de gebruikte methode. Cruciaal daarbij is de vraagstelling. TNS/NIPO wil – net als Maurice de Hond – simpelweg weten wat u zou stemmen als er vandaag Tweede Kamerverkiezingen zouden zijn. Ipsos Synovate en De Stemming daarentegen laten u vijf of tien stemmen verdelen over meerdere partijen, en meten op deze manier direct hoe zeker kiezers zijn van hun voorkeur. Ook de manier waarop de vragen worden afgenomen is van belang. Alle opiniepeilers benaderen hun respondenten tegenwoordig online; dat is het snelst en minst kostbaar. Sommige kiesgerechtigden – vooral bejaarden – hebben echter minder toegang tot internet; TNS/NIPO belt daarom een deel van de respondenten, wat de representativiteit ten goede komt. Ipsos Synovate doet dit ook af en toe ter controle.
Niet alleen De Hond heeft moeite met representativiteit; het is een probleem voor alle peilers, doordat sommige mensen, vooral hoger opgeleiden en politiek geïnteresseerden, eerder aan enquêtes meedoen dan andere groepen. Deze ‘meetfout’ wordt gecorrigeerd door weging: groepen die ondervertegenwoordigd zijn – zoals bejaarde dames – tellen dan zwaarder mee dan groepen die oververtegenwoordigd zijn. Weging gebeurt vooral op basis van geslacht, leeftijd, opleiding en stemgedrag bij de vorige verkiezingen.
Ook Maurice gebruikt deze truc om het nadeel van zijn selfselected sample te ondervangen. Daarvoor heeft hij een speciale ‘Methode-De Hond’ ontwikkeld, waarvan hij niet wil zeggen hoe die werkt. Maar het nadeel is natuurlijk dat de bejaarde dames die aan zijn peiling meedoen allesbehalve representatief zijn, en dat zijn peiling alleen maar onbetrouwbaarder wordt als hij hun antwoord zwaarder laat meetellen. En zelfs als de ‘Methode-De Hond’ superieur zou zijn, zoals hij zelf altijd beweert, dan blijft het probleem dat je gewoonweg niet weet wie uiteindelijk de gang naar de stembus maakt en hoeveel kiezers op het laatste moment nog switchen van partij. TNS/NIPO bijvoorbeeld enquêteert daarom alleen mensen die zeggen zeker weten te gaan stemmen.
En dan creëert De Hond creëert zelf nog extra meetproblemen. Ten eerste geeft hij zijn respondenten heel weinig tijd. Deelnemers aan Peil.nl moeten dezelfde middag nog antwoorden, anders is het te laat. Maurice wil immers onmiddellijk nieuws maken! Dit zorgt voor nog schevere resultaten, doordat mensen die net even druk zijn met werk of boodschappen doen, of net even niet achter de computer zitten (zoals mensen die geen kantoorbaan hebben) slecht vertegenwoordigd zullen zijn. Terwijl TNS/NIPO en Ipsos Synovate dit ondervangen door deze groepen meer tijd te geven of op andere manieren te benaderen, bijvoorbeeld per telefoon, doet Maurice net alsof dit geen probleem is. Erger nog is dat De Hond zijn respondenten regelmatig het hemd van het lijf vraagt over politieke kwesties voordat hij ze vraagt wat ze gaan stemmen. TNS/NIPO en Ipsos Synovate proberen sturing van de antwoorden te voorkomen door mensen niet over politieke onderwerpen aan de tand te voelen alvorens naar hun stemintentie te vragen. Maurice daarentegen vindt het juist wel interessant om respondenten een zetje te geven.
De Hond schept vaak op dat hij het zetelaantal van sommige partijen, zoals PVV en SP, beter kan voorspellen dan andere onderzoekers. Dat komt waarschijnlijk omdat Peil.nl populair is onder lager opgeleiden, die vaker PVV en SP stemmen en dat ook eerlijk zeggen. Over zaken die hij slechter voorspelt doordat zijn respondenten een bonte verzameling vormen van mensen die verre van representatief zijn voor de Nederlandse bevolking, zwijgt Maurice natuurlijk. Ook over de hocus pocus-methode die Maurice loslaat op zijn resultaten doet hij duister, zodat we het niet kunnen controleren.
De Amsterdamse politicologen Tom van der Meer en Armèn Hakhverdian hebben onlangs aangetoond dat de manier waarop peilingen gepresenteerd worden veel invloed heeft op de partijvoorkeur van kiezers: men wil graag bij de winnaar horen. Dit wordt ook wel het bandwagon-effect genoemd: als media berichten over een zetelwinst van een bepaalde partij, wordt deze partij aantrekkelijker voor kiezers. En vice versa: een bericht over zetelverlies van een bepaalde partij maakt de kans groter dat mensen niet meer voor deze partij kiezen. Peilingen zijn dus in zekere mate een selffulfilling prophecy. En dat is precies wat er zo fout is aan Maurice: de manier waarop hij zijn uitkomsten naar buiten brengt, zonder vermelding van onnauwkeurigheidsmarges, beïnvloedt rechtstreeks de opinie en stemvoorkeur van Nederlanders. Wie weet betaalt de SP hem wel om te zeggen dat ze zetels winnen. Zolang De Hond zijn opdrachtgevers en zijn methode geheimhoudt, moet u niet meer luisteren als Maurice zit te babbelen over kiezersbewegingen.
André Krouwel is de maker van Kieskompas.
Dit artikel is ook verschenen in het huidige septembernummer van maandblad HP/De Tijd.
