Bij goed verkiezingsonderzoek moet je zorgen dat de resultaten representatief zijn voor Nederland. Maar hoe kan het dan dat inmiddels meer dan 3% in het onderzoek aangeeft BBB gestemd te hebben bij de Tweede Kamerverkiezingen van 2021? Als je niet oplet dan heeft dat een verlagend effect op de uitslag van BBB in actuele peilingen.
Lees volledig artikel: BBB haalde 5 zetels bij TK2021!?
BBB haalde 5 zetels bij TK2021!?
Het belang van een goede steekproef
Met regelmaat krijg ik vragen hoe het toch kan dat een eigen onderzoek dat gedaan is, zo verschilt van onderzoeksresultaten, waarmee ik o.a. naar buiten kom. Men voert bijvoorbeeld een poll via Twitter en daar bleek toch duidelijk dat……(vul in: “Niemand meer VVD stemt” of “Een kwart FVD gaat stemmen” of “80% wil dat we in Nederland stoppen met de landbouw”). Vaak nog met de toevoeging, dat er toch echt heel veel mensen aan het onderzoek hebben meegedaan.
Daarbij gaat men voorbij aan de kern van het uitvoeren van goed onderzoek “als je een uitspraak wilt doen over de opvattingen/situatie in een bepaalde groep, dan moet je ervoor zorgen dat je zeker weet dat de deelnemers aan het onderzoek een goede vertegenwoordiging zijn van de hele groep”. Dus als je een uitspraak wilt doen over de opvattingen van alle Nederlanders, dan moeten de deelnemers van het onderzoek alle Nederlanders goed vertegenwoordigen (dat heet “representatief”).
De juiste groep
Bij die Twitteronderzoeken en behoorlijk wat andere onderzoeken is dat niet het geval. De uitslagen vertegenwoordigen alleen de opinies van de deelnemers aan het onderzoek, maar meer dan dat is het niet. Dat kan in sommige gevallen goed genoeg zijn, maar dan moet je niet de pretentie hebben dat je uitspraken kan doen over een grotere groep.
Een goed voorbeeld van hoe het mis kan gaan was een groot onderzoek dat aantoonde, zoals in het nieuws kwam, dat 40% van de werknemers ontevreden was over hun werk. Inderdaad was het een groot onderzoek (230.000 deelnemers), maar het was wel gehouden op een vacaturesite. Dat is dus de plek waar mensen naar een nieuwe baan zoeken. Kortom: het vertegenwoordigt niet alle werkenden, maar alleen degenen die een baan zoeken.
Ik kan een waslijst geven van dergelijke fouten in het onderzoek. Op deze site zijn ook diverse voorbeelden beschreven van onderzoek van het RIVM, waarin iets dergelijks gebeurde. Kortom: als ik resultaten van onderzoeken ergens tegenkom die ik interessant vind, check ik wel eerst wat er is gebeurd rondom het zeker stellen van de representativiteit.
Steeds moeilijker
Ook als je beseft dat je voor die representativiteit moet zorgen bij het onderzoek, is het steeds moeilijker geworden om dat te regelen. Dat komt met name doordat een behoorlijk deel van de mogelijke deelnemers aan een onderzoek er niet aan mee (wil) doen. Ik ben al meer dan 50 jaar actief bij onderzoeken en ik stel vast dat dit een steeds grotere uitdaging is geworden. Ondanks het feit dat het – door internet – steeds makkelijker en goedkoper is geworden om vragenlijsten af te nemen.
Om dat probleem aan te pakken wordt bij goed onderzoek gewerkt met “weging”. Dat houdt in dat elke deelnemer een eigen waarde krijgt voor de mate waarin hij voor het onderzoek telt. Eenvoudig uitgelegd: Stel dat aan een onderzoek 60% mannen en 40% vrouwen hebben meegedaan dan werkt dat door iedere man voor 5/6e mee te tellen en iedere vrouw voor 5/4e. Voor ieder kenmerk waarvan je de totale verdeling in het echt kent, kan je die wegingsprocedure toepassen. Dat is naast geslacht ook bij kenmerken zoals leeftijd, regio, inkomensniveau en opleiding.
Hoewel daarmee inderdaad gezorgd wordt dat de verhoudingen voor de bekende kenmerken gelijk lopen met de landelijke informatie, doe je hierbij wel een aanname: dat een persoon met bepaalde kenmerken die wel aan het onderzoek deelneemt een goede vertegenwoordiger is van een persoon met dezelfde kenmerken die niet aan het onderzoek deelneemt. En ook daar zijn steeds meer vraagtekens bij te zetten.
Verkiezingsprognoses
Bij veel onderzoeksresultaten zal je nooit weten of de uitslagen, na de uitgevoerde wegingen, dichtbij de resultaten zitten die je zou krijgen als echt alle Nederlanders hadden meegedaan aan het onderzoek. Daar wordt dan van uitgegaan en ook als de afwijking enkele procenten zou zijn is dat voor de conclusies van zo een onderzoek vaak niet erg.
Maar er is één onderzoek waarbij wel met regelmaat vastgesteld wordt wat de werkelijke landelijke stand is. Dat is verkiezingsonderzoek. Om de zoveel tijd vinden er namelijk verkiezingen plaats en weten we wat al die miljoenen opgekomen kiezers hebben gestemd.
Ook als je een perfect onderzoek kan uitvoeren op de dag VOOR de verkiezingen dan nog echter kan de uitslag de dag erna verschillen van dat onderzoek. Omdat een deel van de kiezers bij het onderzoek aangaf nog niet te weten wat te stemmen of tussen meerdere partijen twijfelde en een deel van de ondervraagden op de verkiezingsdag zelf een andere keuze maakte of thuis bleef.
Als ik alle laatste peilingen die ik in mijn leven heb gedaan vergelijk met de verkiezingsuitslag dan stel ik vast dat bij de meeste partijen de uitslag goed leek op die laatste peiling, maar dat er altijd wel een paar partijen waren met een opmerkelijk verschil. Soms kon die verklaard worden door electorale bewegingen op de laatste dag, maar soms ook doordat bij de peiling zelf een bepaalde groep kiezers niet goed vertegenwoordigd was.
Direct na de verkiezingen
Het onderzoek dat wel goede resultaten zou moeten opleveren is het onderzoek dat kort na een verkiezing wordt uitgevoerd en vraagt naar wat men gestemd heeft bij die verkiezing. Hoewel er wel een trend lijkt dat mensen dan wat meer zeggen de grote winnaar gestemd te hebben dan in werkelijkheid (“bandwagon effect”) is dat voor een onderzoeker naar de electorale ontwikkelingen de “fijnste” periode. Op dat moment kan je namelijk dat laatste stemgedrag goed gebruiken als wegingsfactor.
Bij de laatste verkiezing heeft 19% BBB gestemd, dus in je onderzoek zorg je via de weging dat 19% van de opgekomen kiezers BBB stemt. Als dan de vraag “wat zou u nu stemmen” 22% BBB geeft, dan weet je zeker dat er onder de kiezers sprake is geweest van een stijging. Hetgeen je mede kan analyseren door de overgangen tussen partijen en het stemgedrag bij de verkiezing en dat bij de nieuwste peiling.
Het verbaast me toch als ik kort na verkiezingen tussen de verschillende bureaus duidelijke verschillen in uitslagen zie. Ten aanzien van Ipsos komt dat trouwens vooral doordat dat bureau de peilingsuitslag baseert op het verdelen van 10 stemmen door de ondervraagden over de partijen.
De grote valstrik
Bij peilingen naar politieke voorkeur, zoals o.a. ik die via Peil.nl uitvoer, speelt bij de wegingen de factor “wat gestemd bij de laatste Tweede Kamerverkiezingen” een belangrijke rol. Daarmee zorg je dat in je onderzoek de uitslag van de laatste Tweede Kamerverkiezingen goed terug te vinden is.
Daar zit echter een grote valstrik in. Die ik al vanaf de start van mijn peilingen in 1976 signaleer. Naarmate de vorige verkiezingen verder weg zijn in het verleden herinnert een steeds groter deel van de ondervraagde niet meer goed wat ze toen gestemd hebben. Een partij die bij de peilingen fors in de lift zit, krijgt meer mensen die zich menen te herinneren die partij al bij de laatste verkiezing gestemd te hebben en andersom.
Mede daardoor heb ik bij mijn peilingen een panel waarbij ik – in ieder geval bij een deel van de kiezers – echt weet wat ze bij die vorige verkiezing hebben gestemd. Want direct na die verkiezing toen is het ze gevraagd en die informatie ligt dan vast.
Het is inmiddels meer dan 2 jaar na de vorige Tweede Kamerverkiezingen en dat proces van niet meer goed weten wat men in 2021 gestemd heeft blijkt fors toegeslagen te hebben. Als ik een vergelijking maak tussen wat mensen in 2021 echt hebben gestemd en wat ze nu zeggen gestemd te hebben dan geeft nog maar 84% de juiste partij op. Als ze een andere partij noemen dan is het doorgaans de partij die ze bij de PS2023 hebben gestemd en/of nu zouden stemmen.
Dat heeft twee grote gevolgen als je dus niet echt weet wat mensen in 2021 hebben gestemd:
- Je onderschat de electorale bewegingen vanaf TK2021. Want een deel van die bewegingen wordt als het ware gemaskeerd door de foutieve herinnering aan de gekozen partij.
- De grote winnaar van een recente verkiezing wordt sterk overschat bij het vorig stemgedrag en dat kan een duidelijk nadelig effect hebben op de huidige uitkomst van de peiling.
Bij BBB valt dat tweede punt heel goed te zien. Terwijl die partij in 2021 1 zetel haalde, is de uitslag op basis van de herinnering van het stemgedrag nu maar liefst 5 zetels. Bijna 4% van de Nederlanders zegt nu dat ze in 2021 BBB stemden, terwijl dat 1% was.
Het gevolg kan daarvan zijn dat de huidige score van BBB in de peiling een onderschatting van de werkelijkheid is. Want als in je steekproef de BBB 5 zetels in 2021 haalde en nu op 30 zetels komt dan is dus de vraag of BBB van 1 naar 30 is gestegen (+29) of van 5 naar 30 (+25).
Dit is een simpele beschrijving van de problematiek waarvoor je staat bij het berekenen van de peilingsuitslag, maar het is wel een belangrijk punt van zorg bij het bekijken van peilingsuitslagen.
Juist met een partij die van bijna niets naar circa een vijfde van de bevolking is gestegen is er een extra uitdaging om het verloop van de omvang van de aanhang goed te volgen. Daarbij kunnen makkelijk fouten worden gemaakt, waarna bij een volgende verkiezing men – weer – verbaasd is over de uitslag.
U heeft zojuist gelezen: BBB haalde 5 zetels bij TK2021!?
Volg Maurice de Hond op Twitter | Facebook | LinkedIn | YouTube.
Deze website opereert dankzij de financiële steun van de bezoekers en kent geen paywall of adverteerder. Klik hier als u een (kleine) donatie wilt geven. Onze dank is groot.
