Onderbouwing Corona-enquête #6 — Vast Patroon

Vast patroon

Als er belangrijke onderzoeksrapporten verschenen, in binnen- en buitenland, las ik die vaak. Maar ik was regelmatig verbijsterd over de grote tekortkomingen en fouten die ik daarin zag. Vaak ging het bovendien om onderzoeken met meerdere auteurs en een begeleidingscommissie met gerenommeerde namen (waaronder diverse hoogleraren).

Het patroon was steeds hetzelfde:

men trok conclusies die het dominante verhaal ondersteunden, terwijl de resultaten van het onderzoek dat niet toelieten.

Het was dan vaak wetenschappelijk gezien beschamend hoe men toch tot die conclusies kwam. Maar in het openbaar hoorde je daar vanuit de wetenschappelijke wereld geen kritiek op, want weinigen durfden het aan om in het openbaar uitspraken te doen die het dominante verhaal ondergroeven.

Aan de hand van drie onderzoeken illustreer ik dit proces; ik had er tientallen kunnen kiezen. Op mijn website heb ik die cases uitgebreid beschreven. Hieronder volgt alleen de samenvatting.

1. RIVM-onderzoek naar infectieratio gevaccineerd/ongevaccineerd

Eind februari 2022 werd een rapport gepubliceerd, geschreven door een groot aantal prominente onderzoekers van het RIVM; daarover verscheen ook een persbericht. Zie voor de uitgebreide beschrijving mijn artikel hierover. Het betrof 530.000 PCR-testen die in de maanden ervoor waren uitgevoerd: 80.000 positief en 450.000 negatief. Onder de ongevaccineerde geteste personen was een duidelijk hoger percentage positief dan onder de gevaccineerde geteste personen.

Dat verschil werd in het rapport vervolgens toegeschreven aan de bescherming die de vaccinatie zou bieden. Er waren immers beduidend minder gevaccineerden positief dan ongevaccineerden.

Maar die conclusie kan zo niet worden getrokken. Dit was namelijk geen steekproef van gevaccineerden en ongevaccineerden, maar betrof mensen die zich om de een of andere reden vrijwillig hadden laten testen.

Het is heel goed voorstelbaar dat wie zich wél had laten vaccineren en klachten kreeg, zich — beduidend — sneller liet testen om zekerheid te krijgen, dan wie zich niet had laten vaccineren.

En dus kon het verschil in infectiepercentage tussen gevaccineerden en ongevaccineerden niet worden gezien als een weergave van de bescherming door het vaccin. Desondanks gebeurde dat wel. Het artikel werd gepubliceerd op een wetenschappelijke website (preprintserver medRxiv), maar kwam kennelijk niet langs een peer review en is – terecht – nooit in een tijdschrift gepubliceerd.

2. NIVEL-rapport “Oversterfte tijdens de coronapandemie”

Over dit op 2 september 2024 gepubliceerde rapport is een groot aantal artikelen op maurice.nl geplaatst.

De kop van het NIVEL-persbericht gaf de bevindingen van het rapport weer: “Ondersterfte bij COVID-19-gevaccineerden en oversterfte bij ongevaccineerden.”

Ook dit onderzoek had ernstige methodologische problemen, en de conclusies waren volledig op drijfzand gebaseerd.

Het eerste ernstige methodologische probleem is dat de gehanteerde groepen niet zuiver vergelijkbaar waren. De groep die als “ongevaccineerd” werd aangeduid, bestond namelijk voor een aanzienlijk deel helemaal niet uit werkelijk ongevaccineerden: een groot deel was wél gevaccineerd, maar wilde niet dat die informatie aan het RIVM werd doorgegeven. In sommige leeftijdsgroepen ging het zelfs om meer dan de helft mensen die wél gevaccineerd waren, maar niet wilden dat hun vaccinatiestatus op naam werd geregistreerd.

Daarmee werd de centrale vergelijking direct ernstig vervuild: men vergeleek niet zuiver gevaccineerden met ongevaccineerden, maar gevaccineerden-met-registratie met een restgroep waarin ook veel gevaccineerden-zonder-naamregistratie zaten.

Daarbovenop kwam een tweede grote vertekening. In de groep “ongevaccineerden” zaten relatief veel meer mensen die in de weken vóór het geplande vaccinatiemoment intensieve of terminale zorg ontvingen. Dat zijn bij uitstek mensen met een sterk verhoogde kans om op korte termijn te overlijden. Deze groep kwam, volgens de analyse, meer dan tien keer zo vaak voor bij de zogenoemde ongevaccineerden als bij de gevaccineerden. Daardoor werd de sterfte in de ongevaccineerde groep kunstmatig verhoogd, zonder dat dit iets hoeft te zeggen over het effect van vaccinatie.

De logische wetenschappelijke aanpak zou zijn geweest om deze terminale of zeer kwetsbare patiënten buiten de analyse te houden, omdat zij het beeld van vaccinatie-effecten onvermijdelijk verstoren. NIVEL deed dat niet. Men koppelde patiënten met intensieve zorg in 2021 aan patiënten uit de referentieperiode 2015–2018, en suggereerde daarmee dat het probleem statistisch was opgelost. Maar de uitkomsten laten juist zien dat dit niet is gelukt.

Zo werd bij ongevaccineerden boven de 80 jaar een werkelijke sterfte gevonden van 11,5% in de drie maanden na het geplande vaccinatiemoment, tegenover een verwachte sterfte van 3,3%. De normale sterfte in drie maanden lag voor die leeftijdsgroep rond 1,8%. Een totale sterfte die een veelvoud is van het normale patroon — terwijl Covid-19 slechts een deel van de doodsoorzaken vormde — wijst niet op een betrouwbaar vaccinatie-effect, maar op fundamentele verschillen in samenstelling en gezondheidstoestand van de groepen.

Daarmee rust het onderzoek op twee ondeugdelijke pijlers: een verkeerd samengestelde “ongevaccineerde” groep en een onvoldoende gecorrigeerde oververtegenwoordiging van ernstig zieke of terminale patiënten. De conclusies over oversterfte bij ongevaccineerden en ondersterfte bij gevaccineerden zijn daardoor methodologisch niet houdbaar en ongeschikt als basis voor publieke of beleidsmatige conclusies.

Maar ook toen NIVEL op deze grote methodologische en logische fouten werd gewezen, werd het rapport — gefinancierd door ZonMw — niet teruggetrokken.

3. Onderzoek naar sterfte na vaccinatie door het UMC

In dit artikel is goed terug te lezen wat de fouten van dit onderzoek zijn.

Een derde voorbeeld betreft het UMC-onderzoek naar oversterfte na Covid-19-vaccinatie, eveneens gefinancierd door ZonMw. In het persbericht van 12 december 2024 werd geconcludeerd dat er “geen oversterfte door Covid-19-vaccinaties” was. Die conclusie werd mede gebaseerd op de bevinding dat in de eerste drie weken na vaccinatie 44% minder sterfte werd vastgesteld dan in de periode daarna. Maar juist die bevinding laat zien dat de interpretatie van de onderzoekers methodologisch ondeugdelijk is.

Het onderzoek keek naar bijna 80.000 mensen die in 2021 waren overleden en minimaal één vaccinatie hadden gehad. Vervolgens werd gekeken hoe vaak overlijden plaatsvond kort na het vaccinatiemoment, vergeleken met latere weken.

De onderzoekers zagen dat de sterfte in week 1 na vaccinatie veel lager was dan later: in week 1 lag die op 31% van het latere niveau, in week 2 op 55% en in week 3 op 76%. Dat patroon werd vervolgens gebruikt als argument tegen mogelijke vaccinatiegerelateerde oversterfte: er was immers eerder een lagere sterfte na het vaccineren dan een hogere.

Maar dat is een logische denkfout. Een vaccin kan niet in de eerste week na toediening plotseling bescherming bieden tegen álle vormen van overlijden — kanker, hartfalen, ongevallen, dementie, ouderdom — en die “bescherming” daarna weer snel verliezen.

De verklaring is het selectie-effect. Mensen van wie artsen, familie of zijzelf weten dat zij op zeer korte termijn zullen overlijden, laten zich in die laatste levensfase meestal niet meer vaccineren. Daardoor ontbreken kort na vaccinatie juist relatief veel mensen met een snel te verwachten overlijden. De groep die wél net gevaccineerd is, bestaat daardoor automatisch uit mensen met een lagere directe sterftekans. Naarmate de weken na vaccinatie verstrijken, neemt dat selectie-effect af en komt de sterfte dichter bij het normale patroon. Dat verklaart het oplopende sterftecijfer van week 1 naar week 3.

Dat dit mechanisme een grote rol speelt, blijkt ook uit de doodsoorzaken. In de eerste drie weken na vaccinatie was het aandeel sterfte door kanker lager dan in de latere periode. Dat past precies bij de verklaring dat mensen in een terminale fase minder vaak nog werden gevaccineerd.

De fout van het onderzoek is dus dat een duidelijk selectie-effect wordt behandeld alsof het bewijs levert voor de afwezigheid van vaccinatiegerelateerde oversterfte. Maar uit lagere sterfte direct na vaccinatie mag die conclusie niet worden getrokken, zolang niet goed is vastgesteld hoeveel “verwachte” sterfte door dit selectieproces uit de eerste weken is verdwenen.

De 44% lagere sterfte in de eerste drie weken zegt dus niets over het al dan niet aanwezige gevaar om aan de vaccinatie te overlijden. Misschien had het zonder het vaccin 55% geweest.

Dat is niet iets wat ik beweer dat het geval was. Maar op basis van dit onderzoek en deze data had geen enkele conclusie getrokken kunnen worden over de vraag of de vaccinatie direct wel of niet voor extra sterfte heeft gezorgd.

Blijkbaar was de gewenste uitkomst belangrijker dan het toepassen van wetenschappelijke regels (en logisch nadenken).

Aan deze onderzoeken zou ik er nog veel kunnen toevoegen, met steeds hetzelfde gemeenschappelijke kenmerk: de conclusie ondersteunde altijd het gevoerde beleid, ook als de onderzoeksopzet of -uitvoering die conclusie niet kon dragen. Of bepaalde onderzoeken met een duidelijke urgentie werden juist níét uitgevoerd (zoals de vraag of er een relatie is tussen de oversterfte en het vaccin).

Andere relevante studies in relatie tot dit hoofdstuk:

1. Sullivan SG, Tchetgen Tchetgen EJ, Cowling BJ, “Theoretical Basis of the Test-Negative Study Design for Assessment of Influenza Vaccine Effectiveness”, American Journal of Epidemiology, 2016, https://doi.org/10.1093/aje/kww064
   Korte samenvatting: Dit artikel beschrijft de theoretische voorwaarden waaronder een test-negatief ontwerp gebruikt kan worden om vaccin-effectiviteit te schatten. De kern is dat verschillen in zorgzoekgedrag en testgedrag tussen gevaccineerden en ongevaccineerden zo goed mogelijk moeten worden geneutraliseerd.
2. Westreich D, Hudgens MG, “Invited Commentary: Beware the Test-Negative Design”, American Journal of Epidemiology, 2016, https://doi.org/10.1093/aje/kww063
   Korte samenvatting: Deze methodologische commentaar waarschuwt dat ook een test-negatief ontwerp geen automatische garantie geeft tegen vertekening. Als de aannames over selectie, testgedrag of confounding niet kloppen, kunnen de uitkomsten alsnog misleidend zijn.
3. Lipsitch M, Jha A, Simonsen L, “Observational studies and the difficult quest for causality: lessons from vaccine effectiveness and impact studies”, International Journal of Epidemiology, 2016, https://doi.org/10.1093/ije/dyw124
   Korte samenvatting: Dit artikel bespreekt waarom causale conclusies uit observationele vaccinatiestudies moeilijk zijn. De auteurs benadrukken dat selectie, confounding en veranderingen in gedrag of blootstelling de uitkomsten sterk kunnen vertekenen.
4. Remschmidt C, Wichmann O, Harder T, “Frequency and impact of confounding by indication and healthy vaccinee bias in observational studies assessing influenza vaccine effectiveness: a systematic review”, BMC Infectious Diseases, 2015, https://doi.org/10.1186/s12879-015-1154-y
   Korte samenvatting: Systematische review over confounding by indication en healthy-vaccinee bias in observationele vaccinatiestudies. De auteurs concluderen dat zulke studies, zeker met brede uitkomsten zoals sterfte door alle oorzaken, gevoelig blijven voor vertekening.
5. Jackson LA, Jackson ML, Nelson JC, Neuzil KM, Weiss NS, “Evidence of bias in estimates of influenza vaccine effectiveness in seniors”, International Journal of Epidemiology, 2006, https://doi.org/10.1093/ije/dyi274
   Korte samenvatting: Deze studie laat zien dat schattingen van vaccin-effectiviteit bij ouderen vertekend kunnen zijn doordat gevaccineerden al vóór het griepseizoen een lager sterfterisico hadden. Dat wijst op healthy-vaccinee bias: gezondere of minder kwetsbare mensen worden vaker gevaccineerd.
6. Fine PEM, Chen RT, “Confounding in studies of adverse reactions to vaccines”, American Journal of Epidemiology, 1992, https://doi.org/10.1093/oxfordjournals.aje.a116473
   Korte samenvatting: Klassiek methodologisch artikel over vertekening in studies naar bijwerkingen van vaccins. De auteurs laten zien dat verschillen in gezondheidstoestand, indicatie, registratie en blootstelling de interpretatie van vaccinveiligheidsdata kunnen verstoren.
7. Hernán MA, Sauer BC, Hernández-Díaz S, Platt R, Shrier I, “Specifying a target trial prevents immortal time bias and other self-inflicted injuries in observational analyses”, Journal of Clinical Epidemiology, 2016, https://doi.org/10.1016/j.jclinepi.2016.04.014
   Korte samenvatting: Dit artikel legt uit dat observationele studies zo moeten worden opgezet alsof men een gerandomiseerde trial nabootst: met helder startpunt, duidelijke groepen, correcte tijdsvensters en vooraf gedefinieerde uitkomsten. Zonder zo’n opzet ontstaan gemakkelijk kunstmatige effecten.
8. Lévesque LE, Hanley JA, Kezouh A, Suissa S, “Problem of immortal time bias in cohort studies: example using statins for preventing progression of diabetes”, BMJ, 2010, https://doi.org/10.1136/bmj.b5087
   Korte samenvatting: Dit artikel laat zien hoe verkeerde indeling van tijd vóór en na een behandeling tot kunstmatige beschermende effecten kan leiden. Hoewel het voorbeeld niet over vaccins gaat, is het mechanisme breed toepasbaar op observationele studies met tijdsafhankelijke blootstelling.

…of lees/download de hele nota (PDF):