In een recent gepubliceerd wetenschappelijk onderzoek van medewerkers van het RIVM over de risicoreductie van vaccinatie en infectie bij Delta en Omikron zit een cruciale (en basale) onderzoekfout. Daardoor zeggen de gepresenteerde cijfers over die risicoreductie niets.
Lees volledig artikel: De grote fout in het onderzoek van het RIVM
De grote fout in het onderzoek van het RIVM
Een nieuw onderzoek
Op 8 februari verscheen er een bericht op de website van het RIVM dat men een uitgebreid wetenschappelijk onderzoek had gedaan over de bescherming van infectie, vaccinatie en booster tegen het geïnfecteerd raken met de Delta- en de Omikron variant. Het onderzoek is gebaseerd op meer dan 500.000 uitgevoerde testen tussen 22 november en 19 januari.
Van dat onderzoek is een wetenschappelijke publicatie verschenen, die beschikbaar is als pre-publicatie bij het prestigieuze MedRxiv. Er staat een groot aantal auteurs vermeld, allen werkzaam bij/voor het RIVM, waaronder een aantal bekende namen. In het onderzoek worden zes verschillende groepen vergeleken met ongevaccineerden t.o.v. Delta en Omikron.
Er komen dus 12 percentages uit, die aangeven hoe hoog de bescherming is t.o.v. de ongevaccineerden. Zo staat er bijvoorbeeld dat de reductie van het risico om geïnfecteerd te raken bij degenen die gevaccineerd zijn, maar nog geen booster hadden, t.o.v. Delta, 76% was en bij Omikron 33%.
Het onderzoeksverslag voldoet goed aan de voorwaarden voor dit soort publicaties. En ik vind het altijd interessant om te lezen hoe de onderzoeksaanpak is en hoe men tot die conclusies komt.
Maar toen ik het las, geloofde ik mijn ogen niet. En ik heb het rapport drie keer herlezen om er zeker van te zijn, dat ik iets niet over het hoofd had gezien.
Terug naar de tekentafel
Als dit een scriptie was van mijn studenten in de tijd toen ik statistiek colleges gaf, dan zou ik ze terug naar de tekentafel hebben gestuurd. Want door een grote basale fout, is er geen enkele zekerheid dat die 12 percentages in de buurt liggen van de werkelijkheid. En ik vind het onbegrijpelijk dat met zoveel auteurs (plus nog een hele lijst aan het eind, die bedankt worden voor hun hulp-advies) deze basale fout niet is onderkend.
Ik zal die fout op een simpele manier proberen uit te leggen:
De opzet van het onderzoek
In het onderzoeksrapport wordt goed inzicht gegeven in de aanpak van het onderzoek. En, zoals het gebruikelijk is, wordt aan het eind ook aangegeven dat er bepaalde keuzes zijn gemaakt en wat daar de mogelijke consequenties van zijn. Daardoor kunnen de lezers de resultaten beter op waarde schatten.
Men heeft uit de periode 22 november 2021- 19 januari 2022 de meer dan 1 miljoen testen genomen, die uitgevoerd waren in twee laboratoria. Daar zijn o.a. degenen uit gehaald, die eerst een sneltest hadden uitgevoerd, waarna men ruim 500.000 positieve testen over hield. Van die testen bepaalde men of het een infectie was met de Delta-variant of de Omikron-variant. En daaraan werd informatie gekoppeld, die de getesten hadden opgegeven toen zij zich hadden gemeld voor de test. Nameljik leeftijd, geslacht, wanneer gevaccineerd/geboosterd en al dan niet eerder geïnfecteerd en wanneer dat was.
Categorieën
Er was een groot databestand op basis waarvan men op zorgvuldige wijze analyses heeft uitgevoerd. Daarbij werd o.a. goed rekening gehouden met geslacht en leeftijd van de getesten, de datum van de test en de status: ongevaccineerd, geïnfecteerd, gevaccineerd en/of geboosterd. Er is ook aangegeven hoe men bepaald heeft hoe iemand tot één van die categorieën behoort en welke gevolgen die keuzes kunnen hebben. Zo telt men als geboosterd een week nadat de injectie heeft plaatsgevonden. De vaccinatiestatus en of men eerder geïnfecteerd is geweest, werd bepaald op basis van de eigen opgave van de getesten.
Natuurlijk kun je over die keuzes discussiëren, maar bij ieder onderzoek worden er keuzes gemaakt. As je ze maar expliciteert en ook beschrijft wat dat wellicht als gevolg heeft, dan voldoe je aan de plicht om de lezers jouw resultaten naar waarde te kunnen laten inschatten.
Tot zover is er t.a.v. dit onderzoek niets bijzonders aan de hand en door de grote omvang van het aantal getesten (meer dan 500.000) kan er ook qua analyses veel gedaan worden.
De grote misser
Op de volgende manier berekent men de risicoreductie op infectie voor de verschillende groepen. (Deze beschrijving is een versimplificeerde beschrijving van wat er met hoogwaardige analysetechnieken is uitgevoerd).
Men had ongeveer 450.000 mensen met een negatieve testuitslag en 80.000 met een positieve.
Daarbij doe ik voor het voorbeeld even alsof er maar twee groepen waren: ongevaccineerden en gevaccineerden. (In werkelijkheid waren het er 7 en ook nog een verdeling in Delta- en Omikron-infectie).
En de uitkomsten waren bijvoorbeeld het volgende:
- Van de ongevaccineerden onder de getesten had 40% een positieve test.
- Van de gevaccineerden onder de getesten had 10% een positieve test.
Op basis hiervan wordt dan de waarde berekend van de reductie van de kans om besmet te raken als gevaccineerde t.o.v. de ongevaccineerde. De uitkomst voor dit voorbeeld is een reductie van 75%. (1 minus 10% gedeeld door 40% maal 100).
In het onderzoek met de verschillende groepen en de Delta en Omikron variant komen er percentages uit die lopen van 25% tot 97% risicoreductie.
Die groepen zijn o.a. geboosterden zonder ooit een infectie te hebben gehad en geboosterden die wel een infectie hadden gehad. Of men had niet-geboosterden, maar wel gevaccineerden die al dan niet een infectie hadden gehad. Voor ieder van die 6 groepen werd t.a.v. Delta en Omikron de resicoreductie berekend t.o.v. de groep ongevaccineerden.
Maar dan ga je wel impliciet van een cruciale aanname uit:
Er wordt aangenomen dat het afwegingsproces van een ongevaccineerde om zich te laten testen identiek is aan dat van de andere 6 groepen en dat is uitermate onwaarschijnlijk!
Stel dat een gemiddelde ongevaccineerde alleen maar naar een teststraat gaat als hij forse symptomen heeft. En dat een gemiddelde gevaccineerde al naar een teststraat gaat als hij verkouden is. Dan zal bij die groep ongevaccineerden het aandeel positieve testen wel eens 40% kunnen zijn en bij die groep gevaccineerden zou het aandeel 10% kunnen zijn.
Dat zijn in dit voorbeeld nu net de uitkomsten van de getesten en terwijl je denkt dat je een risicoreductie van 75% meet is er geen risicoreductie en is het verschil in uitkomst volledig te danken aan dat andere afwegingsproces bij de groep ongevaccineerden ten opzichte van de groep gevaccineerden.
En je mag niet zomaar aannemen dat dit afwegingsproces bij alle groepen wel hetzelfde zal zijn. Dat is juist uitermate onwaarschijnlijk.
Plus dat je ook niet mag aannemen dat dit afwegingsproces tijdens de Delta-periode hetzelfde was als tijdens de Omikron-periode. Dat is mede doordat men tijdens de Omikronperiode gemiddeld minder symptomen had.
Peil.nl
Via Peil.nl heb ik aan mensen, die positief getest zijn, gevraagd wat hun symptomen waren.
- In januari 2022 (Omikron) zei 54% dat ze geen symptomen hadden of licht verkouden waren. 6% gaf aan: “erger dan een normale griep”.
- In de tweede helft van 2021 (Delta) zei 30% dat ze geen symptomen hadden of licht verkouden waren. 21% gaf aan: “erger dan een normale griep”.
Dus de geconstateerde verschillen in risicoreductie tussen de Delta- en Omikron-geïnfecteerden kunnen – mede – veroorzaakt zijn doordat het afwegingsproces om zich te laten testen tijdens Omikron een andere was dan tijdens Delta.
In de VK komt uit die cijfers onder de getesten juist geen risicoreductie van de vaccinatie, maar daar vermeldt men juist dat men die conclusie niet zomaar kan trekken omdat de gevaccineerden niet 1 op 1 vergeleken kunnen worden met de ongevaccineerden
Conclusie
Dit onderzoek meet niet wat het pretendeert te meten. De percentages risicoreductie die eruit komen, kunnen het gevolg zijn van een andere teststrategie van de onderscheiden groepen. Als ongevaccineerden inderdaad minder snel naar de teststraat gaan kan daarmee een (groot/klein?) deel van de risicoreductie verklaard worden of zelfs alles. Ik zou het niet weten.
Maar dat is juist de essentie. Je weet het niet, en dus zijn de vermelde percentages eigenlijk een slag in de lucht.
Omdat in het onderzoeksrapport dit probleem niet beschreven staat, wordt de lezer een cruciaal deel van de informatie onthouden. En het is zo een groot probleem bij de uitvoering van dit onderzoek, dat het hele onderzoek eigenlijk niet gepubliceerd zou mogen worden. Het pretendeert veel meer dan het kan waarmaken.
Ik vind het onbegrijpelijk met zoveel auteurs en zoveel meelezers bij en rond het RIVM (zie dankwoord aan het eind) dat dit rapport toch is gepubliceerd. En ik kan me niet voorstellen dat dit onderzoek door het “peer-reviewing proces” komt.
U heeft zojuist gelezen: De grote fout in het onderzoek van het RIVM.
Volg Maurice de Hond op Twitter | Facebook | LinkedIn | YouTube.
Steun ook dit werk van onze website met af en toe een (kleine) donatie. Klik hier.
