Stomme datafouten die niet gecorrigeerd worden

Leestijd: 4 minuten

Stomme datafouten die niet gecorrigeerd worden

Mijn maag draait om

Rondom Ivermectine is er de afgelopen vier jaar ook veel belachelijks gebeurd. Dit artikel uit september 2021 is er wel een absurd dieptepunt van. Maar ook in de serieuze – wetenschappelijke – media kunnen ze er wat van. Dat blijkt uit dit dramatische voorbeeld.

In de afgelopen 4 jaar is het met grote regelmaat gebeurd dat als ik wat dieper dook in studies of rapporten met belangrijke conclusies, dat ik fouten tegenkwam. Deels methodisch en deels bij de berekeningen.

De gezamenlijke noemer was, dat het er sterk op leek dat de instanties (bijvoorbeeld het RIVM) of auteurs graag bepaalde conclusies wilden trekken/ een bepaald beeld wilden geven. Het lijkt er dan op dat als de uitkomst van het onderzoek maar in lijn is wat men graag wil dat er uitkomt, men zelf niet meer kritisch was op het  eigen werk.

Soms was het zo erg dat mijn maag omdraaide. Hoe was het mogelijk dat men zulke fouten maakte? En dat die vervolgens zo makkelijk werden overgenomen. Ik heb echt met regelmaat studies nog een keer gelezen, omdat ik dacht dat ik iets over het hoofd had gezien. Want zulke domme fouten konden de auteurs toch niet gemaakt hebben!  Dit RIVM rapport uit 2022 is daar ook een goed voorbeeld van.

Ik ben nu weer iets flagrants tegengekomen wat zo typerend is van wat ik hierboven omschreef. En ook de weerzin om fouten te corrigeren als de gewenste conclusies worden ondergraven.

Ik ben hier achter gekomen door het volgen van op X. Die gaf aan dat er rondom Ivermectine de meest belachelijke fouten zijn gemaakt. En hij gaf toen het voorbeeld van het verwisselen van twee groepen patiënten, de ene wel met Ivermectine behandeld en de andere niet. De uitkomsten hadden dus betrekking op de andere groep!

Deze fout is prima beschreven door

Ik zal er een korte samenvatting van geven.

Het betrof een meta-analyse van Ivermectine in het officiële tijdschrift “Clinical Infectious Diseases” van de Infectious Diseases Society of America. Het was geschreven door Dr. Yuani Roman en een aantal anderen.

Groepen verwisseld

Bij een meta-analyse maken de auteurs gebruik van studies, die door anderen zijn uitgevoerd en waarbij men die resultaten vergelijkbaar probeert te maken om een totaalconclusie te trekken.

Bij deze meta-analyse was een onderzoek uit Iran meegenomen, waaruit overtuigend zou blijken dat Ivermectine niet werkte bij de bestrijding van Covid-19. In tegendeel zelfs. Dat was vastgesteld via een onderzoek waarbij de patiënten in twee groepen zijn verdeeld. De helft kreeg ivermectine en de andere niet, zonder dat men dat zelf wist (placebo). En volgens de meta-analyse was de sterfte onder de Ivermectine groep een factor 3 keer zo groot als onder de placebo groep. De conclusie van de meta-analyse, waarbij nog vier andere studies betrokken waren, was dat Ivermectine niet tegen sterfte beschermde.

Maar direct na publiceren van dit artikel als preprint op de website MedRxiv merkten de onderzoekers van dat Iraanse onderzoek, dat in de meta-analyse de Ivermectine groep was verwisseld met de groep die een placebo gebruikte. Degenen die Ivermectine hadden gekregen hadden juist een drie keer zo kleine kans om te overlijden (all-cause-mortality). En als die correctie werd toegepast dan zou de uitkomst van de meta-analyse geweest zijn dat Ivermectine wel tegen die sterfte had beschermd!

Het is natuurlijk al een heel domme fout, maar wat er vervolgens gebeurde was dat mijn maag omdraaide en ik een patroon herkende.

Terwijl de grafiek wel aangepast werd, paste men de tekst van het artikel niet aan. Daar staat nog steeds dat ivermectine niet beschermde tegen overlijden. En met die tekst werd het artikel ook nog maanden later gepubliceerd in dat gezaghebbende tijdschrift.

Hier de bewijzen:

Dit is de gecorrigeerde grafiek.  Alles links van de verticale streep betekent dat Ivermectine werkte tegen het overlijden. Goed is te zien dat onderin, het lichtblauwe gedeelte aan de linkerkant ligt.

Besef dat in het oorspronkelijke rapport dus stond dat 16 van de 425 personen met Ivermectine waren overleden en 15 van de 365 personen in de placebo groep. Maar dat was door die verwisseling. In werkelijkheid is het dus 9 van de 425 overlijdensgevallen met Ivermectine en 22 van de 365 zonder Ivermectine.

Nu is het wel zo dat het lichtblauwe deel met een puntje net door de verticale lijn gaat. En dat heeft te maken met de kans dat de resultaten toch op toeval gebaseerd kunnen zijn. Maar in het artikel zelf worden diverse andere meta-analyses vermeld, waarbij Ivermectine wel steeds beschermde tegen sterfte.

Dus de conclusie van deze studie had kunnen zijn dat, hoewel de cijfers (net) niet significant waren het in lijn lag met andere meta-studies die ook de bescherming van ivermectine tegen overlijden lieten zien. Maar de conclusies die men in het artikel had getrokken toen men nog de fout had gemaakt van de verwisseling van de groepen (en dan is er inderdaad helemaal geen verschil)  bleven in de eindversie gewoon gehandhaafd.

Plus dat dus de redactie van het tijdschrift, lang nadat de fouten waren gecorrigeerd, nog steeds de conclusies in het artikel liet staan, op basis waarvan anderen konden blijven beweren dat Ivermectine geen bescherming bood tegen overlijden.

Besef dat dit artikel van Roman en anderen vaak is geciteerd als een overtuigend bewijs van het feit dat Ivermectine niet werkte bij Covid-19. Want dat was de boodschap, die men maar al te graag bleef beweren.

Meer dan 100 studies

Het is helaas een bekend patroon. Een onderzoek met fouten dat een resultaat heeft, waar men belang bij heeft om dat breed te delen, wordt omarmd. Ivermectine mag namelijk niet werken. Want dat was de positie die men vanaf het begin innam.

Maar op deze website werden al vanaf 2020 de onderzoeken bij gehouden, die over Ivermectine gingen. Inmiddels zijn het er 102, door meer dan 100 onderzoekers uitgevoerd en het betrof 140.000 patienten. En daar is duidelijk uit op te maken dat Ivermectine, op de juiste manier gebruikt, werkte tegen Covid-19.

51 studies met meer dan 120.000 patiënten lieten zien dat Ivermectine een reductie van het overlijden aangaf van 49%.

Nu betreft het überhaupt niet veel overlijdensgevallen. Maar als je door alle studies heen loopt op die website, die gaan over het voorkomen van ziekenhuisopnames of het verkorten van de ziekenhuisduur dan komt Ivermectine er gunstig van af.

Maar het dominante verhaal was dat Ivermectine niet werkte, louter voor paarden zou zijn, dus in de publiciteit kwamen dan alleen de studies waar de verschillen niet significant waren. Ook als er knotsen van fouten werden gemaakt bij het maken van het artikel.

Dat artikel over de belachelijke gebeurtenissen in Oklahoma in september 2021 was dus niet eens het dieptepunt.

U heeft zojuist gelezen: Stomme datafouten die niet gecorrigeerd worden

Volg Maurice de Hond op X | Facebook | LinkedIn | YouTube 

Blijf onbeperkt toegang houden tot alles wat Maurice.nl te bieden heeft. Klik hier om lid, abonnee, vriend en bondgenoot te worden.