In de afgelopen twee jaar ben ik een groot aantal studies tegengekomen rondom Covid-19, die van een (heel) slechte kwaliteit waren. Het leek er veel op dat de auteurs datgene wilden aantonen, wat ze vantevoren al dachten. En een echt debat erover ontstond zelden. Met wetenschap had het weinig te maken met alle gevolgen van dien.
Lees volledig artikel: Lessons learned? Er zijn veel slechte studies
Deel 4: Lessons learned? Er zijn veel slechte studies
Deel 4: Lessons learned? Er zijn veel slechte studies
Mijn normale opstelling
In de afgelopen twee jaar heb ik me over nogal wat onderwerpen verbaasd in het kader van de Coronacrisis en ben ik teleurgesteld in nogal wat instanties, functionarissen, mensen. Maar waardoor ik waarschijnlijk wel het meest geschokt ben, is de slechte en regelmatig zelfs abominabele kwaliteit van studies, die ook nog het predicaat “wetenschappelijk” dragen en/of door wetenschappers zijn uitgevoerd en door anderen (incl. wetenschapsjournalisten) kritiekloos wereldkundig werden gemaakt.
Het ergste daarvan is misschien nog wel dat ik niet weet of dat met name gekomen is door de bijzondere periode, die we de afgelopen twee jaar doormaakten, of dat het altijd al zo het geval was en me dat niet was opgevallen.
Zowel door mijn aanleg voor het werken met cijfers en logica als door mijn studie statistiek en methoden en technieken van onderzoek kan ik studies over onderwerpen waar ik weinig vanaf weet toch beoordelen. En dan doel ik op het ontwerp van het onderzoek, de kwaliteit en verzameling van het cijfermateriaal en de statistische analyses.
Maar in die 55 jaar heb ik me niet vaak in studies verdiept waar ik weinig van wist of waarvoor ik weinig belangstelling had. Ik ging er daarbij van uit dat als het studies waren die uitgevoerd waren vanuit universiteiten en er ook nog professoren bij waren betrokken, plus dat ze blijkbaar ook nog “peer-reviewed” waren, dat het dan wel goed zou zitten.
Intens geschokt
Als de resultaten mij niet echt verbaasden, dan had ik al helemaal geen reden om er dieper in te duiken. Maar zelfs als ze me wel verbaasden, dan had ik vaak ook geen tijd en zin om me erin te gaan verdiepen. Dat zouden anderen dan wellicht wel doen.
De eerste keer dat ik echt intens geschokt was door de slechte kwaliteit van het werk van wetenschappers of mensen met een wetenschappelijke opleiding, was toen ik me vanaf eind 2005 verdiepte in het werk dat het NFI (Nederlands Forensisch Instituut) had uitgevoerd in het kader van de Deventer Moordzaak.
Met een groep vrijwilligers hebben we dat werk van het NFI grondig geanalyseerd en dat leidde tot het Zwartboek NFI. Met daarin 17 verschillende rapporten over de fouten gemaakt door het NFI bij het werk voor de Deventer Moordzaak. Inderdaad: het waren er maar liefst 17!
Echter, ik schreef dat niet toe aan een mogelijk structureel probleem bij wetenschappelijke studies, maar aan het feit dat het NFI in feite een verlengstuk was/is van het Openbaar Ministerie. Er werd alleen onderzocht wat het OM wilde dat er onderzocht werd. En de uitkomsten waren er niet op gericht om met ongewenste resultaten voor het OM te komen. Als die er al waren, werden ze in de rapportage getemperd, zoals o.a. bleek uit het onderzoek van de Commissie Posthumus over de Schiedammer Parkmoord in 2005.
Een aanpak, waaraan dat soort gerechtelijke laboratoria in andere landen ook aan lijden. Zoals ook blijkt uit deze studie van 250 gerechtelijke dwalingen in de VS. Bij 61% van deze zaken had een forensisch analist fouten gemaakt. Ik heb er o.a. in 2015 in dit artikel over geschreven. Kortom: ik bleef wel vertrouwen houden als ik las of hoorde dat een onderzoek gebaseerd was op wetenschappelijke studies.
De omslag
Ergens in februari/maart 2020 veranderde dit alles. Dat kwam door een combinatie van factoren:
- Er waren grote Corona-uitbraken met veel slachtoffers en grote gevolgen voor nogal wat samenlevingen, maar ook voor mijn eigen omgeving (zoals mijn stervende zoon, die er alles aan wilde doen om geen Corona te krijgen, zodat bij zijn overlijden zijn familie aanwezig zou kunnen zijn). Dus een belangrijke reden om me wel in het onderwerp te verdiepen.
- Ik zag patronen in de eerste uitbraken, die duidelijk een klimatologische component hadden. Iets wat zich slecht verhield tot de stelling dat de verspreiding plaats vond via grote druppels en voorwerpen.
- Toen ik me in dat onderwerp verdiepte, kwam ik veel studies tegen (o.a. uit de SARS-1 periode en over de verspreiding van influenza), waarbij bleek dat ik die studies gemakkelijk kon lezen en analyseren. En dat er grote verschillen waren in kwaliteit, maar ook dat de resultaten verre van eenduidig waren.
- Plus dat ik wel de tijd had om me er sterk in te verdiepen.
Groot verschil
Ik constateerde een groot verschil tussen enerzijds de uitstraling van de zekerheid door RIVM/Van Dissel samen met de leden van het OMT, die handelden onder de vlag van “de wetenschap”, en anderzijds de informatie, die ik had opgedaan door die vele studies te lezen. (Ik heb daar met regelmaat over geschreven op deze site. Maar ik heb veel meer studies bekeken en beoordeeld dan op deze site beschreven staan).
Terwijl de wetenschap gaat over een zoektocht en het uitwisselen van bevindingen om daarmee verder te komen, was de opstelling van Van Dissel c.s. juist heel dogmatisch. En regelmatig onderbouwd met argumenten, die vloekten tegen de logica en/of haaks stonden op resultaten van de nieuwste studies in andere landen. Zo vond ik de studies van Prof. Streeck uitgevoerd in Gangelt (vlak over de grens bij Sittard) in april/mei 2020 baanbrekend. Maar het leek erop dat die studies noch tot RIVM/OMT en noch tot de Nederlandse media waren doorgedrongen.
Van kwaad tot erger
En sinds april/mei 2020 ging het eigenlijk van kwaad tot erger. Niet alleen in Nederland, maar vrijwel overal. Veel onderzoeken, die eigenlijk nooit naar buiten zouden mogen worden gebracht door de slechte opzet, de fouten bij de analyse en de onjuiste conclusies, zagen het daglicht. En kwamen door de peer-reviews. En als de resultaten het dominante verhaal ondersteunden, dan werden ze kritiekloos verspreid door nogal wat wetenschappers en vervolgens door de media, die gedwee volgden. Iets wat normaliter niet bij de media het geval was.
Ik ben echt blunders tegengekomen in opzet en uitvoering van onderzoek. Blunders in slechte toepassing van statistiek. En blunders van conclusies op basis van slecht onderzoek waar een echte wetenschapper zich voor zou moeten schamen. Ik begrijp best dat er nogal wat mensen zijn, die denken dat er opzet achter zit en bepaalde – vaak financiële – belangen.
Welke gevolgen heeft het voor een wetenschapper als hij met uitkomsten komt, die niet passen in het dominante verhaal? Voor 2020 was dat waarschijnlijk iets waar die wetenschapper minder over nadacht of juist oordeelde dat hij met een andere bevinding kon scoren. Maar in de afgelopen 2 jaar was dat zeker niet zo. Dan kon het je baan of positie kosten en werd je door de collega’s, de dragers van het dominante verhaal, zwartgemaakt.
En als er dan slechte onderzoeken werden gepresenteerd en iemand sprak hen daarop aan, dan negeerden die wetenschappers deze kritiek doorgaans. Zoals ik gemerkt heb met het grote onderzoek van RIVM medewerkers onder de positief getesten bij de GGD, om het verschil van effect van de vaccinatie te bepalen. Een onderzoek met een enorme basisfout in opzet, maar mails daarover aan de auteurs werden genegeerd.
Slechte onderzoeken
Steeds leek het erop dat het er vooral ging om datgenen te bewijzen wat men vooraf al dacht/vond.
Ik heb er al vaak over geschreven op deze site en ik ga nu niet nog eens de waslijst aan voorbeelden doornemen van hoe men met slechte onderzoeken het dominante verhaal ondersteunde/ overeind hield. Het was daarbij doorgaans niet zo dat ik zelf alle analyses deed. Maar ik bekeek de analyses van gerenommeerde deskundigen, die zich wel durfden los te maken van dat dominante verhaal. En beoordeelde dan of wat zij aangaven hout sneed of niet. Dat betrof o.a. studies over:
- al dan geen verspreiding van het virus door de lucht
- de werking van bestaande medicijnen tegen Covid-19
- de effectiviteit van het vaccin
- de bijwerking van het vaccin
- het effect van maatregelen
- de bescherming door een eerdere infectie
- data-analyses t.a.v. het sterfterisico, risico om in het ziekenhuis opgenomen te worden
- de oversterftepatronen
Het was werkelijk schokkend om te zien hoe het erop leek (en ik zeg het eufemistisch) dat bij de opzet van het onderzoek men erop gericht was het dominante verhaal te willen ondersteunen. Het was verbijsterend om de conclusies die men trok te lezen, waarbij men zich in allerlei bochten wrong om dat dominante verhaal er hoe dan ook uit het onderzoek te krijgen.
Een voorbeeld
Zoals gezegd, ik kan en ga in dit artikel geen uitgebreide voorbeelden geven van wat ik allemaal heb aangetroffen. Ik stel alleen vast dat een reële, gelijkwaardige discussie tussen wetenschappers over deze studies (wat je toch zou moeten willen) amper plaats vond en vindt.
Gelukkig waren er ook anderen in de wereld zoals ik, die dit patroon was opgevallen en die wel hun bevindingen opschreven en hun meningen uitten (en dan ook nog regelmatig tegen censuurmaatregelen aanliepen op sociale media). Die waarschijnlijk dezelfde verbazing en verontwaardiging hadden als ik en die -gelukkig- niet hun mond hielden. Zij wilden wel het debat aan met degenen die in de media het dominant verhaal vertelden. Maar dat gebeurde zelden, want de andere kant ging er vrijwel niet op in. Terwijl als je zo zeker bent van je verhaal en je bent een wetenschapper, dan zou dat debat je juist verder kunnen helpen.
Ik kan werkelijk tientallen artikelen vullen met voorbeelden van wat ik hierboven beschreef en heb er ook al diverse keren geschreven.
Professor Norman Fenton
Maar ik wil me in de rest van dit artikel beperken tot het werk van één persoon. Aan zijn manier van werken voel ik me verwant. Het was/is duidelijk dat hij er volledig blanco was ingegaan en onderweg van de ene in de andere verbazing is gevallen. Het betreft de Engelse Professor Norman Fenton. Hij is hoogleraar in Risk Information Management op de Queen Mary Universiteit. Omdat hij al op diverse onderwerpen zijn kritische analyses heeft geschreven, gebaseerd op zijn kennis van statistiek. Dit zijn een aantal video’s van hem over een verscheidenheid van onderwerpen. En dit zijn de blogs die hij geschreven heeft.
Ik kies hem ook omdat hij onlangs een onderzoek heeft gefileerd, dat wereldwijd is gebruikt om aan te geven dat maatregelen om mondmaskers te verplichten effect heeft bij de Covid-bestrijding.
Een goed voorbeeld van hetgeen ik hierboven heb geschreven over de slechte kwaliteit van onderzoek, terwijl het wel het dominante verhaal ondersteunt. Het gaat over het grote onderzoek in Bangladesh, dat vaak wordt aangehaald als bewijs dat mondmaskers effect hebben. Hij maakte zijn eigen berekeningen en die staan in dit rapport. En schreef een brief naar de uitgever van Science, waarin hij laat zien dat de studie geen significante uitslagen had, waardoor de conclusies geen enkel waarde hadden. Hij riep de uitgever op het artikel te verwijderen of fors te laten aanpassen.
“Maar wat kan ik ermee?”
Maar als u het bovenstaande hebt gelezen dan kan ik volledig voorstellen dat u denkt, “maar wat kan ik daar nu mee?. Ik heb geen tijd of kennis genoeg om de studies te gaan lezen en te beoordelen hoe hard de resultaten nu echt zijn. En als ik twee tegengestelde beschrijvingen/analyses zie van hetzelfde onderzoek, kan ik niet beoordelen wie er nu gelijk heeft.” En het erge is: ik weet daar ook geen eenvoudige oplossing voor. Ik heb al heel vaak ervaren dat ik twee of drie tegengestelde analyses heb gezien over één en dezelfde studie, waarna ook ik geen harde eindconclusie kon trekken. Dit zijn een aantal tips om u een beetje op weg te helpen:
- Probeer over belangrijke bevindingen een tegengeluid te vinden om het gevoel te krijgen wat er wellicht aan die bevindingen niet klopt.
- Wees net zo kritisch op studies die een bevestiging vormen van wat u al dacht als de studies die het dominante verhaal ondersteunen.
- Oordelen van mensen, waar u door de tijd heen vertrouwen in hebt gekregen, moet u koesteren. (Maar zijn ook niet altijd juist).
- Onderzoeken waar de uitvoerders een bepaald belang bij lijken te hebben, moeten extra kritisch worden beoordeeld.
- Onderzoeken met relatief weinig onderzochte personen, hebben weinig zeggingskracht.
- Let op: als in een onderzoek gesteld wordt dat er “geen significant verschil is” en het aantal onderzochte personen niet groot is, dan hoeft dat niet te betekenen dat er geen verband is. Het kon alleen niet aangetoond worden.
Maar als u het bovenstaande doet, zal – denk ik – ook bij u de volgende conclusie overheersend zijn: namelijk dat wat wetenschap voor 2020 pretendeerde te zijn in de afgelopen twee jaar door vele wetenschappers en wetenschapsjournalisten vergeten is. Met gevolgen naar de toekomst toe, die we nu nog amper kunnen overzien.
Eerdere afleveringen waren:
1a. Grote druppels zijn veel minder gevaarlijk dan hele kleine
1b: De verspreiding vindt vooral plaats via de lucht
1c: Het enorme belang van virale doses
1d: Zo haal je de virussen uit de lucht
2: Mondkapjes werken wel en werken niet 3: Infectie geeft betere bescherming dan vaccinatie
Steun onze site om dit soort artikelen te blijven schrijven om te voorkomen dat we nog jarenlang onder het juk moeten blijven zitten van dit soort beschreven dogma’s. Klik hier voor een (kleine) donatie.
U heeft zojuist gelezen: Lessons learned? Er zijn veel slechte onderzoeken.
Volg Maurice de Hond op Twitter | Facebook | LinkedIn | YouTube.
