De roeier Nico Rienks at altijd een groot bord stamppot op de avond voor een belangrijke wedstrijd

Veel sporters, denk bijvoorbeeld aan de tennisser Rafael Nadal, doen voor of tijdens een wedstrijd bepaalde handelingen die ze eerder deden bij een succes. Is het bijgeloof, wellicht tegen beter weten in? Denken ze echt dat er een oorzaak-gevolg relatie is? Het ligt kennelijk dicht bij ons om een rechtstreekse verband te leggen. Magisch denken zien we bij kinderen als een normale fase in hun ontwikkeling, maar bij volwassenen niet meer. Waarom denken of doen verstandige mensen dan zo? Misschien geeft het een idee van controle over de toekomst? Ach, er zal ongetwijfeld een goede reden zijn, maar die kennen we niet.

Het is blijkbaar aantrekkelijk om in oorzaken en gevolgen te denken. Hoge bloeddruk, roken, een hoog cholesterolgehalte in het bloed en overgewicht noemen we vaak oorzaken van hart- en vaatziekten. Maar het zijn natuurlijk risicofactoren. Wanneer een hoog cholesterolgehalte de oorzaak van hart- en vaatziekten zou zijn, dan zou iedereen met een hoog cholesterol hart- en vaatziekten moeten krijgen. En dat is niet zo. Ook voor het behandelen van ziektes denken we graag in oorzaken. Er zijn bijvoorbeeld wetenschappelijke studies waaruit blijkt – er is wetenschappelijk bewijs – dat hardlopen gemiddeld een gunstig effect heeft op herstel bij depressies. Is hardlopen de oorzaak van het herstel? Bedenk dat er mensen met een depressie zijn die geen gunstig effect hebben van hardlopen. Wanneer er een oorzaak-gevolg relatie is dan zouden alle mensen met depressies moeten herstellen met hardlopen. Hier is dus niet een-op-een sprake van oorzaak en gevolg. Maar het wordt vaak wel zo ervaren en gecommuniceerd.

Een patroon is niet hetzelfde als een oorzaak-gevolg relatie
Met onderzoek bij grote aantallen kun je patronen ontdekken. Maar pas op: een patroon is niet hetzelfde als bewijs voor oorzaak en gevolg. Soms is de relatie precies omgekeerd. Ionica Smeets geeft in een mooie TED-talk [1] over correlaties een voorbeeld van onderzoek uit de jaren zeventig in de VS waaruit bleek dat kinderen met een groot zelfvertrouwen vaak goed presteerden op school. Dit onderzoek kreeg veel aandacht en gedurende tientallen jaren werkten ouders aan het zelfvertrouwen van hun kinderen, omdat een groot zelfvertrouwen zou leiden tot goede schoolprestaties. Uit nieuw onderzoek, vele jaren later, bleek dat het precies andersom was. Kinderen die het goed deden op school kregen meer zelfvertrouwen.
Een patroon kan ook twee zaken met elkaar in verband brengen terwijl er een andere, een derde factor is die het verband verklaart. Bijvoorbeeld: ‘Kompasnaalden wijzen altijd naar de plaats waar de meeste ijsberen zijn’. Hierbij wordt (nu even bewust) over het hoofd gezien dat de Noordpool de plaats is waar de meeste ijsberen leven en de kompasnaald altijd naar de Noordpool wijst.
Verder is het niet moeilijk om een patroon laten zien waarbij overgewicht in verband wordt gebracht met hart- en vaatziekten. Terwijl we inmiddels weten dat hart- en vaatziekten door heel veel factoren beïnvloed worden.

Kijk naar alle oorzaken en de samenhang daartussen
Als oorzaak-gevolg denken zo aantrekkelijk is, laten we dan alle oorzaken meenemen. Hiervoor kunnen we gebruik maken van de begrippen opwaartse en neerwaartse oorzaak-gevolg relatie: upward causality en downward causality [2] Bij opwaartse oorzakelijkheid kijken we steeds naar één oorzaak-gevolg relatie. Op deze manier proberen we kennis te verzamelen, te begrijpen hoe iets in elkaar zit en wetenschappelijk bewijs op te bouwen. Een voorbeeld: De zwaartekracht is de oorzaak van het vallen van de appel. Naast deze een-op-een relaties kunnen we kijken naar alle oorzaken die samen-en-tegelijkertijd vanuit de omgeving op een onderwerp inwerken en gevolgen hebben, de neerwaartse oorzakelijkheid. Dit valt vooral op bij complexe onderwerpen zoals bij het weer dat wordt beïnvloed door zon, wind, vochtigheid, luchtdruk, de effecten van het land of de zee, en vlinders natuurlijk.

Opwaartse oorzakelijkheid krijgt veel aandacht
We zijn gewend vooral naar de opwaartse oorzakelijkheid te kijken. Een goed voorbeeld is het medische model waar men de route probleem, onderzoek, diagnose en behandeling volgt, met als doel het opheffen (of verminderen) van het probleem. Het gaat uit van de een-op-een relatie tussen probleem en oplossing. Deze aanpak heeft goede diensten bewezen. De gezondheidszorg heeft er grote vooruitgang mee geboekt bij relatief stabiele problemen. Een bacterie is de veroorzaker van de infectie en moet dus weggenomen worden. Een afgesloten bloedvat veroorzaakt een infarct en moet geopend of omgeleid worden. Een tekort aan ijzer is de oorzaak van bloedarmoede; het ijzer moet aangevuld worden. Een logische consequentie van deze benadering was de opkomst van evidence-based medicine (EBM), geneeskunde op basis van bewijs. In bredere zin spreekt men ook wel over evidence-based practice (EBP), een term die gebruikt wordt door paramedische beroepen, overheidsorganen, toezichthouders en zorgverzekeraars.
Maar er is steeds meer kritiek. Een belangrijk bezwaar is dat EBM vooral betrekking heeft op populaties en niet op individuen. Onderzoek bij groepen zegt vooral iets over het (gemiddelde) effect bij die groep. Een individu kan echter heel andere kenmerken en een heel andere context hebben dan het gemiddelde van de onderzoeksgroep. Wanneer een geneesmiddel is getest bij een groep gezonde jonge mannen, wat weet ik dan over het effect bij een oudere dame die verschillende ziektes heeft en ook andere medicijnen gebruikt? In 2017 verscheen een rapport van de Raad voor Volksgezondheid en Samenleving (RVS) Zonder context geen bewijs [3]. Het rapport stelt de vraag hoe gevonden bewijs toepasbaar is in verschillende situaties. Zonder context geen bewijs. Prachtig. Zo had de titel van dit boek ook kunnen zijn. Het vat heel goed samen dat je de invloeden uit de context – de vele andere oorzaken – niet kunt negeren. Het gaat om upward én downward causality.

Welke p-waarde is laag genoeg om toeval uit te sluiten?
Wat is voldoende wetenschappelijk bewijs? Er is een lopende discussie [4] over het aanscherpen van de p-waarde-drempel. Moet de klassieke 5 procent naar 0,5 procent? Deze drempel gebruikt men vaak om aan te geven of bewijs significant is of niet. Bij een hoge p-waarde is de kans groter dat uitkomsten op toeval berusten. De druk om te presteren en met significante resultaten te komen is bij onderzoekers soms zo hoog dat ze in de zee van onderzoekdata gaan vissen tot ze iets hebben gevonden met een voldoende lage p-waarde. Dat heet p-hacking. Weggooien waar geen vraag naar is en het publiceren van een patroon dat je na lang vissen met big data onderzoek (data-mining) hebt gevonden is echter niet erg wetenschappelijk.

Onderzoek bij onregelmatige onderwerpen
Er is een toenemend besef hoe moeilijk het is om onderzoek te doen bij onregelmatige onderwerpen. Het bekend worden dat nogal wat onderzoeken (niet zelden beroemde studies) bij herhalen van het onderzoek andere resultaten opleverden heeft in de wetenschappelijke wereld geleid tot meer aandacht voor replicatieonderzoek, het herhalen van onderzoek dat door anderen is gedaan. En de resultaten zijn opmerkelijk. We geven twee voorbeelden. In 2005 stelde Ioannidis [5], een onderzoeker die veel heeft gedaan op het gebied van controleren van eerder onderzoek, dat meer dan de helft van alle resultaten in de biomedische vakliteratuur niet klopte. En in 2012 berichtten onderzoekers van het biotechnologie bedrijf Amgen [6] dat ze bij slechts 6 van 53 landmark studies (grensverleggend onderzoek) op het gebied van oncologie en hematologie de bevindingen met replicatieonderzoek konden bevestigen. (Je kunt je afvragen of herhalen van onderzoek bij sterk veranderlijke onderwerpen überhaupt mogelijk is. Denk bijvoorbeeld aan de metafoor van de vlinder. Maar zo goed mogelijk herhalen kan natuurlijk altijd.) Deze en andere signalen (bijvoorbeeld het niet publiceren van resultaten die niet goed uitkomen) maken duidelijk hoe moeilijk goed onderzoek is, dat resultaten elkaar kunnen tegenspreken en dat ongewenste resultaten ook resultaten zijn. In januari 2018 publiceerde de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) terecht een aantal aanbevelingen [7] ter verbetering.