�����̨

Een groep ecologen riep collega’s wereldwijd op om dezelfde twee ecologische datasets te analyseren om daarmee dezelfde onderzoeksvragen te beantwoorden. Het resultaat was opvallend: doordat onderzoekers uiteenlopende methodes gebruikten, was er aardig wat variatie in de conclusies die ze trokken. Utrechts ecoloog en biodiversiteitsonderzoeker Jonas Lembrechts was een van de deelnemers van . Lembrechts: “We mogen wat bescheidener zijn en soms zeggen dat we het ook niet zeker weten.”

Waarom deed je mee?

“Ik was net op zoek naar een activiteit om onze studenten te leren om wiskundige modellen toe te passen om verbanden in data te onderzoeken. Toen zag ik de oproep voorbijkomen. Het was een mooie kans om als team samen de analyse te doen en te kunnen vergelijken met wat er bij andere onderzoekers uitkwam.”

En wat kwam eruit?

“Een van de datasets was redelijk eenduidig. Daar vonden de meeste wetenschappers een verband dat dezelfde richting op ging, hoewel er verschillen waren in hoe sterk het gevonden verband was. Maar de andere dataset was rommeliger en het daadwerkelijke verband was niet heel duidelijk. Daar liepen de conclusies nog sterker uiteen. Hoewel er niet echt een overtuigend verband in de data zat, vond ongeveer een derde van de onderzoekers wel een negatief of positief verband. En een verschil in richting van het verband is natuurlijk verontrustend, omdat dat tot verkeerde beheersbeslissingen zou kunnen leiden.”

Was je verbaasd met de uitkomsten?

“Eigenlijk niet. Het was niet de eerste keer dat er zo’n onderzoek gedaan werd, hoewel het wel de eerste keer was dat het in de ecologie is gedaan. In ecologische datasets zit vaak veel ruis, omdat de wereld zo complex is. Toen we met de analyse bezigwaren, merkten we bij de lastigere dataset al dat het op het randje was of er een verband te zien was of niet. In zo’n geval maakt het heel veel uit wat voor analyse je doet als onderzoeker.”

Statistiek is geen wondermiddel. Er is meer onzekerheid dan we denken.

Laat de studie zien dat ecologen slecht zijn in statistiek?

“Dat zou ik niet zeggen. De uitkomsten zijn niet per se erger dan in andere disciplines. Er is in het onderzoek ook gekeken of de meest vreemde conclusies die sommige onderzoekers trokken ook het gevolg waren van vreemde beslissingen. Dat bleek niet zo te zijn. De onderzoekers die tot afwijkende conclusies kwamen, hebben geen rare dingen gedaan. Iedere analyse werd ook nagekeken door een onafhankelijke reviewer, en de afwijkende analyses werden ook niet slechter beoordeeld door die reviewers. Er zijn nou eenmaal verschillende manieren waarop je een dataset kunt benaderen, en dan kun je andere resultaten krijgen.”

Nu heb ik altijd dit onderzoek om aan terug te denken en me scherp te houden: heb ik alles wel voldoende dichtgetimmerd om die conclusie te trekken?

Wat leren we van dit onderzoek?

“Statistiek is geen wondermiddel. Er is meer onzekerheid dan we denken. Het is belangrijk duidelijk te zijn en open te communiceren over wat je met de data doet als onderzoeker. Daarnaast moeten we ons niet blindstaren op de p-waarde, een getal waarmee getest wordt of een uitkomst statistisch significant is. Dat wordt nu nog vaak aangeleerd als magische grens. Als je een test doet en je vindt een p-waarde kleiner dan 0,05, dan is het iets en anders niet. Maar als een verband niet zo sterk is of als er veel ruis is, kan het dus erg veel uitmaken welke test je doet. Zoeken tot je een significant resultaat vindt en dat dan rapporteren, is geen betrouwbare aanpak.

Het is belangrijk om veel herhalingen te doen en zo veel data te verzamelen. Ook is het goed om op veel verschillende manieren naar je data te kijken en verschillende methodes te gebruiken om de data te analyseren. Als je ziet dat drie van de vier tests een bepaalde richting op wijzen, dan kun je zekerder zijn dat er echt iets aan de hand is. Daarnaast geeft een enkele studie natuurlijk minder zekerheid dan meerdere studies die steeds een vergelijkbaar resultaat vinden.”

Verandert er iets voor jou?

“Persoonlijk probeerde ik al op deze dingen te letten. Maar dat kan lastig zijn, want je bent altijd blij als je een leuk resultaat hebt. Nu heb ik altijd dit onderzoek om aan terug te denken en me scherp te houden: heb ik alles wel voldoende dichtgetimmerd om die conclusie te trekken? Ik verwerk de onzekerheden in onze analyses nu meteen in de publicatie, dan is ook de lezer gewaarschuwd. Ook gebruik ik dit voorbeeld nu altijd bij mijn studenten. Het is goed dat zij ook ervaren dat het bij zo’n rommelige ecologische dataset soms moeilijk uit te pluizen is wat er echt gebeurt.”