Vertekening is iets anders dan bedrog. Ze sluipt binnen zonder dat iemand het merkt, en ze buigt de uitkomst een kant op.
Daarom hoef je niemand van kwade wil te verdenken om kritisch te zijn.
Wie zat er in het onderzoek?
Als de deelnemers geen afspiegeling zijn van gewone mensen, zegt de uitkomst weinig over gewone mensen.
Een trainingsprogramma dat getest is op deelnemers die geworven zijn in een sportschool, is getest op mensen die al fitter en gemotiveerder zijn dan gemiddeld. Wat daar uitkomt geldt niet zomaar voor iemand die net begint.
Wie betaalde het?
Dit is een van de nuttigste vragen die je kunt stellen. Onderzoek dat betaald is door de maker van het product vindt vaker een gunstige uitkomst dan onafhankelijk onderzoek naar hetzelfde product.
Dat maakt zo'n onderzoek niet automatisch fout. Het is een reden om beter te kijken, niet om weg te kijken.
Welke studies zijn nooit verschenen?
Onderzoek dat niets vond, wordt veel minder vaak gepubliceerd. Het totale beeld van wat bewezen lijkt, is daardoor rooskleuriger dan de werkelijkheid.
Kijk je alleen naar wie het overleefde?
De man van vijfennegentig die zijn hele leven rookte, wordt aangehaald als bewijs dat roken meevalt. Hij is de uitzondering die er nog is om het te vertellen.
De duizenden die aan hetzelfde gewoonte zijn overleden, zitten niet meer in de groep waarover gesproken wordt. Je ziet de overlevenden en niet de rest.
En jouw eigen hoofd?
Dit is de moeilijkste om toe te geven. Wie al gelooft dat koolhydraten slecht zijn, zoekt onbewust naar bevestiging en leest het tegendeel strenger.
Het tegengif is één regel: leg dezelfde lat langs wat je wilt geloven als langs wat je niet wilt geloven. Dat is oncomfortabel, en het is wat wetenschappelijk denken in de praktijk betekent.
Waar let je op?
Drie vragen. Wie betaalde dit. Wie zat erin. En kijk ik hier zelf eerlijk naar.