Onderzoeksmethode

Het meeste begint in PubMed, de openbare index van de Amerikaanse National Library of Medicine. Die halen wij op via de officiële programmeerinterface in plaats van met de hand, zodat een zoekopdracht herhaalbaar is en niemand onderweg kan kiezen wat erin komt. Bij elk artikel staat die zoekopdracht letterlijk.

Maar PubMed is niet alles, en doen alsof van wel is de makkelijkste manier om iets te missen. Wij kijken daarnaast in de Cochrane Library, waar systematische reviews vaak eerder en vollediger staan. In ClinicalTrials.gov en PROSPERO, om te zien welk onderzoek is aangemeld en daarna nooit is gepubliceerd, want dat is de grootste bron van vertekening die er is. En in Google Scholar voor proefschriften, rapporten en literatuur die nergens netjes geïndexeerd staat.

Waar wij niet bij kunnen is Embase, dat achter een betaalmuur zit. Dat is een echte beperking en die zetten wij hier neer in plaats van hem weg te laten.

Bij producten komt daar nog iets bij: analysecertificaten en testrapporten van de fabrikant, en waar wij het zelf kunnen meten onze eigen metingen. Die staan er dan bij als meting en niet als oordeel, met de methode erbij.

Onderzoek in mensen. Gerandomiseerde trials wegen het zwaarst, daarna systematische reviews en meta-analyses van die trials, daarna observationeel onderzoek.

Celkweek en dieronderzoek tellen niet mee als bewijs dat iets bij jou werkt. Wij noemen ze soms om een mechanisme uit te leggen, en dan zeggen wij er expliciet bij dat het daarom gaat.

Onderzoek zonder controlegroep als er wel gecontroleerd onderzoek bestaat. Publicaties die wij niet volledig kunnen lezen wanneer de samenvatting de uitkomst niet compleet weergeeft. En alles wat wij niet kunnen herleiden tot een geïndexeerde bron met een PMID of DOI.

Dit is het punt waarop wij het meest van anderen verschillen. Een studie die niets vond staat er even uitgebreid in als een studie die iets vond, en als het beste onderzoek in een veld niets vond, dan is dat de conclusie.

Wij publiceren tegen onze eigen winkel in wanneer het bewijs die kant op wijst.

Wij kijken naar de sterkte van het onderzoeksontwerp, naar de omvang, naar of het herhaald is, en naar of het effect groot genoeg is om iets voor je te betekenen. Een statistisch significant verschil dat je niet merkt is geen resultaat.

Waar reviews elkaar tegenspreken zoeken wij uit waarom, meestal in de volledige tekst, en schrijven wij dat op in plaats van er een gemiddelde van te maken.

Boven elk artikel dat een oordeel velt staan twee labels, en die zeggen expres verschillende dingen.

Waar dit op rust is een feit over de literatuur. Gebundelde trials in mensen, losse gerandomiseerde trials, observationeel onderzoek, alleen laboratorium- en dierproeven, of helemaal niets over het product zelf.

Hoe hard het is is ons oordeel, en daar hoort een regel bij die je kunt nakijken.

Sterk. Gerandomiseerde trials in mensen, die niet worden tegengesproken door andere gerandomiseerde trials.

Redelijk. Trials, systematische reviews en analyses die elkaar niet tegenspreken maar de lat hierboven niet halen.

Beperkt. Al het overige.

Zwak. Nauwelijks een conclusie te trekken, omdat er geen onderzoek in mensen is of omdat alles elkaar tegenspreekt.

Er is één uitzondering, en die schrijven we liever op dan dat we hem stilletjes toepassen. Een claim over hoe goed iets voorspelt, en niet over wat er gebeurt als je iets doet, valt niet te loten: niemand kan een leeftijd of een bloedwaarde toegewezen krijgen. Daar neemt een tweede groep mensen de plaats in van een tweede trial. Een maat die in het ene cohort is gebouwd en in het andere standhoudt haalt dus Redelijk, en nooit Sterk.

Let op wat er niet in staat: hoevéél onderzoek er is. Vierhonderd reviews die het oneens zijn scoren lager dan één schone trial, en dat is precies waarom dit naast de basis staat en niet in plaats daarvan.

Bij beide labels staat een zin waarom, want een label zonder reden is een sticker. Artikelen die een onderwerp uitleggen in plaats van een claim beoordelen krijgen ze niet.

Wij verkopen producten en coaching. Dat is een belang, en het is de reden dat elke claim op een productpagina moet verwijzen naar onze eigen analyse van de literatuur, inclusief het onderzoek dat niets vond.

Kunnen wij een claim niet zo onderbouwen, dan staat hij er niet, ook niet als hij zou verkopen.

Bij het zoeken, het ophalen en het ordenen van studies gebruiken wij software, waaronder taalmodellen. Elke PMID en DOI die je hier ziet is daarna machinaal gecontroleerd tegen de bron.

En daarna leest Liam alles zelf: hij controleert het, past het aan waar het niet klopt of niet scherp genoeg is, en geeft het pas dan vrij. Er verschijnt geen zin op deze site die hij niet zelf heeft gelezen.

Wij zeggen dit erbij omdat een site die om controleerbaarheid vraagt ook over zichzelf controleerbaar hoort te zijn.

Wij maken fouten. Wanneer een artikel op inhoud wijzigt, niet op spelling, dan passen wij het aan en vermelden wij de datum. Vind je iets dat niet klopt, laat het weten, dan herstellen wij het en schrijven wij op wat er mis was.