Een p-waarde beantwoordt één vraag: als er in werkelijkheid geen effect was, hoe vaak zou je dan door puur toeval een uitkomst zien die minstens zo sterk is als deze?
Een p van 0,03 betekent dus: bij geen enkel echt effect zou je dit in drie van de honderd pogingen toch zien. Kleiner getal, minder waarschijnlijk toeval.
Wat betekent het niet?
Hier gaat vrijwel iedereen de mist in, ook onderzoekers en journalisten.
Een p van 0,03 betekent niet dat er 97 procent kans is dat het effect echt is. Ze zegt niets over de kans dat je aanname klopt. Ze zegt alleen iets over hoe onwaarschijnlijk je gegevens zouden zijn als er niets aan de hand was.
Waar komt die grens van 0,05 vandaan?
Uit een afspraak, en verder nergens uit. Er zit geen wiskundige waarheid onder.
Het gevolg is raar. Een uitkomst met 0,049 wordt gevierd als significant, en 0,051 gaat de la in, terwijl die twee vrijwel hetzelfde zijn. De grens is een gewoonte die zich als een natuurwet gedraagt.
Significant of merkbaar?
Dat zijn twee verschillende dingen, en dit onderscheid is in de praktijk het belangrijkste van deze les.
Een onderzoek met vijftigduizend deelnemers kan een verlaging van je cholesterol met een halve procent vinden, met een p-waarde waar niets op aan te merken is. Statistisch overtuigend. Merk je er iets van? Vrijwel zeker niet.
Vraag dus altijd hoe groot het effect is, en niet alleen of het significant is.
Wat is p-hacking?
Data net zo lang op verschillende manieren bekijken tot er ergens iets onder de 0,05 uitkomt, en dat vervolgens publiceren alsof het de oorspronkelijke vraag was.
Wie genoeg dingen tegelijk test, vindt door toeval bijna altijd wel iets. Daarom wordt vooraf vastleggen wat je gaat onderzoeken steeds belangrijker.
Kort gezegd
Een p-waarde gaat over toeval, niet over waarheid en niet over belang. Kijk verder dan het sterretje.