Achter bijna elk gemiddelde in een studie staan twee getallen tussen haakjes. Die twee vertellen je meer dan het gemiddelde zelf.
Wat staat er tussen die haakjes?
Het bereik waarbinnen het werkelijke effect waarschijnlijk ligt. Meestal met vijfennegentig procent zekerheid.
Strikt genomen gaat die vijfennegentig procent over de methode en niet over dit ene onderzoek: herhaal je het honderd keer, dan bevatten ongeveer vijfennegentig van die intervallen het werkelijke effect. Over dit ene interval zegt het niet dat de waarheid er met vijfennegentig procent kans in ligt. Dat is dezelfde fout als bij de p-waarde, een regel verderop gemaakt.
Staat er "verlaagt de bloeddruk met gemiddeld 5 mmHg, interval 2 tot 8", dan is 5 de beste schatting en ligt de waarheid waarschijnlijk ergens tussen 2 en 8.
Smal of breed?
Hier zit het hele punt. Een smal bereik, bijvoorbeeld 4 tot 6, betekent dat de schatting precies is.
Een breed bereik, bijvoorbeeld min 2 tot 12, betekent dat je het eigenlijk niet weet. Het effect kan flink zijn of er kan niets zijn.
Loopt het bereik door de nul heen, dan hoort geen effect nog steeds bij de mogelijkheden, ook al is het gemiddelde positief. Dat is het geval waar een kop het hardst overheen stapt.
Waarom telt de grootte zwaarder dan de significantie?
Omdat significantie alleen zegt dat het waarschijnlijk geen toeval is. Ze zegt niets over of het genoeg is om iets aan te hebben.
Een onderzoek kan een zeer overtuigende p-waarde opleveren bij een verwaarloosbaar effect. Andersom kan een echt effect niet significant uitvallen omdat er te weinig deelnemers waren om zekerheid te halen.
De twee vragen naast elkaar
Is dit waarschijnlijk geen toeval. En is het groot genoeg om me iets van aan te trekken.
Pas als beide antwoorden ja zijn, is een bevinding de moeite waard. Een significant maar nietig effect met een breed, onzeker bereik is precies het soort uitkomst waar een reclameafdeling blij van wordt.