Niet alleen presenteren de auteurs een nieuwe analyse van veelbesproken en veel bekritiseerde data, maar ook de manier waaróp ze het bespreken was nieuw, verfrissend en vooral duidelijk. Maar pas op, het blijft stoeien met cijfers. 

Het placebo-gecontroleerde onderzoek met de code RV144 vond plaats onder 16000 vrijwilligers in Thailand tussen 2006 en 2009. Zij werden gevaccineerd volgens het prime-boost principe: een dubbele vaccinatie met twee verschillende vaccins. Voor de start van dit onderzoek was er al een rel onstaan.

Criticasters
Een groep vooraanstaande HIV-onderzoekers onder leiding van Dennis Burton keerden zich in 2004 al tegen dit concept: beide vaccins waren namelijk los van elkaar niet effectief gebleken, dus zagen deze criticasters niet het nut om geld, moeite en tijd te spenderen. Het onderzoek dat door de Amerikaanse overheid werd betaald ging toch door en in de herfst van 2009 werden de resultaten wereldkundig gemaakt.

Wat bleek? Van de 8197 vrijwilligers die het vaccin ontvingen, raakten 51 mensen geïnfecteerd, terwijl in de placebogroep 74 van de 8198 mensen besmet raakten. Deze dubbele vaccinatiestrategie was 30% effectief. Ongekend en sensationeel. Maar weer ontstond er discussie.

Dertig procent effectiviteit klinkt als een duidelijk resultaat, maar het effect was op een haar na niet significant (p-waarde van 4%, terwijl de grens bij 5% ligt). Daarnaast bleek dat het significante resultaat alleen aantoonbaar was als niet alle vrijwilligers werden meegenomen: als proefpersonen het onderzoek halverwege hadden verlaten vanwege een nieuw opgelopen HIV-infectie waren ze uit de resultaten weggelaten.

Deze methode, op zich toegestaan, leidde tot een storm van kritiek, mede omdat de resultaten van RV144 met groot tromgeroffel waren bekend gemaakt door de mensen die aan een HIV-vaccin werken of dat werk betalen. Dat publieke debat maakte het er voor de leek niet makkelijker op om de werkelijke waarde van de studie te snappen.

Nuance 
Tot zover de historie. Vorige maand publiceerden Gilbert en collega’s de nieuwe statistische analyse van hetzelfde klinisch onderzoek. Vergeleken met de analyses uit 2009 hadden zij een veel diepgravendere analyse gedaan. Zij hadden niet alleen naar de data van RV144 gekeken, maar hadden a priori aannames op basis van eerdere onderzoeken meegenomen in de analyse. Gewapend met deze aannames over de aard van de resultaten, doet het model duizenden specifieke simulaties op statistische relevantie. Dit geeft een genuanceerder beeld dan de statistiek uit 2009. 

De eerste analyses in 2009 zeiden slechts of het gemeten effect van het vaccin (30%) significant of niet was. Er werd geen uitspraak gedaan over de kans op andere uitkomsten. Het artikel dat nu voor ons ligt kan dat verder specificeren: er is een 20% kans dat het vaccin echt helemaal geen effect (0%) heeft. Maar de kans is 80% dat het vaccin een effect heeft wat ergens tussen 3% en 52% kan liggen. 

Dit lijkt een semantische vooruitgang, maar het helpt ons daadwerkelijk om de data beter te begrijpen. Daarnaast hebben de onderzoekers voor het eerst de resultaten van de vier grote HIV-vaccinonderzoeken gebundeld. Ze tonen aan dat het om de resultaten van RV144 op waarde te schatten, vanuit statistisch oogpunt noodzakelijk is om door te gaan met prime-boost-strategieën. Ze adviseren ook om bij het ontwerpen van nieuwe studies de al bekende resultaten mee te nemen in de effectschatting.  

Begrijpelijk
Maar de auteurs doen nog iets wat veel belangrijker is: ze gebruiken ‘thought experiments’. Tijdens hun verhaal pauzeren ze even en nemen de lezer aan de hand van theoretische voorbeelden mee om zo de verschillende nuances in het kansberekenen helder uit te leggen. Ze benoemen veelgemaakte misinterpretaties van statistische principes. Het werd één van de eerste kennismakingen met een wetenschappelijk artikel dat niet droog de feiten opsomt maar een begrijpelijk verhaal maakt van moeilijke wiskundige materie. 

In het bovenstaande verhaal zit één grote adder onder het gras en dat is dat in de huidige analyses aannames worden gedaan over hoe de statistiek ingericht en geïnterpreteerd moet worden. En die aannames worden gevormd door ervaring én emotie. Lucia de B ging onterecht de gevangenis in, ondermeer op grond van aannames over statistiek. 

Grote klinische HIV-onderzoeken zijn duur, dus schaars, en alle kleine stapjes vooruit zijn wenselijk, zelfs als ze controversieel zijn. Dit prachtig geschreven artikel is daarom welkom in het met veel tegenslag geconfronteerde veld van HIV-vaccinontwikkeling.

 bron: Science Palooza