Ik ben dokter maar maakte een zijsprongetje naar onderzoek.
Zo werd ik epidemioloog.
Niemand weet precies wat epidemiologie is.
Epidemiologie is de wetenschap over hoe we in de echte wereld
kunnen uitmaken of iets goed of slecht voor je is.
Je kan dat het best begrijpen door het voorbeeld
van de wetenschap van die gekke, maffe krantenkoppen.
Dit zijn er slechts enkele voorbeelden van.
Uit de Daily Mail. Elk land ter wereld heeft zo'n krant.
Ze heeft een bizar, doorlopend filosofisch project
om alle levenloze voorwerpen in de wereld op te delen
in ofwel kankerverwekkende ofwel kankervoorkomende.
Hier enkele van de dingen waarvan ze onlangs zeiden dat ze kanker veroorzaken:
echtscheiding, Wi-Fi, toiletartikelen en koffie.
Hier enkele van de dingen waarvan ze zeggen dat ze kanker voorkomen:
korsten, rode peper, zoethout en koffie.
Jullie kunnen al zien dat er wat tegenstrijdigheden zijn.
Koffie kan zowel kanker veroorzaken als voorkomen.
Als je doorleest, kan je zien
dat hier misschien een politieke bedoeling achter zit.
Bij vrouwen voorkomt huishoudelijk werk borstkanker,
maar mannen kunnen impotent worden door te winkelen.
We moeten beginnen
met de wetenschap hierachter uit te pluizen.
Ik hoop aan te tonen
dat het ontrafelen van deze onbetrouwbare beweringen,
het zoeken naar bewijs achter deze onbetrouwbare beweringen,
niet overkomt als zoeken naar spijkers op laag water.
Het is maatschappelijk nuttig,
maar het is ook een uiterst waardevolle
verklarende methode.
Omdat echte wetenschap gaat over het kritisch beoordelen
van het bewijsmateriaal van iemands standpunt.
Dat gebeurt in wetenschappelijke tijdschriften.
Dat gebeurt op wetenschappelijke congressen.
De vraag-en-antwoordsessie na een postoperatieve datapresentatie,
is vaak een bloedbad.
Niemand neemt daar aanstoot aan. We verwelkomen het.
Het is als een intellectuele SM-activiteit met volle instemming.
Wat ik jullie ga laten zien,
zijn de belangrijkste dingen,
de belangrijkste kenmerken van mijn discipline -
geneeskunde op basis van bewijs.
Ik zal dat bespreken
en laten zien hoe het werkt
uitsluitend aan de hand van voorbeelden van mensen die het mis hebben.
We beginnen met de absoluut zwakste vorm van bewijs die de mensheid kent:
autoriteit.
In de wetenschap kan het ons niet schelen hoeveel letters je achter je naam hebt staan.
In de wetenschap willen we weten wat je redenen zijn om iets aan te nemen.
Hoe weet je dat iets goed
of slecht voor ons is?
Maar we zijn ook onder de indruk van autoriteit
omdat ze zo gemakkelijk te simuleren is.
Deze hier heet Dr. Gillian McKeith Ph.D,
of, om haar volledige medische titel te noemen: 'Gillian McKeith'.
(Gelach)
Overal kom je zo iemand tegen.
Zij is onze tv-dieetgoeroe.
Ze heeft vijf televisieprogramma's in primetime lopen
waarin ze uitgebreide en exotische gezondheidsadviezen verstrekt.
Zij blijkt echter ergens in Amerika
een niet-erkende schriftelijke cursus Ph.D. behaald te hebben.
Ze beroept er zich op dat ze een gecertificeerd professioneel lid
van de 'American Association of Nutritional Consultants' is.
Klinkt erg glamoureus en opwindend.
Je krijgt een certificaat en nog wat.
Dit hier hoort toe aan mijn dode kat Hetti. Ze was een verschrikkelijke kat.
Ga gewoon naar de website, vul het formulier in,
geef ze 60 dollar en je krijgt het per post.
Nu is dat niet de enige reden waarom we denken dat deze persoon een idioot is.
Ze zegt ook dingen als:
‘Je moet veel donkergroene bladeren eten,
omdat ze heel veel chlorofyl bevatten. Dat zal je bloed van zuurstof voorzien.’
Iedereen die op school wat biologie heeft gehad, herinnert zich
dat chlorofyl en chloroplasten
alleen zuurstof aanmaken in zonlicht.
In je darmen is het heel donker nadat je spinazie hebt gegeten.
We moeten steunen op degelijke wetenschap, op degelijk bewijs.
Nog zoiets. 'Rode wijn kan helpen bij het voorkomen van borstkanker.’
Dit is een kop van de Daily Telegraph in het Verenigd Koninkrijk
‘Een glas rode wijn per dag zou kunnen helpen bij het voorkomen van borstkanker.’
Je zoekt het artikel op en je vindt
een echt stuk wetenschap.
Het is een beschrijving van de veranderingen in één enzym
wanneer je wat chemisch extract uit de schil van wat rode druiven
op wat kankercellen
in een schaaltje ergens in een laboratorium laat druppelen.
Dat is een echt nuttig ding om te beschrijven
in een wetenschappelijk artikel.
Maar over de vraag van je eigen persoonlijke risico's
voor het krijgen van borstkanker als je rode wijn drinkt,
vertelt het jullie absoluut geen sodemieter.
Het blijkt dat het risico op borstkanker
in feite lichtjes verhoogt
met elke hoeveelheid alcohol die je drinkt.
Wat we willen zijn onderzoeken op echte mensen.
Hier nog een voorbeeld.
Dit is van de toonaangevende voedingsdeskundige van Groot-Brittannië in de Daily Mirror,
onze tweede meest verkochte krant.
‘Een Australische studie in 2001
vond dat olijfolie in combinatie met fruit, groenten en peulvruchten
een meetbare bescherming biedt tegen rimpels.’
Dan geven ze je advies:
‘Als je olijfolie en groenten eet, krijg je minder rimpels.'
Ze zeggen je zelfs waar je het artikel kan vinden.
Je vindt een observationele studie.
Uiteraard kan niemand
teruggaan naar 1930
om in een kraamafdeling de mensen te verdelen
in een helft die veel groenten, fruit en olijfolie zouden gaan eten
en de andere helft McDonald's.
Om dan later te zien hoeveel rimpels ze zouden krijgen.
Je hebt een momentopname nodig van hoe de mensen nu zijn.
En je vindt natuurlijk dat mensen
die groenten en olijfolie eten minder rimpels hebben.
Maar dat komt omdat mensen die groenten, fruit en olijfolie eten
freaks zijn, niet normaal. Ze zijn zoals jullie en
komen naar evenementen als dit hier.
Ze zijn chique, rijk, het is minder waarschijnlijk dat ze een baan in open lucht hebben,
het is minder waarschijnlijk dat ze handenarbeid doen,
ze hebben betere sociale ondersteuning, zijn minder geneigd om te roken.
Om een hele reeks van fascinerende, in elkaar grijpende
sociale, politieke en culturele redenen,
hebben ze minder kans om rimpels te hebben.
Niet door de groenten en de olijfolie.
(Gelach)
In het ideale geval doe je een proef.
Iedereen denkt zeer vertrouwd te zijn met het idee van een proef.
Proeven zijn zeer oud. De eerste proef stond in de Bijbel - Daniel 1:12.
Heel eenvoudig - je neemt een groep mensen, je deelt ze op in twee groepen en
je behandelt de ene groep op de ene manier, de andere groep op de andere manier.
Een tijdje later volg je ze op
en bekijkt wat er met elk van hen is gebeurd.
Daarom ga ik jullie wat vertellen over een onderzoek
dat waarschijnlijk het bekendste gerapporteerde onderzoek
in de nieuwsmedia van het VK in het afgelopen decennium is.
Het onderzoek naar visoliepillen.
Ze beweerden dat visoliepillen schoolprestaties en
gedrag zouden verbeteren bij gewone kinderen.
Zij zeiden: ’We hebben een onderzoek gedaan.
Alle vorige onderzoeken waren positief en dit zal ook wel meevallen.’
Dat moet altijd een alarmbelletje doen rinkelen.
Want als je het antwoord op je proef al kent, hoef je ze eigenlijk niet te doen.
Ofwel heb je ze zo ontworpen dat het gaat kloppen,
ofwel heb je al genoeg data en is er dus geen noodzaak om mensen willekeurig te gaan opdelen.
Zo gingen ze tewerk bij hun proef.
Ze namen 3.000 kinderen.
Die kregen allemaal van die enorme visoliepillen,
zes per dag.
Een jaar later maten ze hun examenprestaties
en vergeleken hun prestaties
met wat zij voorspelden dat hun examenprestaties zouden zijn geweest
als ze de pillen niet hadden gekregen.
Ziet hier iemand de fout in deze manier van werken?
Professoren in de methodologie van klinisch onderzoek
mogen deze vraag niet beantwoorden.
Er is geen controle, geen controlegroep.
Maar dat klinkt echt technisch.
Dat is een technische term.
De kinderen kregen de pillen en hun prestaties verbeterden.
Waardoor zou dat komen als het niet door de pillen kwam?
Zij werden ouder. We ontwikkelen ons allemaal in de loop van de tijd.
Natuurlijk speelt daar ook het placebo-effect.
Het placebo-effect is een van de meest fascinerende dingen in de hele geneeskunde.
Het gaat niet alleen over het nemen van een pil en je prestaties en je pijn verbeteren.
Het gaat over onze opvattingen en verwachtingen.
Het gaat over de culturele betekenis van een behandeling.
Dit is aangetoond in een hele reeks boeiende studies
waarbij de ene soort placebo vergeleken wordt met een andere.
We weten bijvoorbeeld dat twee suikerpillen per dag
een effectievere behandeling voor het wegwerken van maagzweren zijn
dan één enkele suikerpil.
Twee suikerpillen per dag werkt beter dan één suikerpil per dag.
Dat is een straffe en belachelijke conclusie, maar ze is waar.
We weten uit drie verschillende studies over drie verschillende soorten pijn
dat een zoutwaterinjectie een effectievere behandeling tegen de pijn is
dan het nemen van een suikerpil, een neppil zonder medicijn -
niet omdat de injectie of de pillen iets fysieks doen met het lichaam,
maar omdat een injectie als een veel dramatischer ingreep aanvoelt.
We weten dat onze opvattingen en verwachtingen
kunnen worden gemanipuleerd.
Daarom doen we onderzoek.
We controleren tegenover een placebo.
De ene helft van de mensen krijgt de echte behandeling
en de andere helft een placebo.
Maar dat is niet genoeg.
Ik heb voorbeelden gegeven van de zeer eenvoudige en ongecompliceerde manieren
waarmee de journalisten, verkopers van voedingssupplementpillen
en natuurgenezers
bewijs kunnen verdraaien voor hun eigen doeleinden.
Wat ik echt fascinerend vind
is dat de farmaceutische industrie
precies dezelfde soort trucs en toestanden gebruikt,
maar dan subtieler.
Ook zij verdraaien het bewijsmateriaal dat ze aan artsen en patiënten geven
en wij gebruiken dat om belangrijke beslissingen te nemen.
Ten eerste over vergelijkend onderzoek ten opzichte van placebo:
iedereen denkt te weten dat een proef een vergelijking
moet zijn tussen je nieuwe medicijn en een placebo.
Maar eigenlijk is dat in veel situaties verkeerd.
Vaak bestaat er al een zeer goede behandeling voor iets.
In dat geval willen we niet weten
dat je nieuwe behandeling beter is dan niets.
We willen weten of ze beter is dan de beste momenteel beschikbare behandeling.
Maar toch zie je keer op keer dat er nog steeds
vergeleken wordt met een placebo.
Je mag je geneesmiddel op de markt brengen
als blijkt dat het beter is dan niets.
Voor een dokter is dat waardeloze informatie als je een beslissing moet nemen.
Maar dat is niet de enige manier waarop ze data manipuleren.
Je kunt je data ook manipuleren
door je nieuwe medicijn met
echte rommel te vergelijken.
Je kan het concurrerende medicijn in een te lage dosis toedienen
zodat mensen niet goed worden behandeld.
Of je kan het concurrerende medicijn in een te hoge dosis geven
zodat de mensen bijwerkingen krijgen.
Dat is precies wat er gebeurd is
met antipsychotische medicatie voor schizofrenie.
20 jaar geleden kwam een nieuwe generatie van antipsychotica op de markt
met de belofte dat ze minder bijwerkingen zouden hebben.
Ze deden proeven om deze nieuwe geneesmiddelen
te vergelijken met de oude.
Ze gaven de oude geneesmiddelen in zo'n belachelijk hoge doses -
20 milligram Haloperidol per dag.
Als je een geneesmiddel in zo'n hoge dosis toedient,
is het een uitgemaakte zaak
dat het meer bijwerkingen zal hebben en dat je nieuwe geneesmiddel het beter zal doen.
Interessant genoeg herhaalde de geschiedenis zich 10 jaar geleden.
Toen verviel het copyright van Risperidon, het eerste van de nieuwe generatie
antipsychotische geneesmiddelen, zodat iedereen het kon namaken.
Iedereen wilde laten zien dat hun medicijn beter was dan Risperidon.
Je kreeg een heleboel proeven waarbij nieuwe antipsychotica vergeleken
werden met acht milligram Risperidon per dag.
Geen krankzinnig hoge dosis, geen illegale dosis,
maar heel erg aan de hoge kant van normaal.
Natuurlijk gaat je nieuwe geneesmiddel er dan beter uitzien.
Het is dus niet te verwonderen dat in het algemeen
door de industrie gefinancierde studies
vier keer meer kans op een positief resultaat opleveren
dan onafhankelijk gesponsorde onderzoeken.
Maar - en het is een grote maar -
(Gelach)
Als je kijkt naar de methoden
die worden gebruikt bij de door de industrie gefinancierde studies,
dan blijkt dat ze eigenlijk beter zijn
dan de onafhankelijk gesponsorde onderzoeken.
Toch spelen ze het altijd klaar om het resultaat dat ze willen hebben te krijgen.
Hoe?
Hoe kunnen we dit vreemde fenomeen verklaren?
Het blijkt dat
de negatieve data worden verduistermaand.
Ze geraken nooit tot bij de artsen en patiënten.
Dat is het belangrijkste aspect aan het hele verhaal.
Het zit aan de top van de piramide van bewijsmateriaal.
We moeten alle gegevens voor een bepaalde behandeling hebben
om te weten of ze al dan niet echt effectief is.
Er zijn twee verschillende manieren waarmee je kan nagaan
of sommige gegevens werden achtergehouden.
Je kunt gebruik maken van statistieken of van verhalen.
Ik persoonlijk verkies statistieken, daar begin ik dus mee.
Dit hier heet een trechtergrafiek.
Een trechtergrafiek is een heel slimme manier om na te gaan
of kleine negatieve proeven verdwenen zijn, ‘vermist in actie’.
Dit is een grafiek van alle proeven
die zijn gedaan voor een bepaalde behandeling.
Als je omhoog gaat naar de top van de grafiek
stelt elk punt een proef voor.
Hoe hoger je gaat, hoe omvangrijker de proeven zijn. Die hebben minder fouten.
Ze zullen minder gemakkelijk willekeurig fout-positieven of willekeurig fout-negatieven zijn.
Zodat ze allemaal samenkoeken.
De grote proeven zitten dichter bij het ware antwoord.
Als je verder naar beneden gaat,
vind je aan deze kant de onechte fout-negatieven
en dan aan deze kant de onechte fout-positieven.
Als een publicatie een vertekend beeld geeft,
als kleine negatieve proeven zijn weggelaten,
kan je dat zien op dit soort grafieken.
Hier kan je zien dat de kleine negatieve proeven
die aan de onderzijde links zouden moeten staan, verdwenen zijn.
Dit is een grafiek die aantoont dat de publicatie een vertekend beeld geeft
in studies over publicaties die een vertekend beeld geven.
Ik denk dat dat de grappigste epidemiologische grap is
die jullie ooit zullen horen.
Zo kan je het statistisch bewijzen,
maar hoe zit het met de verhalen?
Die zijn echt afschuwelijk, echt waar.
Dit is het geneesmiddel Reboxetine.
Ik heb het zelf voorgeschreven aan patiënten.
En ik ben dan nog een heel pietepeuterige arts.
Ik probeer zoveel mogelijk te begrijpen en alle literatuur te lezen.
Ik heb de proeven hierover nageplozen. Ze waren allemaal positief. Ze waren allemaal goed uitgevoerd.
Ik vond geen fout.
Helaas bleek het
dat veel van deze proeven werden ingehouden.
In feite kwam 76 procent
van alle proeven die op dit medicijn werden gedaan
nooit bij artsen en patiënten terecht.
Het zou hetzelfde zijn
alsof ik een munt honderd keer zou opgooien
en je de helft van de tijd
de uitkomst niet zou hoeven te vertellen.
Zo zou ik je dan kunnen overtuigen
dat ik een munt heb met aan beide zijden 'kop'.
Als wij de helft van de gegevens weglaten,
kunnen we nooit weten wat de ware omvang van het effect van deze medicijnen is.
Dit is geen alleenstaand verhaal.
Ongeveer de helft van alle onderzoeksgegevens over antidepressiva werd ingehouden,
maar het gaat veel verder dan dat.
De Nordic Cochrane Group probeerde die gegevens vast te krijgen
om ze allemaal samen te brengen.
De Cochrane Groups zijn een internationale non-profit samenwerking
om van alle gegevens die ooit zijn aangetoond systematische reviews te produceren.
Ze moeten toegang hebben tot alle gegevens van een proef.
Maar de bedrijven gaven hen die gegevens niet,
evenmin als het Europees Geneesmiddelenbureau,
drie jaar lang.
Dit is een probleem waarvoor er op dit moment geen oplossing is.
Om te laten zien hoever dit gaat: dit is het geneesmiddel Tamiflu.
Overheden overal ter wereld
hebben regeringen er miljarden en miljarden dollars aan besteed.
Zij besteedden dat geld door de belofte
dat dit een geneesmiddel zou zijn dat het aantal
complicaties van griep zou doen verminderen.
We hebben de gegevens al
waaruit blijkt dat het de duur van je griep een paar uur vermindert.
Maar daar zit ik niet echt mee in. Ook de regeringen niet.
Het spijt me erg als je de griep hebt, ik weet dat het verschrikkelijk is,
maar we gaan geen miljarden dollars spenderen
om de duur van jouw griepsymptomen
met een halve dag te verminderen.
We schrijven deze medicijnen voor, we leggen voorraden aan voor noodgevallen
met dien verstande dat ze het aantal complicaties
zoals longontsteking en dood, zullen verminderen.
De Cochrane Group voor infectieziekten die in Italië zit,
heeft de volledige gegevens in een bruikbare vorm
van de farmaceutische bedrijven proberen te krijgen.
Daaruit hadden ze kunnen besluiten
of dit geneesmiddel al dan niet effectief is.
Ze konden die informatie niet krijgen.
Dit is ongetwijfeld
het grootste ethische probleem
waarmee de geneeskunde vandaag geconfronteerd wordt.
We kunnen geen beslissingen nemen
bij afwezigheid van alle informatie.
Het is dus nogal moeilijk om hier
een positieve conclusie aan vast te knopen.
Maar ik zou zeggen:
ik denk dat zonlicht
het beste ontsmettingsmiddel is.
Al deze dingen gebeuren onder onze neus
en zijn allemaal beschermd
door een krachtveld van ‘doe-maar-op’.
Met alle problemen in de wetenschap
is een van de beste dingen die we kunnen doen:
de motorkap optillen,
wat peuteren in de mechaniek en kijken hoe het ermee gesteld is.
Heel hartelijk bedankt.
(Applaus)