Onderzoek: de helft van de onderzoeken waarover je in het nieuws leest, klopt niet

En ja, dit zou er een van kunnen zijn.

wetenschappelijk laboratorium

Alex_Traksel/Shutterstock

Alex_Traksel/Shutterstock

Er is een vaak herhaalde mantra onder wetenschappers: een enkele studie is zelden het definitieve antwoord. En toch zijn nieuwe onderzoeken voor wetenschapsverslaggevers onweerstaanbaar - een gewaagde nieuwe bevinding haalt een geweldige kop.



Wat verklaart hoe we in verwarrende situaties als deze komen:

Het probleem is niet noodzakelijk dat deze onderzoeken slecht zijn opgezet (hoewel sommige dat wel kunnen zijn). Het probleem is dat elke kop een onvolledig beeld geeft van hoe wetenschap werkt. Eén lab levert een resultaat op. Een ander laboratorium probeert - idealiter - dat resultaat te repliceren. Afspoelen en herhalen. Uiteindelijk moet iemand een meta-review doen van de totaliteit van het bewijsmateriaal over de vraag om tot een conclusie te komen. Die meta-review, in plaats van een afzonderlijk onderzoek, zal waarschijnlijk dichter bij het echte antwoord komen.

Maar als onderzoekers in PLOS OF geboren onlangs gevonden , journalisten behandelen meestal alleen die eerste artikelen - en slaan het schrijven over de verhelderende meta-reviews die later komen over.

Bovendien, zo blijkt uit de studie, informeren journalisten het publiek zelden wanneer [eerste onderzoeken] worden ontkracht - ondanks het feit dat ongeveer de helft van de onderzoeken waarover journalisten schrijven later wordt weerlegd door vervolgonderzoeken.

Er zijn heel wat artikelen nodig om een ​​schijnbaar fundamentele vraag te beantwoorden, zoals verhoogt of verlaagt een dieet met rundvlees de incidentie van kanker?

Journalisten behandelen veel vaker initiële studies dan follow-ups of meta-reviews

De auteurs van de PLOS Een paper verzamelde een enorme database van studies in de biomedische wetenschappen, follow-ups van die studies en meta-studies over die follow-ups. En toen doorzochten ze de Dow Jones Factiva-krantendatabase om te zien hoe vaak elk type onderzoek werd behandeld.

Ze ontdekten dat initiële studies ongeveer vijf keer meer kans hadden om gerapporteerd te worden dan vervolgstudies. En meta-reviews kwamen nauwelijks aan bod.

Bovendien houden journalisten er echt van om te rapporteren over onderzoeken die positieve resultaten opleveren, ook al zijn onderzoeken die negatieve resultaten opleveren even waardevol. Van de 1.475 krantenartikelen in de dataset rapporteerden slechts 75 artikelen over nulbevindingen.

ik heb een cheque per post ontvangen

Ten slotte lijken journalisten massaal toe te stromen naar studies die betrekking hebben op levensstijlkeuzes zoals dieet of lichaamsbeweging (en vooral die welke zijn gepubliceerd in de meest prestigieuze tijdschriften). Niet-levensstijlstudies - over onderwerpen als beeldvorming van de hersenen of genetica - kwamen veel minder vaak voor. Deze voorkeursdekking, vermoeden de onderzoekers, is te wijten aan het feit dat lezers direct actie kunnen ondernemen op levensstijlkeuzes.

Bijna de helft van de afzonderlijke onderzoeken waarover gerapporteerd wordt, blijkt niet te kloppen

Dit is waarom dit een probleem is. De PLOS Een Uit analysepapier bleek dat slechts 48,7 procent van de 156 onderzoeken die door kranten werden gerapporteerd, werd bevestigd door een daaropvolgende meta-review.* Het percentage daalde tot 34 toen de onderzoekers zich alleen concentreerden op initiële onderzoeken.

(*Om zeker te zijn, meta-reviews zijn niet perfect. Publicatiebias - de neiging van alleen artikelen met positieve resultaten om in tijdschriften te komen - kan zelfs de meest zorgvuldige meta-review scheeftrekken. Maar over het algemeen bieden ze een meer uitgebreide antwoord dan een enkele studie.)

En hoewel journalisten zich aangetrokken voelen tot het behandelen van afzonderlijke studies over levensstijlkeuzes zoals dieet of lichaamsbeweging, waren dit eigenlijk de minst waarschijnlijk bevestigd door een meta-review (in tegenstelling tot non-lifestyle papers over onderwerpen als genetica).

Al met al concluderen de auteurs:

Uit ons onderzoek blijkt dat veel biomedische bevindingen die door kranten worden gerapporteerd, door latere onderzoeken worden ontkracht. Dit is deels te wijten aan het feit dat kranten bij voorkeur verslag doen van 'positieve' initiële onderzoeken in plaats van latere observaties, met name die met nulbevindingen. Onze studie suggereert ook dat de meeste journalisten van de algemene pers niet weten of liever niet omgaan met de hoge mate van onzekerheid die inherent is aan vroege biomedische studies.

Waarom hechten verslaggevers te veel waarde aan afzonderlijke onderzoeken?

Een paar mogelijke redenen:

1) Journalisten hebben behoefte aan verteerbare koppen die eenvoudige, toegankelijke en bij voorkeur nieuwe lessen overbrengen. Dit staat fundamenteel op gespannen voet met hoe de wetenschap werkt, die de nadruk legt op een langzame accumulatie van kennis, nuance en twijfel.

2) Het is niet allemaal de schuld van de journalisten. Universitaire perswinkels publiceren minder snel persberichten over meta-reviews dan over een opvallende en dramatische enkelvoudige studie. Bovendien kunnen de metastudies zelf compact en moeilijk te ontleden zijn.

3) Het zijn vaak de wetenschappelijke artikelen of persberichten zelf die een hype verspreiden over de eerste bevindingen.

wetenschap fixen 3

De PLOS Een auteurs hebben wat advies voor verslaggevers die over nieuwe studies schrijven. Namelijk: pak de telefoon en vraag de onderzoekers of het een eerste bevinding is, en zo ja, dan moeten ze het publiek informeren dat deze ontdekking nog voorlopig is en gevalideerd moet worden door volgende studies. Inderdaad, studie co-auteur ons resultaat verwijst slechts naar een kleine steekproef van het wetenschappelijk onderzoek.

Merk ook op dat dit PLOS One onderzoek heeft zelf een aantal beperkingen. Ten eerste keek het alleen naar krantenartikelen. In werkelijkheid is het wetenschappelijke media-ecosysteem veel, veel groter. Er zijn algemene nieuwsuitzendingen op internet zoals Vox, gespecialiseerde wetenschappelijke tijdschriften zoals New Scientist en Scientific American, nieuwsactiviteiten die worden gerund door tijdschriften als Wetenschap en Natuur, en tv-nieuwsprogramma's - die allemaal over wetenschap rapporteren. Ons resultaat heeft slechts betrekking op een kleine steekproef van het wetenschappelijk onderzoek, schrijft Estelle Dumas Mallet, de hoofdauteur van het onderzoek, in een e-mail. Ook kunnen we deze resultaten niet extrapoleren naar andere domeinen zoals natuurkunde en scheikunde.

De studie omvatte ook alleen nieuwsartikelen die werden gepubliceerd binnen een maand na de publicatie van de wetenschappelijke artikelen die ze citeren. Het is mogelijk dat kranten het beter doen als ze onderzoek citeren als het geen nieuws is.

verkiezingsresultaten naar geslacht en ras

Dat gezegd hebbende, vermoed ik dat de bevindingen nog steeds gelden voor de bredere media-omgeving. Als verslaggevers zijn we bevooroordeeld in de richting van wat nieuw en opwindend is. Maar in de wetenschap kost de waarheid tijd.