20.3.2024
En överraskande stor mängd forskning kan inte upprepas. Orsaken finns delvis att hitta i incentivmodellerna som belönar kvantitet framom kvalitet vilket leder till slarvig forskning som slukar resurser utan att bidra till vetenskapens utveckling.
Jan Antfolks intresse för metavetenskap började då det för tio år sedan dök upp studier som visade att en hel del etablerade vetenskapliga resultat är osanna, eller att åtminstone evidensen för dessa resultat inte håller.
– Det började med att jag såg en studie med titeln Why Most Published Research Findings Are False av John P.A. Ioannidis, professor vid Stanford University.
Ett krav för att forskning ska anses ha ett evidensvärde, det vill säga bevisvärde, är att ett experiment ska gå att upprepa av ett annat forskningsteam var som helst där man har tillgång till samma instrument, och att utfallet i experimentet i väsentlighet ska motsvara det man i den ursprungliga forskningen framlagt som resultat.
– Det visar sig att man i den undersökta forskningen omkring 30 procent fått samma utfall. Resultatet borde vara minst 90 procent.
– Första tanken för mig var då: vad är det som är fel inom psykologin? Blir det så här för att vi försöker mäta sådant som är svårt att mäta? Men å andra sidan försöker vi använda etablerade metoder som borde garantera att resultaten går att replikera.
En del av lösningen vore att ordna en smidig basfinansiering av verksamheten. Så att det finns en stabil grund att driva långsiktig verksamhet, i stället för att kontinuerligt slåss om korttidsfinansiering.
– När jag tittade närmare på fenomenet visade det sig att det fanns studier som visade att mycket av den evidens man för fram i vetenskapliga studier, och då pratar jag om naturvetenskap i bred mening, inte håller streck. Samma problem som finns inom psykologin återkommer i någon mån åtminstone inom biovetenskaperna och medicinen.
Att studera dessa fenomen fick Antfolk att intressera sig för ett område som kallas metascience eller metavetenskap – ett vetenskapligt studium av vetenskapen själv.
– Det finns många lager av problem i den bristande kvaliteten, det är alltså inte uppenbart och entydigt var det går snett. Men om inte problemen åtgärdas finns det en klar risk för att folk blir skeptiska till vetenskapen som sådan och därför kan få för sig att andra icke-vetenskapliga metoder är likvärdiga.
– När mitt intresse började var det metodologiska problem som var fokus. Nu är det politiska omständigheter som rör vetenskapen som borde vara i fokus.
Vilken typ av omständigheter pratar vi om?
– Främst incentivmodellerna kring hur forskares arbete belönas. En överraskande stor mängd forskning kan inte upprepas. Orsaken finns delvis att hitta i incentivmodellerna som belönar kvantitet framom kvalitet vilket leder till slarvig forskning som slukar resurser utan att bidra till vetenskapens utveckling. Den modell vi har belönar kvantitet i stället för kvalitet. Det vill säga, forskaren belönas för att publicera mycket och snabbt i stället för att belönas för kvaliteten på forskningen.
Den problematiska strukturen Antfolk beskriver är universell, och gäller också för Finland; forskaren beviljas pengar enligt antal studier forskaren publicerar.
– Det är en riskabel modell då antalet publikationer har en direkt koppling till hur mycket forskaren får betalt. Och det här är alltså ett vetenskapspolitiskt problem eftersom det är ett politiskt beslut att ordna finansieringsmodellen så här.
– Krasst uttryckt: Ju större del av forskningsanslagen som konkurrensutsätts desto fler problem får man.
Vad är lösningen?
– En del av lösningen vore att ordna en smidig basfinansiering av verksamheten. Så att det finns en stabil grund att driva långsiktigverksamhet, i stället för att kontinuerligt slåss om korttidsfinansiering som i sin tur är beroende av snävt tidsbestämda forskningsprojekt, i stället för basverksamhet, och press på att publicera resultat snabbt och ofta, i stället för att låta forskningen ta tid för att komma någonstans på riktigt.
Antfolk nämner exempel där forskare hittat på studier och lyckats få finansiering för dem. Påhittade studier kännetecknas av att de ofta kommer till mera slagkraftiga och entydiga resultat jämfört med riktiga studier.
– Jag tror i och för sig att påhittade studier är ovanligare än vad det verkar. Orsakaren till intrycket att det kanske är vanligare än vad som är fallet beror på availability bias – alla avslöjade påhittade fall uppmärksammas. Men vartenda sådant fall är naturligtvis ett fall för mycket och de urholkar vetenskapens trovärdighet i allmänhetens ögon.
– Men det som skrämmer mig mer än de påhittade studierna är incentivmodellen och effekten den har. Forskarens incentiv att följa god vetenskaplig etik sätt på prov, och det är ett större problem än att enstaka forskare hittar på grejer som inte stämmer.
– Universitetet och systemet som sådant är intresserat av kvantitet eftersom incentivstrukturen stöder det. Det hjälper inte att säga att man är ”för en god etik” när modellen inte stöder god etik. Det finns en själkorrigerande mekanism som gör att forskning som inte går att replikera, eller som av andra orsaker inte visar sig hålla måttet dras tillbaka, eller avpubliceras. Avpubliceringsgraden är högst hos de mest erkända journalerna, vilket hör ihop med att studier som publiceras där också granskas hårdast efter publicering.
I och för sig borde gate-keeping-mekanismen, portvaktsmekanismen, fungera strängast hos dessa tidskrifter redan innan undermålig forskning släps fram.
– Toppjournaler har åtminstone hittills haft anseendet att allt som publiceras i dem är sant. Men även de lider av samma problem som vetenskapssamfundet i stort, alltså att även vetenskapliga journaler förtjänar pengar på att publicera så mycket som möjligt.
– Hela modellen med journaler som basis för meritering är ett dåligt skämt och en konsekvens av att det vetenskapliga samfundet inte lyckas styra sig självt och överlåtit publiceringen av forskning till tidskriftsförläggare som tar hutlöst betalt för att publicera statsfinansierad forskning – som de fått gratis. Incentivmodellen borde ses om från grunden så att vi inte dränks i undermålig forskning som dessutom slukar resurser.
Ioannadis argumenterar för att en stor del av medicinska forskningsartiklar innehåller resultat som inte kan replikeras. Ioannadis ställer upp ett antal faktorer som sannolikt påverkar vetenskapliga fynd inom medicinen på ett sätt som mera sannolikt producerar falska positiva resultat.