Problemet med vetenskap är vetenskapsmän

För fem år sedan twittrade astrofysikern och vetenskapskommunikatören Neil deGrasse Tyson en mycket minnesvärd och citatvärd tweet:

Jorden behöver ett virtuellt land: #Rationalia, med en konstitution på en rad: All policy ska baseras på vikten av bevis

- Neil deGrasse Tyson (@neiltyson) Juni 29, 2016

Tysons idealiska värld tilltalade många människor som var trötta av känslostyrd politik och politiskt stamkrig som hade invaderat alla arenor i det offentliga livet, inklusive vetenskap. Det tilltalade många av hans forskarkollegor, människor tränade att tänka objektivt och testa hypoteser baserade på observationer om den naturliga världen.

Det enda problemet – den enorma vikten av bevis visar varför det virtuella landet Rationalia helt enkelt aldrig kommer att hända.

Det beror på att det för människor kräver en enorm mängd energi och ansträngning att tänka rationellt. Som ett resultat stör vi för det mesta inte. Istället styrs den stora majoriteten av vårt tänkande helt och hållet av vår intuition – våra instinkter ensamma utan någon av de där irriterande störande rationella tankarna.

Denna dikotomi förklaras mästerligt i utsökt detalj av Nobelpristagaren Daniel Kahneman i sin bok Tänker snabbt och långsamt, och täckt med fokus på politiska splittringar i Jonathan Haidts mästerverk Det rättfärdiga sinnet. Båda är fantastiska verk i sin egen rätt, och ger fascinerande förklaringar till varför människor har olika åsikter och varför det är så svårt att ändra dem.

Ännu viktigare är att denna kognitiva dikotomi gäller alla, även forskare. Det kan vara överraskande för vissa (inklusive vissa forskare, tydligen), som media och politiker har porträtterat vetenskapsmän (åtminstone de de håller med) som genomsyras av en magisk förmåga att urskilja och uttala absolut sanning.

Detta kunde inte vara längre från verkligheten. Jag säger ofta till folk att skillnaden mellan en vetenskapsman och en genomsnittlig person är att en vetenskapsman är mer medveten om vad han/hon inte vet om sitt specifika område, medan den genomsnittliga personen inte vet vad de inte vet. Alla lider med andra ord av en förkrossande okunnighet, men forskare är (hoppas man) oftast mer medvetna om djupet i deras. De kan ibland ha en idé om hur man kan öka en viss mängd kunskap, och ibland kan den idén till och med visa sig vara framgångsrik. Men för det mesta ägnar de sin tid åt att tänka på en djup klyfta av kunskap som är specifik för deras område.

Forskare hindras ofta av sina egna år av erfarenhet och den potentiellt vilseledande intuition som har utvecklats som ett resultat. I boken Virusjägare, berättar författarna CJ Peters och Mark Olshaker hur en före detta CDC-direktör anmärkte att "unga, oerfarna EIS (Epidemic Intelligence Service) officerare CDC vanligtvis skickade ut för att undersöka mystiska sjukdomsutbrott och epidemier faktiskt hade en viss fördel jämfört med sina mer erfarna och rutinerade äldre. Samtidigt som de hade förstklassig utbildning och stöd från hela CDC-organisationen, hade de inte sett tillräckligt för att ha förinställda åsikter och kunde därför ha varit mer öppna för nya möjligheter och haft energin att fullfölja dem.” Experter är också hemska på att göra förutsägelser, och som förklaras av forskaren och författaren Philip Tetlock i sin bok Expert politisk bedömning, de är inte mer exakta i prognoser än den genomsnittliga personen. Ju mer nyligen misslyckanden i modeller för pandemiprognos har bara stärkt denna slutsats.

De flesta framgångsrika vetenskapsmän kan spåra sina främsta prestationer till arbete som inträffade tidigt i karriären. Detta händer, inte bara för att forskare får mer anställningstrygghet, utan för att de blir hämmade av sina egna erfarenheter och fördomar. När jag var laboratorietekniker i slutet av 90-talet minns jag att jag frågade en immunolog om råd om ett experiment jag planerade. Det slutade med att han gav mig en massa anledningar till varför det inte fanns något bra sätt att göra det experimentet och få användbar information. Jag berättade för en postdoc om det här mötet, och jag minns att hon sa "Lyssna inte på honom. Den killen kan övertala dig från att göra vad som helst”. Erfarna forskare är mycket medvetna om vad som inte fungerar, och det kan resultera i en ovilja att ta risker.

Forskare verkar i en mycket konkurrensutsatt miljö där de tvingas tillbringa större delen av sin tid med att söka forskningsfinansiering genom oändliga anslagsskrivningar, av vilka de allra flesta är ofinansierade. För att vara konkurrenskraftiga för denna begränsade pool lägger forskare den mest positiva snurran på sitt arbete och publicerar sina mest positiva resultat. Även om studien avviker från vad som ursprungligen var planerat, läses det resulterande manuskriptet sällan på det sättet. Och dessa påtryckningar resulterar ofta i att dataanalys faller in i ett felbenäget spektrum från att mer oskyldigt betona positiva resultat till att ignorera negativa eller motsatta data till direkt påhitt. Detaljerade exempel på detta ges av författaren Stuart Ritchie i sin bok Science Fiction: Hur bedrägeri, partiskhet, försumlighet och hype undergräver sökandet efter sanning. Ritchie förklarar inte bara hur vetenskapen förvrängs av trycket på erkännande och finansiering från välmenande vetenskapsmän, han kommer in på blodiga detaljer om några av de mest produktiva bedragarna. En annan utmärkt resurs som täcker vetenskapliga fel och forskningsmissbruk är webbplatsen Retraction Watch. Det stora antalet indragna papper, många av samma forskare, lyfta fram vikten av att dokumentera och angripa vetenskapligt bedrägeri.

Problemen med forskningsdatarapportering och replikerbarhet har varit kända i åratal. 2005, Stanford Professor John Ioannidis, bland de mest citerade forskarna, publicerade en av de mest citerade artiklarna (över 1,600 XNUMX), Varför de flesta publicerade forskningsresultaten är falska. I studien använde Ioannidis matematiska simuleringar för att visa "att det för de flesta studiedesigner och inställningar är mer sannolikt att ett forskningspåstående är falskt än sant. Dessutom, för många aktuella vetenskapliga områden kan påstådda forskningsresultat ofta helt enkelt vara korrekta mått på den rådande fördomen." Ioannidis bjöd också på sex följder från hans slutsatser: 

1. Ju mindre studier som utförs inom ett vetenskapligt område, desto mindre sannolikt är forskningsresultaten sanna.
2. Ju mindre effektstorlekarna är inom ett vetenskapligt område, desto mindre sannolikt är forskningsresultaten sanna.
3. Ju större antal och ju mindre urval av testade samband inom ett vetenskapligt område, desto mindre sannolikt är forskningsresultaten sanna.
4. Ju större flexibilitet i design, definitioner, resultat och analytiska lägen inom ett vetenskapligt område, desto mindre sannolikt är forskningsresultaten sanna.
5. Ju större ekonomiska och andra intressen och fördomar är inom ett vetenskapligt område, desto mindre sannolikt är forskningsresultaten sanna.
6. Ju hetare ett vetenskapligt område (med fler forskarlag involverade), desto mindre sannolikt är forskningsresultaten sanna.

Om du tittar noga på listan borde 5 och 6 hoppa ut och skrika åt dig. Här är en närmare titt:

"Konsekvens 5: Ju större ekonomiska och andra intressen och fördomar är inom ett vetenskapligt område, desto mindre sannolikt är forskningsresultaten sanna. Intressekonflikter och fördomar kan öka partiskheten, u. Intressekonflikter är mycket vanliga inom biomedicinsk forskning, och vanligtvis rapporteras de bristfälligt och sparsamt. Fördomar behöver inte nödvändigtvis ha ekonomiska rötter. Forskare inom ett visst område kan vara fördomsfulla enbart på grund av sin tro på en vetenskaplig teori eller engagemang för sina egna rön (betoning min). Många i övrigt till synes självständiga, universitetsbaserade studier får inte genomföras utan annan anledning än för att ge läkare och forskare behörighet för befordran eller anställning. Sådana icke-finansiella konflikter kan också leda till förvrängda rapporterade resultat och tolkningar. Prestigefyllda utredare kan genom peer review-processen undertrycka uppkomsten och spridningen av fynd som motbevisar deras fynd, och på så sätt döma deras område till att vidmakthålla falska dogmer. Empiriska bevis på expertutlåtanden visar att det är extremt opålitligt."

"Konsekvens 6: Ju hetare ett vetenskapligt område (med fler vetenskapliga team inblandade), desto mindre sannolikt är forskningsresultaten att vara sanna. Denna till synes paradoxala följd följer av att, som nämnts ovan, den PPV (positivt prediktivt värde) av isolerade fynd minskar när många team av utredare är involverade i samma område.Detta kan förklara varför vi ibland ser stor spänning följt snabbt av svåra besvikelser inom områden som drar stor uppmärksamhet. Med många team som arbetar på samma område och med enorma experimentella data som produceras, är timing avgörande för att slå konkurrensen. Således, varje team kan prioritera att eftersträva och sprida sina mest imponerande "positiva" resultat... "

Forskare som är fördomsfulla på grund av sin övertygelse, motiverade av fältets "hetta", och därmed prioriterar positiva resultat, är alla brinnande uppenbara källor till partiskhet i SARS-CoV-2-forskning. Ioannidis och kollegor har publicerat på explosion av publicerad SARS-CoV-2-forskning, och noterar "210,863 19 artiklar som är relevanta för COVID-3.7, vilket står för 5,728,015 % av de 1 2020 1 artiklarna inom all vetenskap som publicerades och indexerades i Scopus under perioden 2021 januari 19 till 2020 augusti XNUMX." Författare till covid-XNUMX-relaterade artiklar var experter inom nästan alla områden, inklusive "fiske, ornitologi, entomologi eller arkitektur". I slutet av XNUMX, Ioannidis skrev, "bara bilteknik hade inte forskare som publicerade om COVID-19. I början av 2021 hade bilingenjörerna också sagt sitt." Andra har också kommenterat "covidisering"Av forskning, som lyfter fram minskningen av forskningens kvalitet när covid-manin drev forskare från orelaterade områden mot det hetaste och mest lukrativa spelet i stan.

Som jag diskuterade i två tidigare inlägg, universell maskering och rapportering om covid-skador på barn har blivit oåterkalleligt politiserade och förvrängda på grund av medias, politikers, vetenskapsmäns och folkhälsoorganisationers skenande fördomar. Men den verkliga boven kan vara allmänheten själv och den första världens nollrisksäkerhetskultur som har uppmuntrat alla dessa spelare att överdriva skador för att tvinga fram beteendeförändringar hos de som inte följer dem. Dessutom vill de flesta följsamma människor som "tar pandemin på allvar" veta att alla uppoffringar de har gjort har varit värda det. 

Men det är forskare och medier mer än gärna leverera:

"Föreställ dig om du var en vetenskapsman och visste att en gynnsam slutsats av din studie skulle leda till ett omedelbart erkännande av The New York Times, CNN och andra internationella kanaler, medan ett ogynnsamt resultat skulle leda till att kritik från dina kamrater försvinner, personliga attacker och censur på sociala medier, och svårigheter att publicera dina resultat. Hur skulle någon svara på det?”

Svaret är uppenbart. Den överväldigande önskan hos en skräckslagen allmänhet efter bevis på interventioner som effektivt eliminerar risken för infektion kommer oundvikligen att pressa vetenskapsmän att tillhandahålla dessa bevis. Helst skulle ett erkännande av denna partiskhet resultera i ökad skepsis från andra forskare och media, men det har inte hänt. Överdrivet hävdar of effektivitet av ingripanden och överdrivna skador på främja deras acceptans har blivit normen i pandemirapportering.

Som jag diskuterade i förra inlägget, är det bästa sättet att mildra forskningsbias att utredare bjuder in neutrala partners att replikera arbetet och samarbeta om ytterligare studier. Möjligheten att göra all data tillgänglig för allmänheten och andra forskare inbjuder också till kritiska recensioner som är publikbaserade och därmed potentiellt mer exakta och mindre partiska. Allmänhetens tillgänglighet av datauppsättningar och dokument har resulterat i förbättringen av pandemiprognos och har tagit med möjlighet till ett labbläckageursprung för SARS-CoV-2 ut ur konspirationsteoriskuggor och in i offentligt ljus.

Som ett resultat av öppna data och transparent dokumentation har andra klagat på att dessa resurser har missbrukats av fåtöljsforskare eller forskare som ägnar sig åt epistemiskt intrång utanför sina respektive områden, vilket resulterar i en enorm, förvirrande hög med vilseledande information. Ändå, även om vetenskapsprocessen är begränsad till "experter", producerar de allra flesta studier mycket lite värdefull eller korrekt information till andra forskare eller allmänheten i stort.

Endast genom ett hårt naturligt urval och peer-replikeringsprocess överlever de bästa idéerna bortom deras initiala hype. Det är också viktigt att notera att grupper av forskare inom ett visst område kan vara så förlamade av interna och politiska fördomar och giftigt grupptänkande att endast de utanför sitt område kan uppmärksamma problemet. Därför är förmågan hos andra vetenskapsmän och allmänheten att hjälpa till i vetenskapens långsiktiga, korrigerande process det bästa sättet att komma närmare sanningen, trots våra kollektiva brister.

Omtryckt från författarens understapel