Cochrane faktagranskad med absurda resultat

Faktagranskare den 17 februari Iria Carballo-Carbajal, en neurovetare av utbildning, men uppenbarligen utan utbildning i epidemiologi, publicerade en "faktakontroll" Artikeln på webbplatsen Health Feedback. I sin rubrik gör Carballo-Carbajal följande uttalande: "Flera studier visar att ansiktsmasker minskar spridningen av COVID-19; en recension av Cochrane visar inte något annat.”

Den här artikeln används nu av sociala medieföretag för att undertrycka alla referenser till Cochrane-studien. Jag blev medveten om detta den 10 mars när jag fick ett meddelande om att ett inlägg från en medlem i en Facebook-grupp som jag hanterar innehöll "falsk information".

Inlägget avsåg en yttrande stycke om Cochrane-recensionen i New York Times, publicerad den 10 februari. Den "oberoende faktagranskare"-resursen som hänvisades till var den tidigare nämnda artikeln av Carballo-Carbajal. Att få en faktakontrollstämpel kan vara en allvarlig fråga för en tidning, inte mindre för en vetenskaplig institution. Därför kom det inte som en överraskning att Cochrane-redaktören Karla Soares-Weiser redan den 10 mars publicerade ett uttalande som försökte tona ned studieresultaten, och felaktigt hävdade att studien endast syftade till att bedöma effektiviteten av interventioner för att främja mask bär, medan det tydligt anges mål av studien är att bedöma effektiviteten av de fysiska ingreppen i sig, inte bara effektiviteten av deras marknadsföring.

Samma dag New York Times publicerade a bit hävdar i rubriken att masker verkligen fungerar, men för det mesta dedikerade till att smeta Cochrane-studieförfattaren Dr. Tom Jefferson. Till exempel hävdar artikeln att Jefferson angav i en intervjun att det inte finns några bevis för att SARS-CoV-2-viruset är luftburet, medan det han faktiskt säger är att det finns många överföringsvägar och ytterligare bevis behövs för att fastställa exakt hur överföringen sker.

Denna händelsekedja är ett chockerande tydligt exempel på hur censurbranschen fungerar. Det är desto mer chockerande med tanke på hur allvarligt felaktig Carballo-Carbajals "faktakontroll"-artikel är, faktiskt, logiskt och etiskt.

1. Stråmannen

Carballo-Carbajal börjar med att skapa en stråman, i det här fallet ett påstående som tillskrivs Dr. Robert Malone, med hänvisning till en nyligen genomförd inlägg på sin blogg. Under rubriken "Claim" heter det påstådda påståendet så här: "Ansiktsmasker är ineffektiva för att minska spridningen av COVID-19 och andra luftvägssjukdomar, visar en Cochrane-granskning." Detta påstående, citerat förutom en bild på Dr Malone, finns ingenstans att hitta i hans blogginlägg.

Som om detta inte vore nog fortsätter Carballo-Carbajal och presenterar vad hon kallar ett "fullständigt påstående:" Recensionen "misslyckades med att hitta ens en "blygsam effekt" på infektions- eller sjukdomsfrekvensen:" "CDC överdrev grovt bevisen som stöder maskmandaten .”

Problemet med detta är att medan Dr Malone är korrekt citerad i den första delen av stycket, är den andra något han helt enkelt inte säger i sitt blogginlägg.

2. Ad hominem

Carballo-Carbajal tar sedan på sig att attackera Dr Malone och hävdar att han har spridit "felinformation om Covid-19-vacciner", med hänvisning till en annan artikel, också publicerad av Health Feedback. Nu, vad består den påstådda desinformationen i, enligt den artikeln? De Artikeln är en "faktakontroll" av en Washington Times opinionsartikel av Dr Malone och Dr Peter Navarro publicerad 2021, där de argumenterar mot den amerikanska regeringens universella vaccinationspolicy och hävdar att den bygger på fyra felaktiga antaganden. För det första att universell vaccination kan utrota viruset, för det andra att vaccinerna är mycket effektiva, för det tredje att de är säkra och för det fjärde att vaccinförmedlad immunitet är hållbar.

Carballo-Carbajal kunde knappast ha haft mindre tur med sin referens. Det är nu helt klart att universell vaccination inte kan utrota viruset, att vaccinmedierad immunitet avtar mycket snabbt, till och med till den grad att den blir negativ, som infektion studier och återinfektion studier har redan visat. Det faktum att vaccinerna inte är "(nära) perfekt effektiva", citerar Malone och Navarros artikel, är sedan länge uppenbart; det är faktiskt anledningen till att de inte kan utrota viruset.

När det gäller den tredje punkten, är detta vad Malone och Navarro säger i deras Artikeln: ”Det tredje antagandet är att vaccinerna är säkra. Ändå erkänner forskare, läkare och folkhälsotjänstemän nu risker som är sällsynta men inte på något sätt triviala. Kända biverkningar inkluderar allvarliga hjärt- och trombotiska tillstånd, störningar i menstruationscykeln, Bells pares, Guillain-Barres syndrom och anafylaxi." De är med andra ord inte säkra, de har många känd sällsynta biverkningar, och detta blir faktiskt klarare medan tiden går.

Kort sagt, Carballo-Carbajal försöker diskvalificera Dr Malone genom att anklaga honom för "felinformation" om något annat än ämnet för hennes artikel. Detta är den klassiska ad-hominem-taktiken nästan universell i "faktakontroll"-bitar. Hennes misslyckande är spektakulärt, eftersom alla påstådda "desinformation" nu redan är verifierade fakta.

3. Argumentationen

Carballo-Carbajals huvudsammanfattning (inklusive "Detaljer" och "Key take away") är följande:

Påståenden om att ansiktsmasker är ineffektiva för att minska spridningen av covid-19 baserat på en Cochrane-granskning tog inte hänsyn till granskningens begränsningar. Medan många användare presenterade denna recension som bevis av högsta kvalitet, varierade de individuella studierna som den utvärderade mycket när det gäller kvalitet, studiedesign, studerade populationer och observerade resultat, vilket hindrade författarna från att dra några definitiva slutsatser. 

Randomiserade kontrollerade studier anses vara guldstandarden när man bedömer effektiviteten av en intervention. Denna typ av studier kan dock variera mycket i kvalitet, särskilt vid komplexa ingrepp som ansiktsmasker, vilket påverkar resultatens tillförlitlighet. I detta sammanhang anser många forskare att randomiserade kontrollerade studier bör ses som en del av bredare bevis, inklusive andra studiedesigner. När man tar hänsyn till dessa studier tyder bevis på att utbredd maskanvändning kan minska överföringen av SARS-CoV-2 i samhället, särskilt i kombination med andra ingrepp som frekvent handtvätt och fysisk distansering.

Jag ska nu dela upp detta uttalande i delar och sedan verifiera giltigheten av varje del. Vi måste komma ihåg att källan som citeras är Dr. Malones blogginlägg, så alla hänvisningar till "påståenden" måste vara till Malones blogginlägg, som är den enda källan som citeras. Hänvisningar till oidentifierade källor, såsom "många webbplatser och inlägg på sociala medier" måste bortse från av den uppenbara anledningen att inga referenser tillhandahålls:

1. Uttalande: Dr. Malone hävdar att Cochrane-granskningen visar att masker är ineffektiva för att minska spridningen av Covid-19.

Diskussion: Som visas ovan gör inte Dr Malone detta påstående. Istället hävdar han studien "misslyckades med att hitta ens en 'blygsam effekt' på infektions- eller sjukdomsfrekvensen." Det finns en kritisk skillnad mellan att hävda att A inte fungerar och att hävda att A inte har visat sig fungera. De två har inte samma betydelse.

Bedömning: Carballo-Carbajals uttalande är falskt.

2. Uttalande: Dr. Malone tar inte hänsyn till granskningens begränsningar när han gör detta påstående.

Diskussion: Till att börja med gör Dr Malone aldrig det påstående som hänvisas till, utan ett annat påstående. Trots detta citerar han i sitt blogginlägg tydligt studieförfattarnas ansvarsfriskrivning om osäkerheten om effekterna av ansiktsmasker: "Den låg-måttliga säkerheten för bevisen betyder att vårt förtroende för effektuppskattningen är begränsad, och att den verkliga effekten kan skilja sig från den observerade uppskattningen av effekten.". "Den höga risken för bias i försöken, variationen i resultatmätning och relativt låg efterlevnad av interventionerna under studierna hindrar att dra säkra slutsatser och generalisera resultaten till den aktuella covid-19-pandemin.  Det är därför osant att Dr Malone "inte tog hänsyn till begränsningarna i granskningen."

Bedömning: Carballo-Carbajals uttalande är falskt.

3. Uttalande: "[D]enskilda studierna […] som utvärderades [i översikten] varierade mycket i fråga om kvalitet, studiedesign, studerade populationer och observerade resultat, […] [förhindrade] författarna från att dra några definitiva slutsatser .”

Diskussion: The studera resultaten är tydliga: "Det finns lågsäkerhetsbevis från nio försök (3,507 0.99 deltagare) att bärande av en mask kan göra liten eller ingen skillnad för resultatet av influensaliknande sjukdom (ILI) jämfört med att inte bära en mask (riskkvot (RR) 95, 0.82 procent konfidensintervall (CI) 1.18 till 0.91. Det finns måttliga bevis för att bärande av en mask förmodligen gör liten eller ingen skillnad för resultatet av laboratoriebekräftad influensa jämfört med att inte bära en mask (RR 95, 0.66 procent CI 1.26 till 6; 3,005 försök; 95 2 deltagare). … Användningen av en N1.10/P95-respirator jämfört med en medicinsk/kirurgisk mask gör förmodligen liten eller ingen skillnad för det objektiva och mer exakta resultatet av laboratoriebekräftad influensainfektion (RR 0.90, 1.34 procent CI 5 till 8,407; bevis med måttlig säkerhet; XNUMX försök; XNUMX XNUMX deltagare)."

Dessa resultat upprepas i författarnas slutsatser och lägger till friskrivningen att "Den höga risken för bias i försöken, variationen i resultatmätning och relativt låg efterlevnad av interventionerna under studierna hindrar att dra säkra slutsatser och generalisera resultaten till den aktuella covid-19-pandemin."

Denna ansvarsfriskrivning är halmstrået som Carballo-Carbajal håller fast vid med all sin kraft. Men som huvudförfattaren till studien har förklarat förändrar detta inte studiens resultat, det står bara att resultaten kan påverkas av osäkerheter som uppstår på grund av begränsningar i de studier som används. Med hans egna ord:

"Det kallas försiktighet, och det kallas att vara ärlig med bevisen som vi har hittat. Detta är det bästa beviset vi har” (se referens nedan).

Det ser ut som om Carballo-Carbajal inte förstår innebörden av en ansvarsfriskrivning i en vetenskaplig artikel; istället försöker hon använda detta för att ogiltigförklara studieresultaten och backa upp sitt påstående att masker fungerar, trots bevisen. En ansvarsfriskrivning i en studie ogiltigförklarar inte dess resultat.

Omdöme: Carballo-Carbajals uttalande är missvisande.

4. Påstående: Randomiserade kontrollerade prövningar anses vara guldstandarden när man bedömer effektiviteten av en intervention.

Diskussion: Referensen som detta uttalande bygger på är Dr Malones blogg. Även om detta uttalande mycket väl kan vara sant, är det ett allvarligt logiskt fel att sluta sig till att något i allmänhet "anses som guldstandarden" baserat på en vetenskapsmans åsikt.

Omdöme: Carballo-Carbajals uttalande logiskt ogiltigt.

5. Påstående: Guldstandardstudier varierar mycket i kvalitet.

Diskussion: Detta påstående stöds inte av några bevis. Det kan vara sant, eller så kanske det inte.

Bedömning: Carballo-Carbajals uttalande stöds inte av bevis.

6. Påstående: Många forskare anser att randomiserade kontrollerade studier bör ses som en del av ett bredare bevis.

Diskussion: Källan till detta är en artikel i The Samtal av tre epidemiologer och en expert inom primärvården. Författarna gör förvisso detta påstående, men utan att citera någon referens. Således är påståendet att det är baserat på åsikten från "många epidemiologer" helt enkelt falskt. Detta är ett påstående från tre epidemiologer och med tanke på det stora antalet personer med den utbildningen är ordet "många" absolut inte berättigat. Det måste tilläggas att vädjan till siffror (argumentum ad populum) är ett logiskt fel.

Bedömning: Carballo-Carbajals uttalande stöds inte av bevis. Dess påstådda relevans är baserad på argumentum ad populum, ett logiskt fel.

7. Påstående: När studier som inte uppfyller kraven för guldstandardforskning beaktas visar de att utbredd maskanvändning kan minska överföringen i samhället.

Diskussion: Det är naturligtvis sant att man kan få olika resultat genom att sänka standarden, men detta påstående är problematiskt, för Carballo-Carbajal verkar dra slutsatsen av det att trots resultatet av Cochrane-granskningen så förhindrar masker faktiskt överföring . Detta framgår av det här avsnittet, mot slutet av artikeln: "En växande mängd bevis från RCTs och observationsstudier tyder på att konsekvent maskbärande effektivt kan minska spridningen av luftvägsvirus som SARS-CoV-2 i både hälsovård och samhällsmiljöer. ... För närvarande är ansiktsmasker ytterligare ett lager av skydd utöver vaccination, frekvent handtvätt och fysisk distansering när cirkulationen av luftvägsvirus är hög."

Detta betyder att Carballo-Carbajals påstående inte bara är att studier av låg kvalitet tyder på något; slutsatsen visar att hon tydligt hävdar att det de föreslår faktiskt är sant. Detta påstående är ännu tydligare i hennes rubrik: "Flera studier visar att ansiktsmasker minskar spridningen av covid-19." En subtil skillnad på ytan, men en viktig sådan. Det betyder att det är motiverat att omformulera det ursprungliga uttalandet som: "När studier som inte uppfyller kraven för guldstandardforskning beaktas, visar de att utbredd maskanvändning kan minska överföringen i samhället och detta är en giltig slutsats. "

Detta leder oss till frågan om varför de lågkvalitativa studierna som Carballo-Carbajals citat inte ingick i Cochranes granskning. Tur att vi har en transkriptet av en detaljerad intervju mellan huvudförfattaren till studien, Dr. Tom Jefferson (JF) och Dr. Carl Heneghan (CH), där detta diskuteras i detalj:

CH. Titta nu, jag ska ta dig till uppgiften här. I författarens slutsatser kommer folk att läsa den här recensionen och börja titta på detta och säga, titta, vi har bevis av hög kvalitet, vi har randomiserade kontrollerade prövningar och särskilt på masknivån de kommer att säga , se, du visar i samhället denna brist på effekt, men du börjar med den höga risken för bias i studien, variation i resultatmätning och relativt låg efterlevnad av interventionen under studierna, vilket hindrar oss att dra bestämda slutsatser . Nu driver jag på den punkten eftersom det självklara svaret då är att gå till alla observationsstudier där folk har gjort systematiska översikter och säkert dragit bestämda slutsatser om vad man ska göra. Så kan du bara utveckla vad det betyder i samband med 78 prövningar – det är många bevis för randomiserade kontrollprov – kan du utveckla vad det betyder?

TJ. Det kallas försiktighet, och det kallas att vara ärlig med bevisen som vi har hittat. Detta är det bästa beviset vi har, men till skillnad från vissa av de ideologer som driver tanken att icke-randomiserade studier, observationsstudier skulle kunna ge svar, några av dem kommer med svepande svar, svepande påståenden, säkerheter, som helt enkelt inte tillhör vetenskap. Vetenskap handlar inte om säkerhet, vetenskap handlar om osäkerhet, det handlar om att försöka flytta på agendan och samla kunskap. Användningen av icke-randomiserade studier i luftvägsvirusbedömning av interventioner med luftvägsvirus gör att människor inte förstår, de som gjorde dessa studier förstår inte spelet mellan flera faktorer. Till exempel säsongsvariationerna, till exempel dessa agenters nyckfulla kommer och går, de är här ena dagen och borta nästa. Om du tittar på SARS-CoV-2-beteendet i den brittiska övervakningen under de senaste 12 månaderna är det upp och ner, och det är helt oberoende av alla ingrepp, och det är också väldigt snabbt upp och väldigt snabbt ner. Observationsstudier kan inte förklara det. Dessutom är en mycket stor andel av observationsstudierna retrospektiva, och därför utsätts de för skoningslös återkallelsefördom; forskare drar slutsatser från data som de fick genom att ställa frågor som "Kan du komma ihåg för en månad sedan hur många gånger du bar en mask" eller "Vad du gjorde på det här eller vad du gjorde häromdagen" utan att föra dagbok. Detta är helt enkelt inte vetenskap. Att sluta sig till mätning, distansering, när de ursprungliga studierna inte gjorde något sådant. Så det här är bara en oändlig lista över fördomar som inte kan tas i beaktande av observationsstudier. Och det enda sättet vi måste svara på frågor är att köra stora prospektiva randomiserade kontrollförsök för att svara på en specifik fråga i en specifik population."

Som Jefferson förklarar här gör observationsstudiernas begränsningar det praktiskt taget omöjligt att dra slutsatsen från dem att Carballo-Carbajal gör det. Carballo-Carbajal citerar ett antal observationsstudier för att stödja hennes påstående. Jag kommer inte att gå igenom alla dessa här, men att titta på några exempel borde vara tillräckligt för att ge bevis för några av de problem Jefferson diskuterar, samt motbevisa några av Carballo-Carbajals ogrundade slutsatser.

Till exempel en av de citerade studierna, Wang et al, drar slutsatsen att ansiktsmaskanvändning av det primära fallet och familjekontakter innan det primära fallet utvecklade symtom var 79 procent effektivt för att minska överföringen. Detta är en retrospektiv observationsstudie där bevisen för maskanvändning enbart baseras på deltagarnas egna självrapportering i efterhand. 

En till, Mello et al. visar hur viruspartiklar ackumuleras i masker, men Carballo-Carbajal tar detta som ett bevis på att "[a]tillgängliga data indikerar att maskbärande är mer effektivt i kombination med andra kontrollåtgärder, såsom fysisk distansering och frekvent handtvätt."

För att sammanfatta hävdar Carballo-Carbajal att eftersom högkvalitativa studier inte bevisar effektiviteten hos masker mot överföring, så bevisar opålitliga observationsstudier, som är uteslutna från "gold standard" meta-recensionen, just på grund av deras opålitlighet, vad den höga kvalitetsstudier misslyckas med att bevisa.

Bedömning: Carballo-Carbajals (omformulerade) påstående är falskt. Utan omformulering är det irrelevant.

8. Påstående: Effekten av maskanvändning är större i kombination med andra ingrepp.

Diskussion: Detta påstående är problematiskt. Det är redan tydligt från de högkvalitativa bevisen från Cochrane-granskningen att påståendet att masker minskar överföringen är obevisat. Det betyder att det måste vara felaktigt att påstå att de lägger till det skydd som andra ingripanden ger.

Bedömning: Carballo-Carbajals uttalande är falskt.

Carballo-Carbajal börjar med att felaktigt tillskriva Dr Robert Malone två påståenden som han aldrig har gjort. Dessa falska påståenden blir grunden för hennes "faktakontroll".

Hon anklagar sedan felaktigt Dr Malone för att göra falska uttalanden angående en annan sak, ett ad hominem-argument som är irrelevant för artikelns ämne.

Av de åtta påståenden som Carballo-Carbajal gjorde i sin sammanfattning, uppbackade av hennes huvudtext, är fyra uppenbart falska, ett är logiskt ogiltigt, ett är vilseledande och två stöds inte av några bevis, varav en är baserad på ett logiskt fel också.

Med tanke på hur denna allvarligt felaktiga artikel nu uppenbarligen används för att undertrycka spridningen av en viktig vetenskaplig artikel, för att pressa Cochranes chefredaktör att göra falska påståenden om syftet med tidningen och förringa dess resultat, och för att censurera en recension av Iakttagelserna av en viktig mainstreamtidning finns det helt klart ett akut behov av att agera starkt mot den så kallade "faktakontrollerande" industrin. Den nivå till vilken denna censur har eskalerat är ett tydligt och närvarande hot mot vetenskaplig forskning och utveckling.