Jag välkomnar Eyal Shahars begära en omprövning av Covid-vaccinpapper. Faktum är att jag började långt innan Eyal avslöjade det – till och med innan vaccinerna dök upp.
I slutet av det fruktansvärda året 2020, en mycket inflytelserik artikel framträdde i VetenskapDen skapade rubriker i stora medier runt om i världen. Tidningen, med titeln "Att dra slutsatser om effektiviteten av statliga ingripanden mot COVID-19," användes snart av regeringar över hela världen för att rättfärdiga sin alltmer auktoritära politik.
Det väckte min uppmärksamhet eftersom den senaste författaren var den tjeckiske matematikern Jan Kulveit. Tillsammans med mina två kollegor, Ondřej Vencálek och Jakub Dostál, skrev vi följande svar:
"Alla modeller är felaktiga, men vissa är användbara” lyder ett känt talesätt som vanligtvis tillskrivs George Box. Idag skulle han kanske säga att alla modeller är felaktiga, och vissa är till och med farliga. Detta är enligt vår mening fallet för studien.”Slutsats om effektiviteten av statliga ingripanden mot COVID-19"1 som dök upp i Vetenskap och fick stor uppmärksamhet runt om i världen.
Studien syftar till att förstå effektiviteten av icke-farmaceutiska interventioner (NPI) för att kontrollera covid-19-pandemin. Författarna analyserar data om det totala antalet fall och dödsfall från 41 (främst europeiska) länder mellan januari och slutet av maj 2020. De gör en uppskattning av effekterna av 8 olika NPI (såsom att begränsa folksamlingar, stänga skolor etc.) som implementerades i många länder under den studerade perioden. Effekten av varje NPI kvantifieras genom minskningen av infektionsreproduktionstalet R vid tidpunkten för införandet av NPI i respektive land.
Resultaten har välkomnats i stor utsträckning eftersom de verkar visa att alla NPI:er i allmänhet fungerar, och effektstorlekarna verkar överensstämma med sunt förnuft (t.ex. ju mer man begränsar sammankomster, desto större minskning av R uppnås). Regeringar över hela världen kommer att bli mycket glada över att höra att de restriktioner de införde var berättigade. Men var de det?
Faktum är att vi inte vet det, och den här studien hjälper oss inte att ta reda på det. Vi menar att det finns en fatal brist i modellen som gör den oanvändbar. Om vi tittar på den enda ekvationen i artikelns huvuddel (se avsnittet "Kort modellbeskrivning") ser vi att författarna utgå ifrån det underliggande (icke-observerbara) grundläggande reproduktionstalet R0,c att vara konstant i tiden för varje land. Detta grundläggande reproduktionstal multipliceras sedan med effekterna av NPI:erna och detta anpassas till data. Således modellen antar att varje förändring i epidemins dynamik beror på NPI:ernaDetta är vilseledande eftersom det är cirkulärt. Om man vill kvantifiera effekterna av en intervention kan man inte anta att alla observerade effekter beror på själva interventionen.
Även detta antagande om konstant R0,c föreslår varför författarna valde att sluta modellera när någon NPI har hävts. NPI:erna hävs vanligtvis när epidemin minskar. Således är NPI:erna närvarande när R är hög, och de är frånvarande när R är låg. Med data från ett längre tidsintervall (inklusive sommarperioden med låg prevalens och avslappnade NPI:er) skulle den enkla modell som författarna använde lära sig en negativ effekt – att icke-profitorganisationer påskyndar epidemin. Detta var uppenbart oönskat, så författarna valde att inte använda data från sommaren för att anpassa modellen. En sådan modelleringsstrategi är mycket tveksam.
För att förtydliga vår poäng utförde vi följande experiment. Vi tog den ursprungliga datamängden.2 och uppfann en ny NPI som aldrig existerat. Låt oss säga att från och med införandet av denna nya NPI var varje medborgare skyldig att bära en T-shirt med inskriptionen "Stoppa Covid", tills denna NPI upphävdes.
Vi drog ett slumpmässigt datum enhetligt från den period över vilken ett visst land modellerades och "påförde" denna T-shirt NPI på data (se referens [3] för den ursprungliga datamängden med T-shirt NPI tillagd). Vi ändrade inte antalet fall och dödsfall på något sätt. En sådan NPI existerade aldrig och kunde därför inte ha haft någon effekt. Vi körde sedan den ursprungliga modellen (se referens [4] för länken till GitHub till den version vi använde) utan att röra några parametrar. Resultatet visas i figur 1. T-shirtsen fick nästan pandemin att försvinna!
Hur är detta möjligt? Varje epidemi har sin inneboende dynamik. Den enklaste SIR-modellen producerar en enda topp i antalet aktiva fall. Om vi vill reproducera en sådan topp med en enkel exponentialfunktion (vilket är vad författarna gör), så är koefficienten i exponenten (dvs. empirisk reproduktionsnummer) måste minskning i tid från början av den första vågen. Således, om man antar att vilken som helst effekten på reproduktionsnumret beror på NPI:er, modellen kan inte producera något annat än att tilldela en positiv effekt (dvs. en minskning av R) på vilket NPI som helst. Även på ett icke-existerande, som vi har visat.
Således anser vi att modellen är vilseledande och mycket farlig, eftersom den kan användas av regeringar för att retroaktivt rättfärdiga vilken som helst NPI som de valde att påtvinga folket. Vi påstår inte att vissa/alla NPI:er inte har haft en positiv effekt. Vi säger bara att den här modellen inte är ett sätt att ta reda på det.
Figur 1Att bära en "Stoppa Covid"-t-shirt får pandemin att försvinna.
Vi skickade vårt svar som ett brev till redaktören för VetenskapSvaret kom tillbaka: de var mycket ledsna, men de kunde inte publicera vårt brev. De sa inte varför.
Så jag kopierade och klistrade in deras eget ”uppdragsbeskrivning” i ett e-postmeddelande – något i stil med ”Tidskriftsfamiljen Science främjar AAAS mål att förbättra kommunikationen mellan forskare, ingenjörer och allmänheten.”Jag påminde dem om att ingen kommunikation någonsin har förbättrats genom att censurera avvikande röster.”
Så småningom lät de oss vänligen publicera vårt svar som ett e-brev, dolt bakom det kompletterande materialet i originalartikeln. E-brevet kan inte citeras, tillåter inte siffror och kommer inte att visas i någon sökning.
Vi publicerade en tjeckisk version av vårt svar under titeln "Fungerar åtgärderna för att begränsa pandemin? Ja, minister!" på Tjeckiska statistiksällskapets webbplats. Det gav oss ett otroligt artigt brev från författaren – och ett tyst förbud i etablerade medier.
Så det var allt. Har du några bättre recensioner av Covid?
Referensprojekt
- JM Brauner m.fl., Vetenskap, 10.1126/science.abd9338 (2020).
- https://github.com/epidemics/COVIDNPIs/blob/1.3.6/merged_data/data_final_nov.csv
- https://gist.github.com/DostalJ/92e134f9ab4032289b77172d0e6ff583
- https://github.com/epidemics/COVIDNPIs/blob/1.3.6/notebooks/main_results.ipynb
-
Tomas Fürst undervisar i tillämpad matematik vid Palacky University, Tjeckien. Hans bakgrund är inom matematisk modellering och datavetenskap. Han är en av grundarna av Association of Microbiologists, Immunologists and Statisticians (SMIS) som har försett den tjeckiska allmänheten med databaserad och ärlig information om coronavirusepidemin. Han är också en av grundarna av en "samizdat"-tidskrift dZurnal som fokuserar på att avslöja vetenskapliga oredligheter inom tjeckisk vetenskap.
Visa alla inlägg
