Je čas predpokladať, že výskum v oblasti zdravia je podvodný, kým sa nepreukáže opak?
Richard Smith, 5. júla 2021, BMJOpinion –> https://tinyurl.com/2p9573un
Zdravotnícky výskum je založený na dôvere. Zdravotnícki pracovníci a redaktori časopisov, ktorí čítajú výsledky klinických štúdií, predpokladajú, že sa štúdia uskutočnila a že výsledky boli čestne uvedené. Ale približne v 20% prípadov, povedal Ben Mol, profesor pôrodníctva a gynekológie na Monash Health, by sa mýlili. Keďže sa už 40 rokov zaoberám podvodmi vo výskume, nebol som týmto údajom až tak prekvapený, ako by boli mnohí, ale priviedlo ma to k myšlienke, že možno nastal čas prestať predpokladať, že výskum sa skutočne uskutočnil a je čestne oznámený, a predpokladať, že výskum je podvodný, kým sa neobjavia dôkazy, ktoré potvrdzujú, že sa uskutočnil a bol čestne oznámený. Cochrane Collaboration, ktorá poskytuje "dôveryhodné informácie", teraz urobila krok týmto smerom.
Ako minulý týždeň opísal na webovom seminári Ian Roberts, profesor epidemiológie na London School of Hygiene & Tropical Medicine, začal mať pochybnosti o poctivom vykazovaní štúdií po tom, ako sa ho jeden kolega opýtal, či vie, že jeho systematický prehľad, podľa ktorého manitol znížil úmrtnosť na poranenie hlavy o polovicu, vychádza zo štúdií, ktoré sa nikdy neuskutočnili. Nevedel, ale pustil sa do skúmania pokusov a potvrdil, že sa nikdy neuskutočnili. Všetky mali hlavného autora, ktorý údajne pochádzal z neexistujúcej inštitúcie a ktorý sa o niekoľko rokov neskôr zabil. Všetky pokusy boli publikované v prestížnych neurochirurgických časopisoch a mali viacerých spoluautorov. Žiadny zo spoluautorov neprispel do štúdií pacientmi a niektorí nevedeli, že sú spoluautormi, až kým neboli štúdie publikované. Keď Roberts kontaktoval jeden z časopisov, editor odpovedal, že "týmto údajom by som nedôveroval". Prečo, čudoval sa Roberts, uverejnil túto štúdiu? Žiadna zo štúdií nebola stiahnutá.
Neskôr Roberts, ktorý viedol jednu zo skupín Cochrane, urobil systematický prehľad koloidov oproti kryštaloidom, aby opäť zistil, že mnohým skúškam, ktoré boli zahrnuté do prehľadu, sa nedá veriť. V súčasnosti je skeptický voči všetkým systematickým prehľadom, najmä tým, ktoré sú väčšinou prehľadmi viacerých malých štúdií. Pôvodnú myšlienku systematických prehľadov prirovnal k hľadaniu diamantov, poznatkov, ktoré boli k dispozícii, ak boli zhromaždené v systematických prehľadoch; teraz považuje systematické prehľadávanie za prehľadávanie odpadu. Navrhol, aby sa malé, jednocentrové štúdie vyraďovali, nie spájali do systematických prehľadov.
Mol, podobne ako Roberts, vykonal systematické preskúmania len preto, aby zistil, že väčšina zahrnutých štúdií boli buď zombie štúdie, ktoré boli fatálne chybné, alebo boli nedôveryhodné. Pýtal sa, aký je rozsah tohto problému? Hoci počet stiahnutých štúdií narastá, stiahnutých bolo len asi 0,04% biomedicínskych štúdií, čo naznačuje, že problém je malý. Anestéziológ John Carlisle však analyzoval 526 štúdií predložených časopisu Anaesthesia a zistil, že 73 (14%) malo nepravdivé údaje a 43 (8%) klasifikoval ako zombie. Keď mohol preskúmať údaje jednotlivých pacientov v 153 štúdiách, 67 (44%) malo nedôveryhodné údaje a 40 (26%) bolo zombie štúdií. Mnohé z týchto štúdií pochádzali z rovnakých krajín (Egypt, Čína, India, Irán, Japonsko, Južná Kórea a Turecko), a keď John Ioannidis, profesor na Stanfordskej univerzite, skúmal údaje jednotlivých pacientov zo štúdií predložených z týchto krajín do časopisu Anaesthesia v priebehu roka, zistil, že mnohé z nich boli falošné: (7/7) v Egypte, 75% (3/4) v Iráne, 54% (7/13) v Indii, 46% (22/48) v Číne, 40% (2/5) v Turecku, 25% (5/20) v Južnej Kórei a 18% (2/11) v Japonsku. Väčšina skúšok boli zombie. Ioannidis dospel k záveru, že len z týchto krajín sú publikované státisíce zombie štúdií.
Podobné výsledky zistili aj iní a Molov najlepší odhad je, že približne 20% pokusov je falošných. Len veľmi málo z týchto prác bolo stiahnutých.
Už dlho vieme, že recenzné konanie je pri odhaľovaní podvodov neúčinné, najmä ak recenzenti začínajú, ako väčšina doteraz, predpokladom, že výskum je čestne ohlásený. Spomínam si, ako som bol v 90. rokoch minulého storočia členom komisie, ktorá vyšetrovala jeden z najškandalóznejších prípadov podvodu vo Veľkej Británii, keď nám štatistický recenzent štúdie povedal, že v štúdii našiel viacero problémov a len dúfal, že bola urobená lepšie, ako bolo uvedené. Spýtali sme sa ho, či niekedy uvažoval o tom, že by štúdia mohla byť podvodná, a on nám povedal, že nie.
V súčasnosti sme sa dostali do bodu, keď tí, ktorí robia systematické prehľady, musia začať s predpokladom, že štúdia je podvodná, kým nemajú nejaký dôkaz o opaku. Niektoré podporné dôkazy pochádzajú z toho, že štúdia bola zaregistrovaná a mala schválenie etickej komisie. Andrew Grey, docent medicíny na Aucklandskej univerzite, a ďalší vypracovali kontrolný zoznam s približne 40 položkami, ktorý sa môže použiť ako nástroj na skríning podvodov (kontrolný zoznam si môžete pozrieť tu). Kontrolný zoznam REAPPRAISED (Riadenie výskumu, Etika, Autorstvo, Plagiátorstvo, Vedenie výskumu, Analýzy a metódy, Manipulácia s obrazmi, Štatistika, Chyby, Manipulácia s údajmi a ich vykazovanie) zahŕňa otázky ako "etický dohľad a financovanie, produktivita výskumu a pracovné zaťaženie výskumníkov, platnosť randomizácie, hodnovernosť výsledkov a duplicitné vykazovanie údajov". Kontrolný zoznam bol použitý na odhalenie štúdií, ktoré boli následne stiahnuté, ale neprešiel úplným hodnotením, ktoré by ste očakávali pri klinickom skríningovom nástroji. (Musím však autorom zablahoželať k šikovnej skratke: niektorí hovoria, že vymyslieť skratku pre štúdiu je najťažšia časť celého procesu).
Roberts a ďalší písali o probléme mnohých nedôveryhodných a zombie štúdií v časopise The BMJ pred šiestimi rokmi s provokatívnym názvom: "Systém poznatkov, na ktorom je založená zdravotná starostlivosť, nie je vhodný a musí sa zmeniť." Chceli, aby Cochrane Collaboration a všetci, ktorí vykonávajú systematické hodnotenia, brali problém podvodov veľmi vážne. Možno to bola náhoda, ale niekoľko týždňov pred webovým seminárom Cochrane Collaboration vypracovala usmernenia o preskúmavaní štúdií, v ktorých došlo k stiahnutiu, vyjadreniu obáv alebo v ktorých majú recenzenti obavy o dôveryhodnosť údajov.
Najjednoduchšie sa riešia stiahnutia, ale tie, ako povedal Mol, tvoria len malú časť nedôveryhodných alebo zombie štúdií. V úvodníku v Cochrane Library, ktorý sprevádza nové usmernenia, sa uznáva, že neexistuje dohoda o tom, čo predstavuje nedôveryhodnú štúdiu, nástroje na skríning nie sú spoľahlivé a "nesprávna klasifikácia by mohla viesť aj k poškodeniu reputácie autorov, právnym dôsledkom a etickým problémom spojeným s tým, že účastníci sa zúčastnili na výskume, len aby bol zamietnutý." Kolaborácia je opatrná, ale môže stratiť dôveryhodnosť – a príjmy – ak svet prestane dôverovať Cochrane Reviews, pretože sa bude predpokladať, že sú založené na nedôveryhodných štúdiách.
Podvody vo výskume sa často považujú za problém "zlých jabĺk", ale Barbara K. Redmanová, ktorá vystúpila na webinári, trvá na tom, že to nie je problém zlých jabĺk, ale zlých sudov, ak nie, ako povedala, prehnitých lesov alebo sadov. Vo svojej knihe Research Misconduct Policy in Biomedicine: Beyond the Bad-Apple Approach (Politika nesprávneho vedenia výskumu v biomedicíne: Viac ako len prístup "zlých" jabĺk) tvrdí, že nesprávne vedenie výskumu je systémový problém – systém poskytuje stimuly na publikovanie podvodného výskumu a nemá primerané regulačné procesy. Výskumníci napredujú publikovaním výskumu, a keďže systém publikovania je postavený na dôvere a vzájomné hodnotenie nie je navrhnuté tak, aby odhaľovalo podvody, je ľahké publikovať podvodný výskum. Obchodný model časopisov a vydavateľov závisí od publikovania, najlepšie veľkého množstva štúdií čo najlacnejšie. Majú len malú motiváciu kontrolovať, či nedochádza k podvodom, a pozitívne ich odrádza od toho, aby pociťovali poškodenie reputácie – a prípadne aj právne riziko – z odvolávania štúdií. Financujúce inštitúcie, univerzity a iné výskumné inštitúcie sú podobne motivované financovať a publikovať štúdie a demotivované robiť rozruch okolo podvodného výskumu, ktorý možno financovali alebo ktorý sa uskutočnil v ich inštitúcii – možno jedným z ich hviezdnych výskumníkov. Regulačné orgány často nemajú právne postavenie a zdroje na to, aby reagovali na zjavne rozsiahle podvody, pričom si uvedomujú, že preukázanie podvodu v štúdii (na rozdiel od podozrenia, že ide o podvod) je kvalifikovaný, zložitý a časovo náročný proces. Ďalším problémom je, že výskum je čoraz viac medzinárodný a zúčastňuje sa na ňom mnoho inštitúcií z mnohých krajín: kto potom prevezme nezávideniahodnú úlohu vyšetrovať podvody? Veda skutočne potrebuje globálne riadenie.
Na hre s publikáciami profitujú všetci, uzavrel Roberts, okrem pacientov, ktorí trpia tým, že im je poskytovaná liečba na základe podvodných údajov.
Stephen Lock, môj predchodca vo funkcii editora časopisu BMJ, sa v 80. rokoch minulého storočia začal obávať podvodov vo výskume, ale ľudia považovali jeho obavy za výstredné. Výskumné autority trvali na tom, že podvody sú zriedkavé, nevadia, pretože veda sa sama koriguje, a že žiadny pacient neutrpel v dôsledku vedeckého podvodu. Ukázalo sa, že všetky tieto dôvody, pre ktoré sa podvody vo výskume nebrali vážne, boli nepravdivé, a 40 rokov po Lockových obavách si uvedomujeme, že problém je obrovský, systém podvody podporuje a my nemáme vhodný spôsob, ako na ne reagovať. Možno nastal čas prejsť od predpokladu, že výskum bol vykonaný a oznámený čestne, k predpokladu, že je nedôveryhodný, kým sa neobjaví dôkaz o opaku.
Richard Smith bol do roku 2004 editorom časopisu The BMJ.
Konkurenčný záujem: RS bol spoluzakladateľom Výboru pre lekársku etiku (COPE), dlhé roky predsedal Výboru pre dohľad nad Cochrane Library a bol členom rady britského Úradu pre integritu výskumu.