1500 shkencëtarë ngrenë kapakun në riprodhueshmërinë
Monya Baker
Sondazhi hedh dritë mbi kërkimin tronditës të 'krizës'.
Më shumë se 70% e studiuesve janë përpjekur dhe kanë dështuar të riprodhojnë eksperimentet e një shkencëtari tjetër, dhe më shumë se gjysma nuk kanë arritur të riprodhojnë eksperimentet e tyre. Këto janë disa nga shifrat që dolën nga sondazhi i Nature me 1,576 studiues të cilët morën një pyetësor të shkurtër në internet mbi riprodhueshmërinë në kërkime.
Të dhënat zbulojnë qëndrime ndonjëherë kontradiktore ndaj riprodhueshmërisë. Edhe pse 52% e të anketuarve pajtohen se ka një 'krizë' të konsiderueshme të riprodhueshmërisë, më pak se 31% mendojnë se dështimi për të riprodhuar rezultatet e publikuara do të thotë se rezultati është ndoshta i gabuar dhe shumica thonë se ende i besojnë literaturës së botuar.
Të dhënat se sa pjesë e literaturës shkencore është e riprodhueshme janë të rralla dhe përgjithësisht të zymta. Analizat më të njohura, nga psikologjia 1 dhe biologjia e kancerit 2 , gjetën norma prej rreth 40% dhe 10% , respektivisht. Të anketuarit në sondazhin tonë ishin më optimistë: 73% thanë se ata mendojnë se të paktën gjysmës së punimeve në fushën e tyre mund t'i besohet, me fizikantët dhe kimistët në përgjithësi që tregojnë besimin më të madh.
Rezultatet kapin një pamje konfuze të qëndrimeve rreth këtyre çështjeve, thotë Arturo Casadeval, një mikrobiolog në Shkollën e Shëndetit Publik Johns Hopkins Bloomberg në Baltimore, Maryland. “Për momentin nuk ka konsensus se çfarë është ose duhet të jetë riprodhueshmëria.” Por vetëm duke e njohur këtë është një hap përpara, thotë ai. “Hapi tjetër mund të jetë identifikimi i problemit dhe arritja e një konsensusi.”
Dështimi për të riprodhuar rezultatet është një rit kalimi, thotë Marcus Munafo, një psikolog biologjik në Universitetin e Bristol, MB, i cili ka një interes të gjatë për riprodhueshmërinë shkencore. Kur ishte student, ai thotë: “Unë u përpoqa të përsërisja atë që dukej e thjeshtë nga literatura dhe nuk munda. Pastaj pata një krizë besimi dhe më pas mësova se përvoja ime nuk ishte e pazakontë.”
Sfida nuk është të eliminohen problemet me riprodhueshmërinë në punën e botuar. Të jesh në avantazhin e shkencës do të thotë që ndonjëherë rezultatet nuk do të jenë të forta, thotë Munafo. "Ne duam të zbulojmë gjëra të reja, por jo të gjenerojmë shumë pista të rreme."
Shkalla e riprodhueshmërisë
Por klasifikimi i zbulimeve nga të dhënat e rreme mund të jetë i pakëndshëm. Megjithëse shumica dërrmuese e studiuesve në sondazhin tonë nuk kishin arritur të riprodhonin një eksperiment, më pak se 20% e të anketuarve thanë se ishin kontaktuar ndonjëherë nga një studiues tjetër i paaftë për të riprodhuar punën e tyre. Rezultatet tona janë jashtëzakonisht të ngjashme me një tjetër anketë në internet me afro 900 anëtarë të Shoqatës Amerikane për Biologjinë e Qelizës (shih go.nature.com/kbzs2b ). Kjo mund të jetë për shkak se biseda të tilla janë të vështira. Nëse eksperimentuesit u drejtohen studiuesve fillestarë për ndihmë, ata rrezikojnë të duken të paaftë ose akuzues, ose të zbulojnë shumë për projektet e tyre.
Një pakicë e të anketuarve raportuan se kishin provuar ndonjëherë të publikonin një studim replikimi. Kur puna nuk riprodhohet, studiuesit shpesh supozojnë se ekziston një arsye krejtësisht e vlefshme (dhe ndoshta e mërzitshme). Për më tepër, stimujt për të botuar përsëritje pozitive janë të ulëta dhe revistat mund të ngurrojnë të publikojnë gjetje negative. Në fakt, disa të anketuar që kishin botuar një përsëritje të dështuar thanë se redaktorët dhe recensuesit kërkuan që të minimizonin krahasimet me studimin origjinal.
Megjithatë, 24% thanë se kishin mundur të publikonin një përsëritje të suksesshme dhe 13% kishin publikuar një përsëritje të dështuar. Pranimi ishte më i zakonshëm sesa refuzimi i vazhdueshëm: vetëm 12% raportuan se nuk ishin në gjendje të publikonin përpjekje të suksesshme për të riprodhuar punën e të tjerëve; 10% raportuan se nuk ishin në gjendje të publikonin përpjekjet e pasuksesshme.
I anketuari në sondazh Abraham Al-Ahmad në Qendrën e Shkencave Shëndetësore të Universitetit Teksas Teknikë në Amarillo priste një "refuzim të ftohtë dhe të thatë" kur dorëzoi një dorëshkrim që shpjegonte pse një teknikë e qelizave staminale kishte pushuar së funksionuari në duart e tij. Ai u befasua këndshëm kur letra u pranua 3 . Arsyeja, mendon ai, është sepse ofroi një zgjidhje për problemin.
Të tjerë e vendosin aftësinë për të publikuar përpjekjet e përsëritjes në një kombinim të fatit, këmbënguljes dhe prirjeve të redaktorëve. I anketuari në anketë, Michael Adams, një konsulent për zhvillimin e barnave, thotë se puna që tregon të meta të rënda në një model kafshësh të diabetit është refuzuar gjashtë herë, pjesërisht sepse nuk zbulon një objektiv të ri të drogës. Në të kundërt, thotë ai, puna për të hedhur poshtë efikasitetin e një përbërjeje për trajtimin e sëmundjes Chagas u pranua shpejt 4.
Masat korrigjuese
Një e treta e të anketuarve thanë se laboratorët e tyre kishin ndërmarrë hapa konkretë për të përmirësuar riprodhueshmërinë brenda pesë viteve të fundit. Normat varionin nga një nivel i lartë prej 41% në mjekësi në një nivel të ulët prej 24% në fizikë dhe inxhinieri. Përgjigjet me tekst të lirë sugjeruan se ribërja e punës ose kërkimi i dikujt tjetër brenda një laboratori për të përsëritur punën është praktika më e zakonshme. Gjithashtu të zakonshme janë përpjekjet për të përmirësuar dokumentacionin dhe standardizimin e metodave eksperimentale.
Secila prej këtyre mund të jetë një ndërmarrje e madhe. Një studente e diplomuar në biokimi në Mbretërinë e Bashkuar, e cila kërkoi të mos përmendet emri, thotë se përpjekjet për të riprodhuar punën për projektet e laboratorit të saj dyfishojnë kohën dhe materialet e përdorura – përveç kohës që duhet për të zgjidhur problemet kur disa gjëra nuk funksionojnë pa ndryshim. Edhe pse përsëritja rrit besimin në rezultate, thotë ajo, kostot nënkuptojnë se ajo kryen kontrolle vetëm për projekte inovative ose rezultate të papritura.
Konsolidimi i metodave është një projekt më vete, thotë Laura Shankman, një postdoke që studion qelizat e muskujve të lëmuar në Universitetin e Virxhinias, Charlottesville. Pasi disa postdoktorë dhe studentë të diplomuar u larguan nga laboratori i saj brenda një kohe të shkurtër, anëtarët e mbetur patën vështirësi në marrjen e rezultateve të qëndrueshme në eksperimentet e tyre. Laboratori vendosi të merrte pak kohë nga pyetjet e reja për të përsëritur punën e botuar dhe kjo zbuloi se protokollet e laboratorit kishin ndryshuar gradualisht. Ajo mendon se laboratori kurseu para në përgjithësi duke u sinkronizuar në vend të zgjidhjes së problemeve pjesë-pjesë të eksperimenteve të dështuara, por se ishte një investim afatgjatë.
Irakli Loladze, një biolog matematik në Kolegjin Bryan të Shkencave Shëndetësore në Lincoln, Nebraska, vlerëson se përpjekjet për të siguruar riprodhueshmëri mund të rrisin kohën e shpenzuar në një projekt me 30%, madje edhe për punën e tij teorike. Ai kontrollon që të gjithë hapat nga të dhënat e papërpunuara deri tek figura përfundimtare mund të rigjurmohen. Por këto detyra shpejt bëhen vetëm pjesë e punës. “Riprodhueshmëria është si larja e dhëmbëve”, thotë ai. “Është mirë për ju, por kërkon kohë dhe përpjekje. Sapo ta mësoni, bëhet zakon.”
Një nga qasjet më të publikuara për rritjen e riprodhueshmërisë është regjistrimi paraprak, ku shkencëtarët i paraqesin hipotezat dhe planet për analizën e të dhënave një pale të tretë përpara se të kryejnë eksperimente, për të parandaluar zgjedhjen e rezultateve statistikisht të rëndësishme më vonë. Më pak se një duzinë njerëz e përmendën këtë strategji. Njëra që e bëri ishte Hanne Watkins, një studente e diplomuar që studionte vendimmarrje morale në Universitetin e Melburnit në Australi. Kthimi në pyetjet e saj origjinale pas mbledhjes së të dhënave, thotë ajo, e pengoi atë të zbriste në një vrimë lepuri. Dhe procesi, megjithëse kërkon kohë, nuk ishte më i mundimshëm sesa marrja e miratimit etik ose formatimi i pyetjeve të anketës. "Nëse është ndërtuar që në fillim," thotë ajo, "është vetëm pjesë e rutinës së kryerjes së një studimi."
Shkaku
Sondazhi pyeti shkencëtarët se çfarë çoi në probleme në riprodhueshmëri. Më shumë se 60% e të anketuarve thanë se secili nga dy faktorët – presioni për të publikuar dhe raportimi selektiv – kanë kontribuar gjithmonë ose shpesh. Më shumë se gjysma treguan për përsëritjen e pamjaftueshme në laborator, mbikëqyrjen e dobët ose fuqinë e ulët statistikore. Një përqindje më e vogël vuri në dukje pengesa të tilla si ndryshueshmëria e reagentëve ose përdorimi i teknikave të specializuara që janë të vështira për t'u përsëritur.
Por të gjithë këta faktorë përkeqësohen nga forcat e përbashkëta, thotë Judith Kimble, një biologe zhvillimore në Universitetin e Wisconsin-Madison: konkurrenca për grante dhe pozicione, dhe një barrë në rritje e burokracisë që heq kohën e shpenzuar për të bërë dhe projektuar kërkime. "Të gjithë janë shtrirë më hollë këto ditë," thotë ajo. Dhe kostoja shtrihet përtej çdo projekti të veçantë kërkimor. Nëse studentët e diplomuar stërviten në laboratorë ku anëtarët e vjetër kanë pak kohë për të rinjtë e tyre, ata mund të vazhdojnë të krijojnë laboratorët e tyre pa pasur një model se si duhet të funksionojë trajnimi dhe mentorimi. "Ata do të shkojnë dhe do ta përkeqësojnë atë," thotë Kimble.
Çfarë mund të bëhet?
Të anketuarve iu kërkua të vlerësonin 11 qasje të ndryshme për përmirësimin e riprodhueshmërisë në shkencë dhe të gjithë morën miratime të zhurmshme. Gati 90% - më shumë se 1,000 njerëz - shënuan "Dizajn eksperimental më i fortë", "statistika më të mira" dhe "mentorim më i mirë". Ato renditen më lart se opsioni i ofrimit të stimujve (si financimi ose kreditimi drejt qëndrimit) për praktikat që rrisin riprodhueshmërinë. Por edhe artikulli me renditjen më të ulët - listat kontrolluese të ditarit - fitoi një miratim të madh prej 69%.
Sondazhi – i cili u dërgua me e-mail lexuesve të Nature dhe u reklamua në faqet e internetit të lidhura dhe mediat sociale si “në lidhje me riprodhueshmërinë” – ndoshta u zgjodh për të anketuarit që janë më të hapur dhe të vetëdijshëm për shqetësimet rreth riprodhueshmërisë. Megjithatë, rezultatet sugjerojnë se revistat, financuesit dhe institucionet kërkimore që avancojnë politikat për të adresuar këtë çështje ndoshta do të gjenin bashkëpunim, thotë John Ioannidis, i cili studion qëndrueshmërinë shkencore në Universitetin Stanford në Kaliforni. "Njerëzit ndoshta do të mirëpresin iniciativa të tilla." Rreth 80% e të anketuarve mendonin se financuesit dhe botuesit duhet të bëjnë më shumë për të përmirësuar riprodhueshmërinë.
"Është e shëndetshme që njerëzit janë të vetëdijshëm për çështjet dhe të hapur ndaj një sërë mënyrash të drejtpërdrejta për t'i përmirësuar ato," thotë Munafo. Dhe duke qenë se këto ide po diskutohen gjerësisht, madje edhe në mediat kryesore, trajtimi i nismës tani mund të jetë vendimtar. “Nëse nuk veprojmë për këtë, atëherë do të kalojë momenti dhe njerëzit do të lodhen duke u thënë se duhet të bëjnë diçka.”
Shkarkoni pyetësorin e plotë të përdorur në anketë dhe të dhënat e papërpunuara në një fletëllogaritëse (të dhënat janë gjithashtu të disponueshme si një skedar i kufizuar me skeda në Figshare).
Burimi: Nature
Përgjigju Duke Cituar
Krijoni Kontakt