A humanidade entenderia muito pouco de câncer e seria bastante pressionada a encontrar curas sem pesquisas científicas. Mas e se, quando equipes recriassem as pesquisas umas das outras, não chegassem aos mesmos resultados? É isso que o Reproducibility Project: Cancer Biology of the Center for Open Science (Projeto de Reprodutibilidade: Biologia do Câncer do Centro de Ciência Aberta, em tradução livre) está tentando: refazer partes de 50 importantes estudos de câncer e comparar os resultados.
Eles liberaram as cinco primeiras réplicas nesta quinta-feira (19), e acontece que nem todos os dados estão batendo. Pelo menos uma vez em cada estudo, um resultado reportado como estatisticamente significativo não foi considerado da mesma maneira no estudo replicado. Em dois dos casos, as diferenças entre o estudo inicial e o replicado foram ainda mais impressionantes, dando aos pesquisadores do Center for Open Science motivo para preocupação.
“Fiquei surpreso com os resultados por causa de todos os esforços que fizemos para garantir que os estudos estivessem sendo reproduzidos com precisão”, contou Tim Errington, gerente de projetos do Center for Open Science, ao Gizmodo. “Achamos que estivéssemos cruzando todos os ts e pondo todos os pingos no is. Ver alguns desses sistemas experimentais não se comportar da mesma maneira foi algo que eu não esperava que acontecesse.”
Inspiração
O ímpeto para o projeto começou por volta de 2011 e 2012, quando empresas de biotecnologia como a Amgen e a Bayer estavam tendo dificuldades de recriar importantes estudos sobre câncer. O Center for Open Science trabalhou ao lado do Science Exchange, um “mercado de terceirização de pesquisa científica”, para catalogar e replicar alguns dos estudos sobre câncer mais citados. Eles reduziram 400 artigos para cerca de 16 ou 17 cada, dos anos de 2010, 2011 e 2012. Então, os grupos recriaram meticulosamente os métodos de cada estudo, conversando com os autores e outros pesquisadores. Eles até mesmo publicaram um estudo revisado por colegas, detalhando como planejavam replicar os estudos iniciais, chamado de relatório registrado.
Nesta quinta, o Center for Open Science publicou os primeiros cinco artigos repplicados, assim como os comentários dos colegas que revisaram o trabalho, no periódico eLife, refazendo partes desses cinco estudos vinculados. Embora algumas pequenas diferenças tenham aparecido em cada replicação, algumas discrepâncias significativas entre os estudos originais e os refeitos se destacaram. Em parte de um artigo, cientistas estavam tentando testar quanto tempo os tumores levariam para crescer em um rato após a mutação de um gene. O estudo original descobriu que eles cresciam após nove semanas, enquanto a reprodução dele observou tumores crescendo após apenas uma semana. Em outra, após seguir o protocolo do primeiro experimento da melhor maneira que conseguiram, os cientistas por trás do estudo replicado notaram que os tumores não tratados, feitos das mesmas células que os primeiros cientistas usaram, espontaneamente se encolheram por conta própria. Se os tumores em que foram feitos experimentos encolheram espontaneamente, não dá para dizer de fato se um tratamento funcionou ou não.
Nenhuma das pessoas com quem conversei no Science Exchange ou no Center for Open Science enxergaram malícia (nos resultados anteriores). Em vez disso, eles acham que nossa cultura científica incentiva resultados limpos e atraentes em periódicos de primeira linha revisados por pares. “O sistema de recompensa é ‘dê-me um artigo que é claro e compreensível, com uma manchete animadora e resultados que defendam sua mensagem, teoria ou remédio’”, disse Errington. Isso faz com que os cientistas deixem de fora de seus métodos algumas complexidades. “A verdade é que todos sabemos que a ciência não funciona desse jeito”, com um resultado intocável atrás do outro. “É uma bagunça, e há começos e recomeços.”
Os cientistas não deveriam ficar surpresos ao ver que a reprodução de seus dados leva a resultados conflitantes, contou Elizabeth Iorns, CEO do Science Exchange, ao Gizmodo. “As pessoas presumem que haja 100% de certeza em um estudo feito apenas uma vez que é publicado. É claro que isso não está correto, porque há sempre incerteza nos resultados”, disse. “Podemos reduzir a incerteza com a realização de réplicas independentes.”
A reação dos pesquisadores originais
Cientistas envolvidos nos estudos originals já começaram a reagir aos resultados das reproduções. “Nossa pesquisa original foi reproduzida em ao menos 13 artigos revisados, por grupos independentes de pesquisa”, contou ao Gizmodo Erkki Ruoslahti, do Instituto de Pesquisa Médica Sanford Burnham Prebys, da Califórnia, por trás deste estudo replicado. O estudo de Ruoslahti descobriu que uma certa molécula conseguiria aumentar a eficácia de certos remédios para câncer e ajudar a diminuir os tumores, mas o estudo reproduzido não notou nenhum efeito estatisticamente significativo no peso dos tumores.
“Estamos cientes de que dois grupos adicionais nos Estados Unidos estão para publicar os resultados que confirmam e estendem nossos resultados”, continuou Ruoslahti. “A ciência é autocorretiva. Se uma descoberta não pode ser repetida, ela desaparecerá, e isso não aconteceu com nossa tecnologia. Nosso foco atual é em levar esta tecnologia promissora às clínicas.” Ruoslahti espera que esforços como o do Center for Open Science não dissuadam cientistas de “buscar pesquisas inovadoras com o potencial de beneficiar os pacientes.”
Marina Sirota, autora de um dos cinco estudos refeitos e que agora está na Universidade da Califórnia, em San Diego, defendeu a importância da reprodução de artigos, mas alertou para a necessidade de se ter em mente os os objetivos iniciais. “Acredito que esforços de reprodutibilidade como esse são extremamente importantes, tanto para as comunidades públicas e de pesquisa. Entretanto, é também crucial entender os objetivos e suposições do trabalho original.”
Iorns ficou surpresa com as reações pessoais de alguns cientistas ao ver seus resultados questionados. Na seção de comentários de alguns dos artigos refeitos, cientistas criticaram os métodos do projeto. “Não estamos atacando os autores”, ela afirmou. “Estamos apenas tentando divulgar nossos resultados e deixar que a comunidade tire suas próprias conclusões.” Ela acredita que os pesquisadores não devessem ficar tão apegados a seus resultados e que, em vez disso, deveriam nutrir uma cultura que incentive a reprodução dos estudos.
Problemas na reprodutibilidade não são exclusivos da biologia do câncer. Em 2015, o Reproducibility Project: Psychology (Projeto de Reprodutibilidade: Psicologia) também teve dificuldade na reprodução dos resultados de 100 estudos. “Os incentivos que levam a certos comportamentos em pesquisas são os mesmos em todas as disciplinas da ciência”, afirmou Brian Nosek, diretor executivo do Center for Open Science, ao Gizmodo. Ele apresentou algumas soluções. Acredita que mais cientistas devessem publicar relatórios registrados para revisar seus métodos antes de levar adiante um experimento; e publicar dados abertamente para que os experimentos sejam mais facilmente reproduzidos.
Por fim, o Reproducibility Project: Cancer Biology reproduziu apenas cinco dos 50 estudos planejados. Mas se os primeiros cinco são indicativo de alguma coisa, uma clara mudança cultural precisa acontecer para garantir que cientistas possam replicar os experimentos uns dos outros e que os resultados sejam fáceis de se verificar.
fique por dentro das novidades giz
Inscreva-se agora para receber em primeira mão todas as notícias sobre tecnologia, ciência e cultura, reviews e comparativos exclusivos de produtos, além de descontos imperdíveis em ofertas exclusivas
