Estudo mapeou dificuldades enfrentadas por laboratórios e oportunidades para tornar experimentos mais replicáveis e levou à criação da primeira rede nacional de reprodutibilidade da América Latina 

Foto: Eduardo Anizelli/Folhapress

Um estudo inédito, voltado a avaliar o quão replicáveis são os resultados de pesquisas biomédicas no Brasil, revelou que entre 15% e 45% dos experimentos da área puderam ser reproduzidos com sucesso por outros laboratórios. A pesquisa, conduzida pela Iniciativa Brasileira de Reprodutibilidade, é a primeira com abrangência nacional que se propõe a reproduzir experimentos de forma sistemática, de modo a verificar seus resultados. O projeto levou sete anos e envolveu 56 laboratórios em todo o país. Financiado pelo Instituto Serrapilheira, o estudo ajuda a colocar o Brasil na vanguarda dessa área.

Testar se um experimento utilizado em um estudo pode ser replicado por outros laboratórios é essencial para garantir a qualidade e confiabilidade da pesquisa científica, mas dados sobre a replicabilidade de experimentos publicados ainda são uma lacuna no mundo todo. A ciência, vale dizer, não é infalível, mas o processo científico é confiável justamente por ser cooperativo e autocrítico. É um sistema construído para corrigir seus próprios erros por meio da crítica contínua e da abertura ao escrutínio, em que cientistas revisam e desafiam o trabalho uns dos outros. É assim que se chega aos grandes avanços científicos, dos tratamentos contra o câncer à inteligência artificial.

Os resultados obtidos pela Iniciativa Brasileira de Reprodutibilidade se assemelham a estimativas anteriores de análises de menor escala na literatura científica internacional. Não há dados de pesquisas semelhantes com abrangência nacional para comparação: este é o primeiro estudo a avaliar a replicabilidade de experimentos de uma área em um país específico. A íntegra está disponível em formato preprint na plataforma bioRXiv. O modelo permite a disponibilização rápida, ampla e gratuita da pesquisa e dos dados antes da publicação por revistas científicas – um dos princípios da chamada “ciência aberta”, bandeira da Iniciativa. 

“O apoio do Serrapilheira foi motivado pela ideia de gerar o primeiro índice nacional de reprodutibilidade em uma área de pesquisa, e também por mobilizar um grupo de pessoas interessadas em um tema importante para tornar a ciência mais rigorosa e com mais impacto”, lembra Cristina Caldas, diretora de Ciência do instituto. “O maior avanço deste projeto foi a identificação dos elementos que dificultam a reprodutibilidade das pesquisas para, a partir daí, pensarmos em soluções. Assim, tornamos a ciência ainda melhor.” Por isso, o trabalho continua com a Rede Brasileira de Reprodutibilidade, iniciativa multidisciplinar criada em 2023 para promoção de práticas de pesquisa transparentes e confiáveis na comunidade científica brasileira.

O que significa uma taxa entre 15% e 45%

Os resultados principais da Iniciativa Brasileira de Reprodutibilidade incluem replicações de 47 experimentos, aleatoriamente selecionados em artigos publicados por cientistas brasileiros, utilizando três métodos tradicionais da pesquisa biomédica: um ensaio de viabilidade celular que mede a capacidade de células em cultivo permanecerem vivas em determinadas condições; a reação em cadeia da polimerase com transcrição reversa, usada para analisar a expressão de genes específicos; e o labirinto em cruz elevado, usado para avaliar o comportamento de ansiedade em roedores. Cada um dos experimentos foi replicado de uma a três vezes por diferentes laboratórios.

A taxa de sucesso das replicações variou entre 15% a 45%, a depender do critério utilizado para comparar o resultado original com o obtido pelo estudo. Um dos critérios, por exemplo, avalia se o resultado agregado das replicações tem resultado estatisticamente significativo na mesma direção do original. Outro avalia se o resultado das replicações está dentro da margem de erro do resultado original, e outro pediu que os laboratórios que conduziram os experimentos de replicação avaliassem subjetivamente se a replicação foi bem-sucedida ou não. O uso de diferentes critérios de análise é comum em estudos de reprodutibilidade. 

Para entender melhor, imagine um experimento hipotético, em que é dada uma droga X para tratar células em cultivo. As células tratadas tiveram uma sobrevivência 50% maior do que as não tratadas, com uma margem de erro que vai de 20% a 80% (tal qual a margem de erro de uma pesquisa eleitoral). Já na replicação do experimento, as células sobreviveram  15% mais, com uma margem de erro de 5% a 25%. O resultado obtido foi o mesmo de antes?

– Pode-se dizer que sim, pois tanto no original quanto na repetição, a droga parece funcionar – isto é, as células tratadas sobreviveram  mais do que as que não tomaram, com uma margem de erro que só inclui resultados positivos.

– Pode-se dizer que não, pois no experimento original a sobrevivência aumentou 50%, em média, e na repetição aumentou só 15%, fora da margem de erro da diferença original.

As taxas de sucesso obtidas nas replicações da Iniciativa reúnem essas diferentes análises. Cerca de 21% dos experimentos obtiveram sucesso em pelo menos metade dos critérios. 

Limitações no acesso a insumos e ausência de protocolos detalhados dificultam  reprodutibilidade

A pesquisa mostrou que os cientistas participantes das replicações tiveram dificuldades de seguir à risca os protocolos descritos nos artigos originais, seja por limitações de infraestrutura, questões logísticas ou adaptações necessárias ao modelo experimental. Entre as replicações planejadas na etapa inicial de pesquisa, 21% não puderam ser feitas por falta de material ou dificuldade de cumprimento dos prazos, por exemplo. Além disso, 32% das replicações concluídas apresentaram problemas metodológicos ou desvios em relação aos protocolos inicialmente estabelecidos, e por isso não foram consideradas na análise. 

Para Olavo Amaral, professor da UFRJ (Universidade Federal do Rio de Janeiro) à frente da Iniciativa Brasileira de Reprodutibilidade, a dificuldade em replicar muitos dos experimentos – ou de seguir à risca os protocolos estabelecidos pelos próprios laboratórios – indica um possível desequilíbrio entre abordagens exploratórias e confirmatórias na pesquisa acadêmica. Culturalmente, a prática nos laboratórios não costuma seguir protocolos estabelecidos de antemão de forma estrita, o que pode dificultar a replicação dos experimentos. 

“Hoje, o meio acadêmico é muito mais voltado para a exploração e a geração de resultados inovadores do que para a confirmação deles, inclusive porque há pouco incentivo e oportunidades de financiamento para se fazer isso de forma rigorosa”, afirma Amaral, para quem os dados ajudam a impulsionar discussões sobre o tema. “Nossa meta não era ser conclusivo em relação ao resultado de cada um dos estudos em si, mas estimar o grau de sucesso da comunidade científica brasileira em replicar seus próprios resultados e colocar o debate sobre reprodutibilidade em pesquisa em pauta no país. Nesse sentido, a expectativa de reunir um grupo grande de cientistas e fazer esse primeiro movimento foi cumprida.” 

Um dos desafios apontados pelo estudo foi a ausência de informações detalhadas nos artigos científicos originais, o que levou a possíveis divergências na replicação dos experimentos. Além disso, diferenças nos insumos utilizados – às vezes a excessiva carga burocrática impossibilitava a compra de um reagente, ou a substância usada pelo estudo original não existia mais, por exemplo –, variações na expertise dos pesquisadores ou desvios dos protocolos originalmente estabelecidos pelos laboratórios participantes também podem ter impactado os resultados. Não é possível saber, assim, o quanto do resultado se deve a dificuldades na replicação ou a possíveis falhas no estudo original. 

Rede quer aprimorar protocolos e incentivar transparência

Para os coordenadores da Iniciativa, os dados ajudam a posicionar o Brasil na vanguarda de uma discussão importante para a ciência. A Rede Brasileira de Reprodutibilidade, um “spin-off” da Iniciativa, reúne hoje mais de 40 membros, entre grupos, instituições e pessoas no Brasil, que se dedicam a avaliar e aprimorar práticas em diferentes áreas da ciência e fomentar o debate sobre reprodutibilidade em pesquisa.

Pioneira na América Latina, ela integra a Federação Global de Redes de Reprodutibilidade, com mais de 20 organizações semelhantes no mundo todo. “A criação da Rede brasileira abre caminho para colaborações e iniciativas que possam aprimorar a qualidade dos estudos realizados no país”, aponta Amaral. Além de expandir o debate sobre boas práticas de reprodutibilidade para outras áreas da ciência, a Rede tem levado essa questão aos órgãos científicos e às agências de fomento. A organização participa do 6º Plano Nacional da Parceria para Governo Aberto e elaborou recomendações para a valorização de ciência aberta e reprodutível na avaliação de programas de pós-graduação a pedido da Capes.