No esperes tanto de ese artículo científico: menos de la mitad de los experimentos preclínicos sobre el cáncer pueden ser replicados de nuevo

Estudio sobre el cáncer

Getty Images

  • Desvelan el resultado inquietante de un intento de 8 años y 2 millones de dólares por reproducir artículos influyentes de investigación preclínica sobre el cáncer.
  • Según informa el equipo, menos de la mitad de los experimentos evaluados resistieron el escrutinio.
  • La reproducibilidad, uno de los pilares del método científico, se trata de la capacidad de un ensayo o experimento de ser reproducido o replicado por otros, particularmente por la comunidad científica.
  • Descubre más historias en Business Insider España

Uno de los proyectos de reproducibilidad más sólidos realizados hasta la fecha documenta cómo más de la mitad de los estudios preclínicos sobre el cáncer no resistieron el escrutinio de ser replicados, tal y como recoge la revista Nature. 

El equipo del Reproducibility Project: Cancer Biology (RPCB) ha documentado obstáculos como los protocolos de investigación vagos, o falta de cooperación de los autores, que retrasaron sus iniciativas hasta 5 años y redujeron a la mitad su alcance.

Aunque inicialmente planeaba repetir 193 experimentos de 53 artículos, el equipo ejecutó solo 50 experimentos de 23 artículos

"Los resultados no son sorprendentes, y al mismo tiempo, son impactantes", apunta Brian Nosek, investigador del RPCB y director ejecutivo del Center for Open Science en Charlottesville. 

Una baja tasa de replicación "francamente escandalosa"

Son palabras de Glenn Begley, oncólogo y cofundador de Parthenon Therapeutics en Cambridge, Massachusetts, que no participó en el estudio. 

La investigación apunta a una "crisis de reproducibilidad", o dicho de otro modo, la problemática de que muchos hallazgos de investigación no puedan replicarse a posteriori. 

Por poner un ejemplo, durante la década anterior el equipo de hematología y oncología de Begley solamentepudo confirmar los resultados de 6 de los 53 artículos importantes que evaluó, a pesar de trabajar junto con los autores originales de los artículos. La tasa de replicación fue solamente de un 11%. 

Otros estudios también han apuntado hacia tasas muy pobres de replicación en el descubrimiento de fármacos, la neurociencia y la psicología.

En el presente proyecto, los investigadores del RPCB se propusieron reproducir sistemáticamente experimentos en 53 artículos de alto perfil publicados durante 2010-2012 en revistas como Nature, Science y Cell.

El proyecto se centró en la investigación preclínica el alto impacto sobre el cáncer porque los primeros indicios de bajas tasas de reproducibilidad provenían de este espacio. En particular, los estudios con animales parecían los más difíciles de reproducir. 

Aunque ya comenzaron a divulgar sus conclusiones en 2017, ahora dos artículos (puedes leer tanto el primero como el segundo en eLife) detallan los hallazgos de sus conclusiones. 

Factores que impiden replicar los estudios

Ratón para experimentación animal

Getty Images

Aunque se consideró a los autores "extremadamente útiles" en el 26% de los casos, un 32% no ayudó en absoluto a reproducir los experimentos. En muchos casos, los artículos originales carecían de datos y detalles para hacer reproducible la investigación preclínica.

A la falta de cooperación se une la necesidad de modificar o revisar los protocolos una vez que los experimentos estaban en marcha, alargando considerablemente los tiempos necesarios. Tanto es así que el equipo necesitó 197 semanas para replicar un estudio, con un coste de 53.000 dólares que supuso el doble de la asignación prevista. 

El análisis detallado en el segundo artículo apunta a que solamente el 46% de los intentos de replicación confirmaron los hallazgos originales. Y, en promedio, los investigadores observaron tamaños de efecto que eran un 85% más pequeños de lo que se informó originalmente.

Los estudios preclínicos con los tamaños de efecto más grandes fueron los que tenían más probabilidades de ser replicados. A los experimentos con animales les fue peor, en particular porque tienden a producir tamaños de efecto más pequeños que los experimentos in vitro.

Algunos autores han respondido que la replicación es extremadamente difícil, o se han defendido argumentando que laboratorios externos han podido replicar los resultados en varias ocasiones. 

"El verdadero problema es el tiempo, el dinero y el esfuerzo que se desperdician para encontrar las señales en medio del ruido", dice Tim Errington, líder del proyecto de la RPCB, animando a un cambio de cultura y a la búsqueda de soluciones. 

Hay propuestas sobre la mesa: los estudios in vitro y en animales pueden beneficiarse del cegamiento, tamaños de muestra más grandes, mayor rigor estadístico y prerregistro de planes de estudio. Los autores también sugieren que los artículos proporcionen más pruebas y hagan menos afirmaciones.  

También es necesario que las partes interesadas aborden en los incentivos y en los lastres que se interponen para replicar un experimento, ya que muchas veces no son percibidas como oportunidades para avanzar sino como amenazas. 

"Realmente queremos cambiar toda la cultura de la investigación”, dice Nosek. Otras voces animan a apoyar a los investigadores que encuentran fallos o que ponen su foco en las causas de la variabilidad entre laboratorios. 

Descubre más sobre , autor/a de este artículo.

Conoce cómo trabajamos en Business Insider.