Si la ciencia contemporánea fuese un programa televisivo supongo que se parecería a uno de éstos presentados por Ana Rosa Quintana o Pablo Motos, programas llenos de estridencias. Donde cada día tiene que parecer que pasan grandes cosas, y cada invitado llega rodeado de una gran áurea mágica. De ser un película, sería una de Hollywood, con un ritmo perfectamente estudiado para mantener la atención del espectador al margen de lo que la historia requiere, aunque el exceso de escenas de acción pusiese en riesgo la verosimilitud del relato. Debería parecerse más al guión de una película francesa, una de esas en las que uno tiene la sensación de que no ha pasado nada hasta que finaliza la cinta y entonces cae en la cuenta que simplemente ha sido testigo de un pedazo de vida cotidiano, de un fragmento de realidad, pero no lo es.

Pero no, en ciencia hojeando cualquier revista científica a uno le asaltan continuamente las promesas y los resultados positivos. Es raro que uno pueda leer un trabajo con resultados ambiguos, negativos o inconclusos. Algo que se debe simplemente porque la investigación sufre continuamente lo que se conoce como «sesgo de publicación». El sesgo no es más que una alteración de los resultados de la investigación promovido por el mundo editorial que muestra una clara preferencia por publicar mayoritariamente los resultados positivos o estadísticamente significativos.

El sesgo de publicación se hizo evidente cuando empezaron a llevarse a cabo estudios de revisión cuantitativos sobre toda la literatura publicada en sus respectivos campos. Se desarrollaron entonces las técnicas de meta-análisis que permiten a partir de los valores estadísticos presentados por los estudios publicados realizar nuevos análisis estadísticos con el fin de sacar conclusiones generales. Después de todo, es a lo aspira toda ciencia, a poder extraer una serie de generalidades que expliquen en lo posible el mayor numero de casos posibles y poder así predecir eventos. Pero como es de esperar, todo meta-análisis puede resultar infructuoso si el material del que parte ha sido previamente sesgado por las preferencias editoriales. Y eso es lo que pasa en la mayoría de los casos.

Un nuevo estudio colgado en bioRxiv titulado «High Impact journal in ecology cover proportionally more statistically significant findings», encuentra que entre las revistas de Ecología, la proporción de trabajos con resultados estadísticamente significativos aumenta con el Índice de Impacto (IF) de las revistas. Es decir, parece que las revistas mejor posicionadas y con mayor prestigio publican más trabajos con resultados significativos o positivos que las revistas peor posicionadas en el ranking. La conclusión que se extrae del estudio es que cualquiera que desee hacer un meta-análisis o síntesis de resultados en Ecología no debe restringirse a las revistas más importantes del campo sino abarcar todo el espectro de revistas para reducir en lo posible el sesgo de publicación. El estudio mencionado incluye revistas cuyo Índice de Impacto va del 0,36 de Northeastern Naturalist en 2012 al 17,94 de Ecology Letters de ese mismo año.

Estudios previos llevados a cabo con la publicación de ensayos clínicos también demostraron que los trabajos no-significativos costaban mucho más de publicar, viéndose que transcurría un mayor tiempo entre la ejecución de los experimentos y la publicación de los resultados negativos que los positivos. Creo que cualquier científico se verá identificado con estos resultados, unos resultados negativos no suelen generar urgencia, mientras que unos positivos parecen demandar una publicación rápida antes de que algo parecido sea publicado. Volviendo al símil televisivo del principio, un resultado positivo es algo así como una primicia que puede venderse al mejor postor, uno negativo una noticia del montón por la que los medios muestran poco interés, por tanto puede esperar, corriendo el riesgo de enquistarse en el cajón del olvido.

Aquí no habría que despreciar el poder del lenguaje, pues las palabras son importantes, al llevar una gran carga cultural y por tanto un gran componente psicológico. El mero hecho de calificar unos resultados de «negativos» los hace inmediatamente menos atractivos. 

Pero sería injusto atribuirle toda la culpa del sesgo de publicación a las líneas editoriales de las revistas, la actitud de los investigadores también contribuye al sesgo. Ante unos resultados negativos muchas veces son los propios investigadores  los que aparcan el estudio, ahí quedan los datos y los análisis previos sin que nadie tome la responsabilidad de escribir el manuscrito. Escritorios, cajones y ordenadores de los despachos de las universidades contienen cientos de datos y resultados que aguardan año tras año a que alguien haga un uso de ellos. Las razones de su abandono pueden ser varias, por ejemplo, (1) que se crea que el experimento o los datos de campo no son los apropiados, considerando que hace falta una muestra mayor o aumentar el número de réplicas de los experimentos; (2) una pérdida de interés en el propio estudio al ver que no proporciona resultados positivos; o (3) anticipar uno mismo que otros investigadores no tendrán mucho interés por leer unos resultados negativos y decidir no perder el tiempo escribiendo el manuscrito.

 

Esta actitud ante los estudios negativos son en parte consecuencia de las «fobias» o «enfermedades» que padece la ciencia moderna según el psicólogo John Antonakis. 

Significosis: una obcecación excesiva por los valores estadísticamente significativos, en las que los resultados no significativos no se evalúan ni suelen usarse a la hora de sacar conclusiones. Sólo se persiguen estudios que puedan producir resultados estadísticamente significativos.

Neophilia: obsesión por lo novedoso. No hay nada mala con las novedades, a todo el mundo le encantan las novedades, pero en ciencia la precaución debe primar, pues algo novedoso sin contrastar puede demostrarse rápidamente que era incorrecto. Por otro lado este gusto por lo novedoso da lugar a que los estudios que confirman cosas, que son la base de toda ciencia, apenas reciban atención.

Theorrhea: relacionado con la neofilia, pero centrado en el campo más teórico, implica una predilección por la aparición continua de nuevas teorías que motiven nuevos experimentos. 

Arigorium: hace referencia a la falta de rigor o conocimiento, tanto teórico como empírico, de muchos de los estudios. La obsesión por la novedad, las nuevas teorías y los valores estadísticos, hace que cada vez más se tenga un peor conocimiento de la teoría «clásica» bien asentada, así como en métodos de diseño y ejecución de experimentos para contrastar hipótesis. Es consecuencia de la urgencia del mundo actual.

Disjunctivitis: sería la dispersión o producción trivial e incoherente de muchos equipos de investigación. Aquí vuelve a aparecer el fantasma de la presión por publicar, el famoso «publica o muere». Dado que lo novedoso, las nuevas líneas, las nuevas modas, y los resultados significativos son los que más gustan y los más fáciles de publicar, muchos investigadores en lugar de centrar un carrera en una línea sólida e ir avanzando en ella de manera consistente a base de diferentes estudios, va probando cosas aquí y allí, creando una ciencia fragmentaria y dispersa.

Con los años el problema del sesgo de publicación se ha hecho evidente y hay cada vez más voces que claman más espacio para las publicaciones negativas. En esta línea se han intentado crear nuevas revistas cuya finalidad es dar cabida a los estudios negativos con el fin de motivar a los autores a publicar sus trabajos. Sin embargo ninguna de ellas ha cumplido con éxito sus expectativas y son a día de hoy proyectos clausurados o muertos a la deriva en la red de internet sin visibilidad alguna.

New Negatives in Plant Science: estudios basados sobre hipótesis en plantas que no tengan valores estadísticamente significativos, los resultados nulos o negativos son bienvenidos. Empezó su andadura en 2015 y la acabó a principios de 2017.

Journal of Negative Results: estudios en ecología y biología evolutiva rigurosos pero cuyos resultados no permitan obtener unas conclusiones claras. Revista digital que apareció en 2004 y ha ido publicando trabajos de manera intermitente, con uno o dos trabajos por año. Vamos, que podría decirse que es un proyecto fallido.

Journal of Negative Results in BioMedicine: lo mismo pero en biomedicina. Y como las anteriores, en setiembre de 2017 decidieron cerrar el proyecto.

Journal of Pharmaceutical Negative Results: estudios fallidos en el campo de farmacia. Todavía operativa, y la de más éxito con 155 artículos publicados en los últimos siete años.

The All Results Journals: recuperar artículos de estudios bien llevados a cabo en química, física, física y biología que por sus resultados negativos no tienen cabida en otras revistas. Otra serie de revistas online de supervivencia dudosa, con una publicación que oscila entre los dos y los seis trabajos anuales.

Las buenas intenciones por minimizar el sesgo de publicaciones está allí, pero ni los propios investigadores ni las propias editoriales parecen demasiado motivadas a encontrar soluciones al problema. Como se ha visto en las revistas enumeradas arriba, casi todos los proyectos editoriales de reunir los resultados negativos en revistas especializadas no han funcionado, con la excepción del de farmacia. Segregar los trabajos entre positivos y negativos no es una buena estrategia, la gente no quiere leer sólo estudios negativos.

Parte del problema es el mundo editorial, la manera actual de juzgar a los investigadores sólo en función de sus trabajos y las «cinco enfermedades» o «fobias» que Antonakis ha detectado en el campo de la psicología pero que más o menos pueden extrapolarse a otros campos. Hace falta un cambio en el cual se revalorice de nuevo el avanzar poco, valorar los estudios que confirman teorías, huir de la tiranía de las modas que van cambiando y hacen que la investigación vaya saltando de un lado para otro en función de lo que «más vende» garantizando que los pasos que se dan en una u otra dirección son correctos. Para ello, los resultados negativos tienen tanta importancia como los positivos. El sesgo de publicación científico es una forma de despreciar la ciencia, de condenar a las papeleras de centros de investigación, horas, días y meses de trabajo de las que la comunidad científica no tendrá conocimiento alguno.

Más allá de incentivar a las revistas dar salida a estudios bien planteados pero sin resultados positivos, se han propuesto otro tipo de estrategias para mejorar la ciencia.

Una alternativa sería obligar el registro previo de todo estudio durante su ejecución. Así no se podría publicar un trabajo que no hubiese sido previamente registrado en su momento. Sin duda tener una base de datos de trabajos ejecutados y las correspondientes publicaciones ayudaría al menos a conocer que proporción de estudios quedan abandonados por diferentes razones y averiguar la magnitud del sesgo de publicación existente entre trabajos desarrollados y artículos publicados.

Independientemente los datos de trabajos no publicados deberían poder hacer accesibles a otros investigadores en bases de datos bien organizadas que fuesen públicas. Ya existen algunos proyectos así en marcha. Haciendo clic aquí se puede ver una serie de bases recomendadas por Nature, desde GenBank, dbSNP, UniProtKB, NCBI Taxonomy, Morphobank.org, The Cancer Imaging Resource a bases de datos climáticos, geológicos, astronómicos o de carácter general como Dryad Digital Repository o Zenodo.

Con el tiempo, para una buena transparencia y mejor control del desarrollo de la ciencia, todas las subvenciones y ayudas, tanto de instituciones públicas como de fundaciones privadas, deberían estar obligadas a per-registrar todos los estudios que subvencionan y obligar posteriormente a sus beneficiarios a hacer entrega en las bases de datos de toda la información generada. Hay, quien yendo más allá, propone que las instituciones incluso deberían retener un 20-25% de la ayuda concedida hasta que se publicasen los resultados de los estudios subvencionados. Sería la manera de forzar que todos los trabajos viesen la luz. Lejos de existir de una solución sencilla de momento no se han tomado grandes medidas para combatir el sesgo de publicación.

 

---

 

 Lecturas complementarias:    

• van Assen, M.A.L.M, van Aert, R.C.M., Nujiten, M.B., Wicherts, J.M. (2014) Why publishing everything is more effective than selective publishing of statically significant results. PloS one e00848996
• Antonakis, J. (2017) On doing better science: from thrill of discovery to policy implications. The Leadership Quaterly 28:5–21
• Ceausu, S., Borda-de-Agua, L., Merckx, T., Sossai, E., Sapage, M., Miranda, M., Pereira, H.M. (2018) High Impact journal in ecology Cover proportionally more statistically significant findings. bioRxiv doin:https://doi.org/10.1101/311068
• Fanelli, D. (2010) Do Pressures to Publish Increase Scientists’ Bias? An Empirical Support from US States Data. PloS one e0010271
• Janot, A.S., Agoritsas, T., Gayet-Ageron, A., Perneger, T.V. (2013) Citation bias favoring statistically significant studies was present in medical research. Journal of Clinical Epidemiology 66:296–301
• Lortie, C.J., Aarssen, L.W., Budden, A.E., Leimu, R. (2013) Do citation and impact factors relate to the real numbers in publications? A case study of citation rates, impact, and effect sizes in ecology and evolutionary biology. Scientometrics 94:675–682
• Peplow, M. (2014) Social Sciences suffer from severe publication bias. Nature News 28 Aug 2014
• Suñé, P., Suñé, J.M., Montoro, J.B. (2013) Positive outcomes influence there rate and time to publication, but not the impact factor of publications of clinical trial results. PloS one 8:e54583
• Tressoldi, P.E., Giofré, D., Sella, F., Cumming, G. (2013) High impact = high statistical standards? Not necessarily so. PloS one 8:e56180