Crítica al «factor de impacto» en la evaluación científica

 

Eva Marder.Helmut Ketenmann. and Sten Grillner.PNAS.N.14. Diciembre. 2010.

Mucho se ha escrito sobre los factores de impacto, cómo sistema de calculo y medición de la calidad de la producción científica. Brevemente, el Instituto de información científica (ISI) calcula el factor de impacto para cada publicación científica  por medio  del número de citas por  artículo publicado en esa revista  en los dos años anteriores. Cuando se diseñó el factor de impacto de 2 años, pretendía ser una ayuda para tomar decisiones sobre qué revistas a comprar para que poder robtener una información  somera sobre  la influencia de una revista  en su campo para los bibliotecarios. En este contexto, el factor de impacto tiene sentido. No obstante, el uso del factor de impacto para juzgar las instituciones, los departamentos y los científicos individuales es un caso  de estudio notable de la Ley de consecuencias no deseadas o perversas. Como tantas intervenciones bien intencionadas en la política social, ecológica  o médica, el impacto factor como indicador para la evaluación de los candidatos y programas ha causado innumerables problemas, aunque tal vez  resolviera algunos.

Hoy en día, el factor de impacto se utiliza a menudo como un referente para el prestigio de la revista. Este referente es conveniente para aquellos que deseen evaluar a jóvenes científicos en sus campos, porque no requiere conocimientos de la reputación de curriculum  individuales o de experiencia específicas en todos los campos. En algunos países, se esperaba que el factor de impacto proporcionaría una medida más objetiva de la excelencia científica que depender de las genealogías científicas. Por esta razón, el factor de impacto se ha convertido en una parte formal del proceso de evaluación para la selección de  candidatos a puestos trabajo en muchos países, con consecuencias saludables y perniciosas.

Hay muchas razones por las qué hacer  depender del factor de impacto la evaluación de los científicos  tiene poco sentido. El trabajo menos importante publicado en una revista comparte el factor de impacto con los trabajos más importantes en la misma revista, el número de citas de un artículo determinado a menudo no refleja el factor de impacto de la revista en la que se publicó. Sin embargo, nuestra principal preocupación es no si usar  el factor de impacto para evaluar a individuos tiene sentido sino  sus consecuencias negativas para nuestros jóvenes científicos cuando  toman decisiones acerca de cómo hacer ciencia, publicar sus trabajos o solicitan plazas. Sostenemos  el factor de impacto es una fuerza corruptora de nuestros jóvenes científicos (y también de los científicos mejorres), y que nos vendría muy bien desprenderse de su influencia

La empresa científica tiene como objetivo la creación y difusión de nuevos conocimientos. En la actualidad, es posible publicar los resultados en la web, en  revistas científicas por la revisión por pares. En algunas revistas, la revisión por pares consiste principalmente en preguntarse  si el trabajo fue hecho correctamente, si las estadísticas, datos  y controles apropiados están presentes, si las figuras y  el texto son claras, y si los argumentos tienen  sentido lógico. En otras revistas, la  revisión por pares hace hincapié en la importancia potencial y en  la novedad de la obra.

No es de sorprender que las revistas con el mayor factor de impacto (dejando a un lado las revistas de revisión) son las que colocan la prima más alta sobre los trabajos que son percibidos como más novedosos. Esto puede distorsionar las decisiones sobre cómo llevar a cabo un proyecto científico. Muchos, si no la mayoría, de  importantes descubrimientos científicos proceden de descubrimiento  casuales. Los nuevos conocimientos son nuevos, precisamente porque no eran previsibles. En consecuencia, es difícil predecir qué proyectos van a generar datos útiles e informativos nuevos  que se agreguen a nuestro cuerpo de conocimientos. Hoy, muchos de nuestros posdoctorandos creen que obtener un “papers”  en una prestigiosa revista es más importante para su carrera que hacer propiamente ciencia.

Hemos visto posdoctorandos durnate  años enviar artículos a una revista con  factor de impacto alto   y ser rechazada, y a continuación,  tras haberse  dedicado  a revisarla la cadena de prestigio de las revistas , esto les ha  costado  meses y meses de tiempo que sería mejor que lo hubiesen invertido en hacer  nueva ciencia. Lamentablemente, este proceso erosiona su sentido de éxito. En lugar de estar satisfecho por comentarios  y críticas diciendo que el trabajo fue bien hecho y claramente presentado, están decepcionados por el bajo  factor de impacto de la revistas en la que finalmente se publican sus  trabajaos. Demasiados posdoctorados reconocen que sus revistas favoritas, donde encuentran  los artículos que  les gusta leer,  es donde  desearían  publicar sino no tuvieran la presión del factor de impacto.  Y si no lo hacen es porque serian mal evalaudo por sus  instituciones  patrocinadoras o gubernamentales. La hipocresía inherente en la elección de una revista   debida a su factor de impacto, en lugar de  potenciar la ciencia publica, socava los ideales por los que se debe hacer ciencia. Esto contribuye a la desilusión, causando el abandono de la investigación científica de  algunos  de nuestros jóvenes  investigadores con más talento  y creatividad.

Hay países que dan recompensas financieras y  de  otro tipo  a jóvenes científicos por  publicar en revistas de factor de  impacto alto. Entendemos que con ello  desean alentar a los jóvenes a  que   aspiren  conseguir un reconocimiento internacional  alto  por su trabajo. Sin embargo, demasiado hincapié en la publicación en revistas de factor de  impacto alto  puede llegar a ser una  estrategia desastrosa. Es  estímulos  llegan, en su versión más extrema, a  favorecer  la tentación de falsificar los datos. Incluso a  los más  escrupulosos, se les  envía el mensaje de que la búsqueda honesta de la verdad en ciencia no es suficiente para el éxito.

¿Hay solución? Como mínimo, debemos renunciar a que  los  factores de impacto sean el referente  para la excelencia y reemplazarlos por  análisis en profundidad de la ciencia producida por candidatos a plazas y subvenciones. Esto requiere más tiempo y esfuerzo de los científicos de alto nivel y la cooperación de las comunidades internacional, porque no todos los países tienen la experiencia necesaria en todos los ámbitos de la ciencia. Ya es  habitual, que  un número importante  de países de todo el mundo soliciten opiniones internacionales. Todos debemos estar dispuestos a participar en e internacionales, porque es la única manera que por la cual  podemos liberar  a  nuestros jóvenes científicos de la tiranía del factor de impacto. Como comunidad  científica, debemos estar atentos para garantizar con todas nuestras acciones que el objetivo  de  nuestro trabajo sea la búsqueda de nuevos conocimientos y su difusión, no la búsqueda de la gloria y la fama  antes  que de la verdad.

* Mardera, E, Kettenmann, H, & Grillnerc, S (2010). Impacting our young PNAS, 107 (50) : 10.1073/pnas.1016516107