La era de la explosión de los índices bibliométricos

En este campo de la evaluación de la actividad científica, una de las herramientas más utilizadas es el análisis de la frecuencia de citas, es decir, la realización de estudios estadísticos sobre el número de citas que ha recibido una determinada investigación en el conjunto de revistas académicas de su área. Su origen se remonta a la década de 1950, con Eugene Garfield. Fue este lingüista el que propuso la idea de cuantificar la importancia de los artículos de investigación en función del número de citas que recibían (creando el método de la indización por citas). Con este proyecto, Garfield fundó en 1960 el Instituto para la Información Científica de Filadelfia (Institute for Scientific Information – ISI), lanzando un año después su primer listado de artículos más citados en el área de la Genética (Genetic Citatio Index). Posteriormente, en 1965, Garfield y Sher publicaron un interesante artículo donde se mostraba que los científicos que habían recibido Premios Nobel publicaban 5 veces más que el promedio y sus trabajos eran citados 50 veces más que la media. Así, estos pioneros en la medición de la actividad científica consolidaron lo que hoy en día conocemos como el factor de impacto, que se ha convertido en nuestros días en uno de los indicadores por excelencia de la medición de la investigación.

A partir de la década de los 80, los estudios estadísticos sobre frecuencia de citas alcanzaron un enorme desarrollo, aplicándose no sólo al análisis del impacto de los estudios publicados o de los investigadores, sino también a la evaluación de la productividad de las diferentes revistas académicas o de las universidades, entre otros. A su vez, los indicadores bibliométricos originales, basados en funciones estadísticas simples, como medias o frecuencias, fueron evolucionando hacia fórmulas más complejas. Entre estos nuevos índices ocupa un lugar destacado el h-index de Hirsch (un indicador que tiene en cuenta no sólo el número de citas sino la productividad del investigador), que fue creado hace tan sólo siete años, y que ha dado lugar a su vez a nuevos cálculos y adaptaciones, como el g-index, el A-index, el R-index, etc.

Sin embargo, y a pesar de los avances tecnológicos y estadísticos producidos en las últimas décadas, la constante pregunta del investigador acerca de qué impacto ha alcanzado su estudio aún resulta difícil de contestar. De hecho, la medición del rendimiento científico se encuentra en constante cambio. El uso y expansión de los formatos digitales y de la difusión del conocimiento a través de Internet, está dando lugar a nuevas posibilidades y desafíos en la evaluación de la calidad y del impacto de la actividad investigadora, hasta tal punto que este siglo XXI ha recibido el nombre de «la era de la explosión de los índices bibliométricos«.

La distribución del conocimiento científico en formatos digitales y la creación de bases de datos online (como la Web of Science de Thomson Reuters, Scopus de Elsevier o Google Scholar) ha suscitado nuevos intereses y ha proporcionado otras fuentes y herramientas para la medición de la actividad investigadora, como por ejemplo, la evaluación del número de veces que se accede a un determinado estudio, las descargas que se realizan, la identificación de nuevas tendencias en las diferentes disciplinas científicas, etc., así como ha ampliado la cobertura sobre la que se realizaban los análisis de impacto de las investigaciones. Este panorama ha supuesto el surgimiento de disciplinas especializadas en este ámbito, como la Cibermetría o la Webometría, con sus correspondientes indicadores y fórmulas, como el Web Impact Factor o el h5-index de Google Scholar Metrics (una nueva herramienta de reciente aparición).

Más aún, Internet no sólo ha revolucionado la manera de medir la ciencia, sino que ha cambiado también el modelo de distribución del conocimiento científico, que desde su origen se había focalizado en la publicación de artículos en revistas de edición impresa, cuya propiedad ha acabado en manos de grandes editoriales como Elsevier, Scopus o Wiley, dueñas de los derechos de autor de más del 42% de la producción científica anual. La introducción de Internet ha traído consigo importantes cambios, como una mayor facilidad de acceso a la información científica, el desarrollo de grandes bases de datos, nuevas alternativas de visualización de los resultados, así como la posibilidad de conocer los avances científicos en tiempo real e incluso a través de bases de datos de libre acceso, es decir, sin previo pago de una cuota de suscripción. De esta manera, se está rompiendo por primera vez el monopolio establecido por las grandes editoriales y se está gestando un importante movimiento alternativo de distribución del conocimiento científico, denominado Open Access (acceso libre). Este movimiento, que emergió en la década de los 90 y que en los últimos años está cobrando un considerable protagonismo, tiene por filosofía la libre circulación de las ideas y avances científicos y la democratización del acceso a dicha información, defendiendo que cualquier lector (sea investigador o no) pueda acceder al contenido de las publicaciones científicas sin restricciones, lo que implica la posibilidad de descargar, copiar, distribuir o imprimir gratuitamente un determinado artículo, respetando la propiedad intelectual del autor del trabajo. Algunas editoriales y prestigiosas publicaciones académicas son fieles a este modelo, como la Public Library of Science (PLoS), Frontiers o, en nuestro entorno, la Red de Revistas Científicas de América Latina y el Caribe, España y Portugal (Redalyc) o Psicothema, una publicación editada conjuntamente por la Facultad de Psicología de la Universidad de Oviedo y el Colegio Oficial de Asturias, entre otras. Hace tan sólo unos meses, la Biblioteca de la Universidad de Harvard (una de las más prestigiosas universidades del mundo) anunciaba su negativa a seguir haciendo frente al elevado coste que supone la suscripción a las principales editoriales académicas, cuyas cuotas se han elevado más del 142% en tan sólo seis años, y alentaba a sus miembros a publicar en revistas de libre acceso en detrimento de las publicaciones que exigen el pago de una tarifa de suscripción. El surgimiento de estos modelos de libre acceso es un claro ejemplo de cómo estos cambios pueden ofrecer aún nuevas posibilidades en la evaluación de la productividad y el impacto de los trabajos.

Como resultado, los investigadores tienen a su disposición una amplia variedad de algoritmos de medición de la actividad científica, aunque muchos de ellos son desconocidos por la mayor parte de la comunidad científica y algunos de ellos interpretados y aplicados de manera incorrecta, a pesar de que influyen de manera directa en el quehacer del mundo universitario e investigador, determinando las decisiones sobre en qué revista publicar, qué investigador posee un mejor currículo o qué universidad se sitúa en la vanguardia de la ciencia. En nuestro país, las agencias de evaluación españolas de la actividad científica, tales como ANECA o ANEP, incluyen la publicación en revistas científicas con factor de impacto como un requisito de valoración de la actividad investigadora. Sirva de ejemplo que, según la Resolución de 18 de noviembre de 2009, de la Presidencia de la Comisión Nacional Evaluadora de la Actividad Investigadora (ANECA), por la que se establecen los criterios específicos en cada uno de los campos de evaluación; punto 3, se establece expresamente que: «se valorarán preferentemente las aportaciones que sean artículos en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el Subject Category Listing del Journal Citation Reports del Science Citation Index (Institute for Scientific Information -ISI- Philadelphia, PA, USA).»

La necesidad y la presión de la comunidad científica por publicar en revistas de impacto, por situarse a la cabeza de las listas de productividad y por ganar visibilidad en sus publicaciones, exige el dominio y conocimiento de estas herramientas, así como de los indicadores y tendencias que se van estableciendo gracias al uso de las nuevas tecnologías. Con el objetivo de familiarizarnos con este tema, Infocop dedica estos días al análisis de los principales indicadores de medición del rendimiento científico aplicados al ámbito de la psicología, de la mano de diferentes investigadores de nuestro país. En primer lugar, Gualberto Buela-Casal, director del Laboratorio de Psicofisiología Clínica de la Universidad de Granada, presidente de la AEPC y director del Foro Internacional de Evaluación de la Calidad de la Investigación y de la Educación Superior (FECIES), ofrece una revisión de los indicadores de rendimiento científico más utilizados. En segundo lugar, Darío Páez, catedrático de psicología de la Universidad del País Vasco (UPV), junto con Jesús Salgado, catedrático de Psicología Social de la Universidad de Santiago de Compostela, y Marta Rodríguez, técnico en Evaluación del Servicio de Calidad y Evaluación Institucional del Vicerrectorado de Calidad e Innovación docente de la UPV, analizan, en un interesante artículo, el panorama actual de la producción científica en Psicología y su situación respecto a otras disciplinas. Para finalizar, José Muñiz, director de la revista Psicothema y catedrático de Psicometría de la Universidad de Oviedo, aborda, en una entrevista concedida a este medio, la producción científica en psicología, así como las implicaciones y posibilidades de los nuevos indicadores de impacto que están surgiendo gracias al desarrollo de Internet, como el Google Scholar Metrics.