Rafael Ruiz Pérez

Emilio Delgado López-Cózar

Evaristo Jiménez Contreras

EC3: Evaluación de la Ciencia y de la Comunicación Científica

Universidad de Granada

Como es bien sabido, el ISI (Institute for Scientific Information), hoy Thomson Scientific, comercializa una serie de bases de datos (Science Citation Index, Social Science Citation Index y Arts and Humanities Citation Index, Science actualmente reunidas en el Web of Science) que se han convertido en los últimos años en el referente mundial a la hora de identificar la llamada ciencia internacional y, por extensión, la investigación de más calidad e impacto que se produce en el mundo.  Al mismo tiempo, debido a su carácter selectivo y a las prestaciones bibliométricas que estas bases de datos ofrecen, gobiernos e instituciones han convertido al ISI en la fuente habitual que los provee de datos para sus actividades evaluadoras.

 

Por estas razones, reflexionar y conocer los procedimientos empleados por el ISI para decidir qué revistas pueden incorporarse a su base de datos (un proceso al que cada año se someten aproximadamente unas 2000 revistas), resulta un asunto de indudable trascendencia y evidentes consecuencias prácticas.

Estar presente en las bases de datos del ISI se ha convertido en una verdadera prioridad para investigadores, instituciones o revistas. El ISI es un club muy selectivo, debido a las exigencias que impone y que deben cumplir las revistas que ingresan en él, exigencias que finalmente repercuten beneficiosamente en las revistas que lo consiguen, tanto en lo que concierne al aumento de su visibilidad y prestigio, como en lo que se refiere a la mejora de sus prácticas internas. En este contexto, el interés del trabajo que comentamos reside en que es una auténtica guía práctica para autoevaluar las revistas de Psicología o cualquier otra materia científica que eventualmente estén interesadas en ingresar en la citada base de datos.

A título informativo baste reseñar que, según el Journal Citation Reports de 2004, el ISI indizaba 439 revistas de Psicología, que publicaron en dicho año 19.944 artículos y citaron 635.687 referencias bibliográficas. Estas revistas se encuentran clasificadas en 10 categorías temáticas (Tabla 1).

Tabla 1. Revistas indizadas en las bases de datos del ISI en 2004 según categorías temáticas (JCR 2004).

Categoría temática

Revistas*

Artículos

Citas bibliográficas

Factor de impacto medio

Psychology, Multidisciplinary

100

3945

112246

0.704

Psychology, Clinical

84

3820

116119

1.077

Psychology, Experimental

68

3465

121401

1.417

Psychology, Applied

50

1689

40774

0.810

Psychology, Developmental

49

2287

81768

1.086

Psychology, Social

46

1995

76131

0.963

Psychology, Educational

38

1079

34223

0.707

Psychology, Biological

16

843

33902

1.518

Psychology, Psychoanalysis

12

428

6471

0.623

Psychology, Mathematical

10

393

12652

0.715

* Número de revistas indizadas en cada categoría. Algunas revistas se clasifican en varias categorías, por lo que el total de revistas de esta columna es mayor que el número real de revistas

La mayoría de las revistas son editadas en países anglosajones; en concreto, el 65% en EE.UU y el 21% en Gran Bretaña, cifras que ponen a las claras el sesgo geográfico que poseen las bases de datos del ISI. En 2004 sólo una revista española de Psicología era indizada: Psicothema. En estos dos últimos años se han incorporado tres más: International Journal of Clinical Health Psychology (2005), Psicologica (2006) y The Spanish Journal of Psychology (2006).

Conviene advertir, al hilo de esta información, que Thomson Scientific, consciente de sus sesgos geográficos y lagunas en la cobertura de revistas de ciencias sociales, ha decidido solventar este talón de Aquiles incluyendo en torno a 400 revistas de estas áreas. La competencia de otros productos (Scopus, Google Scholar, Psychinfo, e incluso, IN-RECS salvando las distancias...) que han roto el monopolio de las bases de datos ISI en cuanto al tratamiento, búsqueda y recuperación a través las citas bibliográficas, aunque no de los indicadores bibliométricos donde ISI sigue siendo el referente, explica en última instancia todos estos movimientos y aconseja a las revistas españolas prepararse para una futura inclusión en dichas bases de datos. Para ello, nada mejor que conocer en profundidad los criterios que guían la selección de revistas en el ISI.

Son cuatro los apartados que el ISI tiene en cuenta a la hora de evaluar una revista. El primero de ellos es el cumplimiento de los estándares internacionales de publicación científica, entre los que cabe subrayar la regularidad y puntualidad, la calidad y corrección de los títulos de los artículos, en el sentido de que sea descriptivos y ajustados a los contenidos de los trabajos; la calidad de los resúmenes y palabras clave, que debe entenderse en el mismo sentido que el punto anterior; la indicación de las instituciones (todas) a las que pertenecen los autores firmantes; la corrección y exhaustividad de las referencias y la práctica acreditada y regular del sistema de evaluación por pares (externo y anónimo) de los originales que se envían a la revista.

El segundo aspecto que se valora es la cobertura temática de la revista. Se trata, en este caso, de demostrar que la revista ocupa un espacio científico diferenciado que sea de interés para la base de datos, bien porque sea un campo emergente e innovador o bien porque la revista represente a una comunidad sólida, cuyas aportaciones sean científicamente relevantes. Aspecto éste que representa una "ventana de oportunidad" para las revistas españolas, tradicionalmente maltratadas en esta base de datos; sesgo que, según los autores, el ISI está tratando de corregir.

El tercer aspecto tiene que ver con la representatividad internacional de la revista. En este punto, se trata de demostrar hechos como los siguientes: que la revista está patrocinada por una organización científica (sociedad, universidad, etc.) solvente, que su equipo editorial (especialmente el científico) lo integren investigadores de prestigio, lo que es extensible a los científicos que publican en ella e incluso a la audiencia a la que se dirige, en el sentido de que sea una audiencia internacional y no meramente local, lo que es observable a través de su presencia en bibliotecas, y muy especialmente, en bases de datos.

Y, por último, pero no menos importante, el estudio de las citas que la revista recibe. El hecho de que una revista no esté incluida en el ISI, no significa que no se pueda estudiar su impacto medido en citas. Se puede hacer de forma directa, contabilizando las citas que los artículos que publica la misma reciben en el Web of Science (las estrategias recomendables para realizar estas búsquedas son desgranadas en el trabajo que comentamos) o de forma indirecta, haciendo un seguimiento del impacto científico de los autores que constituyen el comité editorial de la revista o de los autores que publican en ella. En ambos casos, se puede hacer un seguimiento del impacto que alcanzan las publicaciones internacionales (léase las publicadas en revistas ISI) de las que son responsables. También en este apartado se ofrece una serie de recomendaciones sobre las estrategias de búsquedas de citas adaptadas a las peculiaridades de los apellidos españoles que, como es sabido, generan una problemática especial cuando se deben adaptar a las estructuras nominales anglosajonas, que son las que rigen en el ISI.

Como parte de este análisis de la citación, se menciona específicamente el estudio de las tasas de autocitación, que cuando rebasan un determinado umbral, son tenidas en cuenta (en sentido negativo) por los responsables de la selección.

La otra parte de la citación, tradicionalmente imposible de establecer, es la que se refiere a la citación nacional. Pues bien, como señalan los autores, también se puede determinar ya el impacto nacional, gracias a la iniciativa de In-RECS, que informa de los impactos que alcanzan las revistas españolas de Ciencias Sociales con una metodología comparable a la del ISI.

 

En definitiva, creemos que este trabajo contribuirá, de un lado, a un mejor conocimiento de los criterios ISI de selección de revistas científicas por parte de los investigadores españoles, y de otro, a ofrecer una guía que ayude a los responsables editoriales de las revistas científicas españolas a preparar a sus publicaciones para un posible ingreso en las bases de datos ISI.

El informe original sobre el que se basa este artículo puede encontrarse en la revista International Journal of Clinical and Health Psychology: Ruiz-Pérez, R., Delgado López-Cózar, E. y Jiménez-Contreras, E. (2006) Criterios del Institute for Scientific Information para la selección de revistas científicas. Su aplicación a las revistas españolas: metodología e indicadores. International Journal of Clinical and Health Psychology, 6 (2), 401-424.

Sobre los autores:

Rafael Ruiz Pérez, Emilio Delgado López-Cózar y Evaristo Jiménez-Contreras, doctores en Documentación, son profesores respectivamente de Análisis Documental, Metodología de la Investigación y Bibliometría en la Facultad de Biblioteconomía y Documentación de la Universidad de Granada.

Son responsables del grupo de investigación "EC3: Evaluación de la Ciencia y de la Comunicación Científica", dedicado al estudio de la actividad científica, sus canales de transmisión y al desarrollo de metodologías para su seguimiento y evaluación. Entre sus principales proyectos de EC3 se encuentran la creación de IN-RECS (Índice de Impacto de las Revistas Españolas de Ciencias Socialesy el diseño de un sistema de información y evaluación científica para el análisis de la actividad científica de instituciones de investigación (centros, departamentos, institutos). Denominado CIENTÍFICA, en la actualidad se está implementado en el Centro de Investigación Médica Aplicada de la Universidad de Navarra. Para ver esta noticia pinchar aquí.

Asimismo, desde este grupo de investigación se elaboran tanto el informe del estado de la ciencia y tecnología de la región de Murcia, como la evaluación del programa de fomento de la investigación del FIS (Fondo de Investigación Sanitaria), órgano encargado de financiar la investigación española en ciencias de la salud.

 

Artículos Relacionados
EL ANÁLISIS DE LA PRODUCTIVIDAD CIENTÍFICA PUEDE INFLUIR EN LA FINANCIACIÓN DE LAS UNIVERSIDADES Y DE LA INVESTIGACIÓN
MODELO DE REVISIÓN DE TESTS PSICOLÓGICOS DE LA EFPA