Gualberto Buela-Casal

Director del Foro Internacional de Evaluación de la Calidad de la Investigación y de la Educación Superior (FECIES)

La Evaluación Psicológica es una disciplina que tiene múltiples aplicaciones, no sólo en el ámbito clínico, educativo, forense, evolutivo, etc., sino también en el rendimiento de las personas en su trabajo. Así, por ejemplo, evaluar el rendimiento académico en estudiantes de Primaria y los factores relacionados, no es distinto de evaluar el rendimiento en el trabajo, sea éste en una empresa o en una universidad. La evaluación del rendimiento en el trabajo no sólo es buena para la institución, sino también para los propios empleados, ya que permite conocer su nivel de rendimiento respecto a los demás. Sin embargo, para que esto pueda aplicarse y ser justo, es necesaria la utilización de medidas basadas en indicadores válidos y fiables. Para ello, se creó una normativa internacional que ha tenido como resultado la norma ISO-10667 sobre los Procedimientos y métodos para evaluar a las personas en contextos laborales, donde se describen las competencias, obligaciones y responsabilidades de los clientes y de los proveedores, antes, durante y después del proceso evaluativo. Esta norma proporciona una guía para todos los implicados en un proceso de evaluación y tiene como motivación principal garantizar la calidad de la evaluación de personas (Muñiz, 2011).

En el ámbito profesional y en la investigación se puede evaluar a las personas y a las instituciones a través de los resultados obtenidos. Para ello hay que utilizar indicadores y criterios que no sólo sean validos, sino que, además, sean reconocidos en el ámbito nacional e internacional. En la actualidad, existen múltiples indicadores con múltiples variantes, sin embargo, aquí se analizarán los más importantes. Estos indicadores se utilizan para evaluar a personas, revistas e instituciones. Para una revisión sistemática de todos estos indicadores véase Buela-Casal (2010).

1. Indicadores de revistas

  • Factor de impacto de la revista: es el resultado del número total de veces en un año que se referencian los artículos de una determinada revista, publicados en los dos años anteriores, dividido por el número total de artículos publicados en esa revista durante esos dos años. Lo habitual es que sólo se refiera a las revistas incluidas en la Web of Science (Garfield, 2003). El factor de impacto es, sin duda, el indicador más utilizado para evaluar las revistas, aunque hay que tener presente que se refiere a una base de datos que es la más selectiva, pues en total tiene 11.200 revistas, lo cual implica menos del 10% de las publicaciones científicas que existen en el mundo. De psicología se incluyen unas 600 revistas, que se clasifican en diez categorías y que publican mayoritariamente en inglés.
  • Índice de inmediatez: se basa en el número de veces que se referencian los artículos publicados el mismo año para el que se calcula el índice. Es un buen indicador de la rapidez con la que se citan los artículos de un campo científico. A diferencia del factor de impacto, que tiene en cuenta las citas en un año de lo publicado en los dos años previos, el índice de inmediatez se obtiene dividiendo por el número de veces que son referenciados los artículos de un año por el número de los artículos publicados en el mismo año.
  • Índice Scimago Journal Rank (SJR): es una medida de la influencia científica de las revistas académicas que tiene en cuenta el número de veces que se referencia una revista y la importancia o el prestigio de las revistas donde se referencia. De forma muy simplificada el SJR de una revista es el número medio ponderado de las referencias recibidas en el año seleccionado por los documentos publicados en la revista en los tres años anteriores. Este es un indicador de la base de datos SCOPUS, la cual es equiparable a la Web of Science. Scopus tiene actualmente 16.500 revistas especializadas indexadas, de las cuales unas 5.500 se ubican en ciencias sociales (donde se incluye a la Psicología).
  • Índice de impacto de la revista: es lo mismo que el factor de impacto, la única diferencia es que se consideran sólo las revistas españolas. En el caso de la psicología hay más de cien, además, aunque se utiliza la misma fórmula que en el factor de impacto, en el índice de impacto se calculan las referencias en un periodo de tres años en lugar de dos. Es muy útil para evaluar y clasificar muchas revistas que no están incluidas en la Web of Science y resulta de gran interés para poder catalogar las revistas nacionales. Véase IN-RECS.
  • Índice de internacionalidad de la revista: es un algoritmo en el que se consideran doce parámetros de una revista (idioma de publicación, nacionalidad del equipo editorial, de los editores y de los autores, que esté incluida en el ISI, el valor del factor de impacto, inclusión en bases de datos, que en las bases de datos estén incluidas revistas de distintos países, nombre de la revista, entidad responsable, uso de normas internacionales y acceso por Internet). Estos parámetros son valorados en función de unos pesos ponderados y se transforma en una puntuación final que oscila entre 0 y 100, siendo ese valor el Índice de internacionalidad (Buela-Casal y Zych, 2012). En Buela-Casal, Zych, Sierra y Bermúdez (2007) puede verse el índice de internacionalidad de las revistas españolas de psicología.
  • Índice de descargas de los artículos: este indicador, sin duda, es de especial importancia a nivel profesional. Consiste en el registro total de descargas que ha tenido un artículo o una revista científica a través de una base de datos de Internet. Actualmente se puede contabilizar de manera automática el número de veces que un artículo es descargado, sólo el abstract o el texto completo. Es, en cierto modo, un índice de difusión o de lectura de los artículos. Se puede obtener bien a través de la página Web de la revista o por medio de la base de datos REDALYC.

2. Indicadores del investigador

  • Número de artículos publicados: éste es un indicador que incorpora el número de artículos publicados en revistas incluidas en la Web of Science, en Scopus, INRECS u otras. Se trata del indicador más utilizado en España para evaluar a los investigadores, siendo el más importante, pues es el principal indicador del rendimiento del investigador. En el estudio de Olivas-Ávila y Musi-Lechuga (2010) puede verse la producción en artículos de la WoS de los investigadores de psicología en España.
  • Número de citas acumuladas: consiste en el sumatorio de las referencias recibidas de los artículos publicados por un investigador. Se trata de un buen indicador del impacto o efecto que tiene un investigador en la comunidad científica, pues sus trabajos son citados por otros investigadores. En cierto modo se considera un indicador de calidad de los trabajos, pues, aunque no siempre, se ha demostrado que, en términos generales, existe una relación entre las citas y la calidad medida por expertos (Buela-Casal y Zych, 2010).

  • Factor de impacto acumulado: es el sumatorio del factor de impacto de la totalidad de las revistas en las que publicó un investigador. Es un indicador indirecto del impacto que un investigador tiene, dado que se evalúa a través del factor de impacto de las revistas en las que publicó.
  • Número de trabajos con un número significativo de citas: se trata de contabilizar sólo aquellos trabajos que tengan un número mínimo de citas, determinado por cada campo de conocimiento. La idea es que sólo se contabilicen aquellos artículos que al menos tengan un número determinado de citas y, por tanto, resulta idóneo para identificar trabajos relevantes de un investigador.
  • Índice h: este indicador se calcula en función a la distribución de las veces que se referencian los artículos de un investigador. Así, se establece que se consigue un índice h si el h de sus artículos recibe al menos h referencias cada uno. Por ejemplo, un científico que tiene un índice h de 30 implica que tiene al menos 30 artículos que fueron referenciados al menos 30 veces cada uno, pero no tiene 31 artículos que fuesen referenciados al menos 31 veces cada uno. Por tanto, el índice h es el balance entre el número de artículos y las citas a éstos (Hirsch, 2005; 2012). Este es, sin duda, un buen indicador para comparar científicos de élite, véase por ejemplo, el índice h de los presidentes de la APA:

Tabla 1. Presidentes de la APA con el mayor índice h.