El uso exclusivo de indicadores cuantitativos como el Journal Impact Factor (JIF) o la posición en cuartiles del Journal Citation Reports (JCR) ofrece una visión parcial y, en ocasiones, distorsionada del impacto y la calidad real de las revistas científicas en Psicología. Estos indicadores no permiten valorar adecuadamente la contribución individual de los artículos, ignoran la distribución real de las citaciones y no siempre reflejan la relevancia científica, social o normativa de los trabajos publicados. En este contexto, cobra especial relevancia la incorporación de métricas a nivel de artículo y de criterios cualitativos que permitan contextualizar el impacto de las publicaciones científicas más allá del mero recuento de citas.
Estas son algunas de las principales conclusiones de un artículo publicado en la revista Papeles del Psicólogo, y desarrollado por Pedro Altungy (Psicofundación y Universidad Europea de Madrid), a través del cual se ofrece un análisis crítico de los modelos tradicionales de evaluación del impacto de las revistas científicas en Psicología y de las alternativas emergentes que combinan indicadores cuantitativos y cualitativos para valorar, de forma más precisa y justa, el alcance, la calidad y la relevancia de las publicaciones científicas, tanto a nivel de revista como de artículo individual.
El JCR como referente histórico del impacto científico.
Desde su aparición en 1976, el Journal Citation Reports se ha consolidado como el principal estándar internacional para evaluar el impacto de las revistas científicas. Su desarrollo supuso una transformación profunda en el análisis bibliométrico, al introducir un sistema aparentemente objetivo y matemático basado en el recuento de citaciones. Con el paso del tiempo, este modelo se ha complementado con otros índices similares, como el Scimago Journal Rank (SJR), sin que ello haya alterado sustancialmente la lógica subyacente del sistema.
En la actualidad, el JCR evalúa más de 22.000 revistas científicas, clasificadas en diferentes categorías y áreas de conocimiento, y proporciona dos indicadores fundamentales: el Journal Impact Factor (JIF) y el Journal Citation Indicator (JCI). De ambos, el JIF se ha convertido en el elemento central sobre el que se articulan decisiones académicas y administrativas de gran calado, como la concesión de financiación, la promoción profesional o la evaluación de la actividad investigadora.
La clasificación en cuartiles (Q1, Q2, Q3 y Q4), derivada del JIF, se ha convertido así en un referente casi exclusivo para valorar la supuesta “calidad” de una revista y, por extensión, de los artículos que publica. Sin embargo, como subraya el autor, esta práctica implica evaluar la calidad de un trabajo científico a partir de un indicador que no se refiere al artículo en sí, sino al conjunto de publicaciones de la revista, lo que introduce importantes sesgos.
Las limitaciones de los indicadores basados en citaciones.
Uno de los principales problemas del JIF es que no tiene en cuenta la distribución real de las citaciones dentro de una revista. Tal y como expone el estudio, dos revistas con el mismo número total de citas y el mismo número de artículos pueden presentar perfiles de impacto radicalmente distintos: en algunos casos, la mayoría de las citaciones se concentran en uno o dos artículos, mientras que otros no reciben ninguna. Pese a ello, ambas revistas obtendrían el mismo JIF y ocuparían la misma posición en el cuartil correspondiente.
Esta situación genera evaluaciones potencialmente injustas, tanto para autores como para revistas, ya que permite que un artículo sin impacto real se beneficie del prestigio global de la publicación, mientras que trabajos con una contribución relevante pueden quedar infravalorados por aparecer en revistas con menor posicionamiento bibliométrico.
El artículo también señala que un mayor número de citaciones no equivale necesariamente a una mayor calidad científica. Existen trabajos ampliamente citados debido a críticas metodológicas, a la imposición de marcos teóricos exigidos por determinadas revistas o, incluso, a pesar de haber sido retractados posteriormente. Este fenómeno, conocido como el de los “artículos zombi”, pone de manifiesto las limitaciones de identificar impacto con calidad exclusivamente a través del recuento de citas.
Nuevos indicadores cuantitativos a nivel de artículo.
Frente a estas limitaciones, en los últimos años se han desarrollado indicadores centrados en el impacto individual de los artículos. Entre ellos destaca el Field-Weighted Citation Impact (FWCI), incorporado por Scopus a través de la herramienta SciVal. Este indicador permite comparar el número de citaciones de un artículo con la media esperada en función de su área, tipo de publicación y año, ofreciendo una medida normalizada del impacto real del trabajo.
Asimismo, plataformas como PlumX o Altmetric proporcionan métricas a nivel de artículo que incluyen no solo citaciones, sino también datos sobre lecturas, descargas, menciones en medios digitales, redes sociales o documentos normativos. Estas herramientas permiten obtener una visión más amplia y detallada del impacto de cada publicación, más allá del ámbito estrictamente académico.
No obstante, el autor subraya que, aunque estos indicadores suponen un avance significativo, siguen siendo insuficientes si se utilizan de forma aislada, ya que continúan privilegiando lo cuantitativo frente a otros aspectos relevantes del impacto científico.
La incorporación de criterios cualitativos en la evaluación científica.
El estudio destaca el cambio progresivo que se está produciendo en España en la evaluación de la actividad investigadora, impulsado por organismos como la Fundación Española para la Ciencia y la Tecnología (FECyT) y la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Desde 2023 y 2024, ambas instituciones han comenzado a incorporar criterios cualitativos y evaluaciones narrativas en sus convocatorias y procedimientos de acreditación.
Este enfoque permite contextualizar los datos cuantitativos y valorar aspectos como la transferencia del conocimiento, la influencia social o la relevancia normativa de las publicaciones científicas. En este marco, se reconocen métricas relacionadas con el uso y la lectura de los trabajos, su impacto en legislación o su visibilidad en redes sociales, elementos que hasta ahora habían quedado fuera de los sistemas tradicionales de evaluación.
El caso del Grupo Editorial Psicofundación.
Como ejemplo ilustrativo, el artículo analiza el impacto de cuatro revistas de Psicología pertenecientes al Grupo Editorial Psicofundación (GEP): Psicothema, Revista Iberoamericana de Psicología y Salud, Papeles del Psicólogo y Revista de Psicología y Educación. A partir de datos correspondientes a 2024, el autor muestra cómo una evaluación basada únicamente en el cuartil del JCR ofrece una imagen incompleta del impacto real de estas publicaciones.
El análisis revela que, al considerar métricas alternativas, como citaciones en otras bases de datos, lecturas en Mendeley, menciones en legislación o presencia en redes sociales, revistas con posiciones más modestas en los rankings tradicionales presentan un impacto relevante y sostenido, tanto en el ámbito científico como en el social y normativo.
Este enfoque pone de relieve la importancia de valorar el impacto histórico de las publicaciones, así como su contribución a la transferencia del conocimiento y a la construcción de marcos normativos, aspectos esenciales para comprender su verdadera relevancia.
Hacia una evaluación más justa y contextualizada.
El artículo concluye que la evaluación del impacto y la calidad de las publicaciones científicas no puede reducirse a un único indicador cuantitativo. Los datos numéricos deben entenderse como un punto de partida para construir una evaluación cualitativa y contextualizada que tenga en cuenta la complejidad de la actividad científica.
En este sentido, el futuro de la evaluación científica pasa por combinar indicadores globales de las revistas con métricas individualizadas de los artículos y por incorporar narrativas que expliquen el significado y la relevancia de los datos disponibles. Solo así será posible avanzar hacia un sistema de evaluación más justo, riguroso y acorde con la diversidad de impactos que genera la investigación en Psicología.
Fuente.
Altungy, P. (2026). ¿Cantidad o calidad? Análisis del impacto de las revistas científicas españolas en psicología. Más allá del JCR. Papeles del Psicólogo/Psychologist Papers, 47(1), 1-9. https://doi.org/10.70478/pap.psicol.2026.47.01