José Luis Padilla – Universidad de Granada

Juana Gómez – Universidad de Barcelona

Mª Dolores Hidalgo – Universidad de Murcia

José Muñiz – Universidad de Oviedo

Los procesos de validación no pueden ignorar las consecuencias y juicios de valor inherentes a todo proceso de medición. La presencia de fuentes de variación irrelevantes para el objetivo de la medición puede amenazar la validez de las mediciones para personas con diferentes antecedentes lingüísticos, culturales o con necesidades especiales. Los psicólogos deben conocer los cambios recientes en la teoría de la validez y los procedimientos disponibles para valorar el "impacto adverso" de sus evaluaciones. Argumentos científicos y de justicia social avalan esta recomendación.

 

¿La validez de las mediciones aportadas por tests y cuestionarios es una cuestión exclusivamente técnica? ¿Se debe incorporar el análisis de las consecuencias del uso del test a la validación de las mediciones? ¿Puede la valoración de las consecuencias cambiar la decisión de un utilizar un test? Sin duda, estas preguntas pueden resultar extrañas para quienes han sido formados en una visión "tradicional" de la teoría de la validez. La expresión "… este test está validado" o la búsqueda de pruebas para confirmar una de las categorías aún habituales en muchos manuales universitarios: "validez de criterio", "contenido" o "constructo"; reflejan esa visión tradicional. Situado en su contexto histórico, este discurso ha sido positivo para probar la preocupación de los psicólogos por avalar el uso de sus instrumentos de evaluación. Aval imprescindible, dada la importancia e impacto que para la vida de las personas, los grupos y, en general, toda la sociedad, tienen las decisiones basadas en las mediciones de tests y cuestionarios: quienes resultan seleccionados para un puesto de trabajo, quienes pueden cursar unos estudios universitarios o acceder a la formación sanitaria especializada, quienes tienen los conocimientos teóricos mínimos para poder conducir un vehiculo, etc.

Sin embargo, si hay una disciplina "sensible" a la evolución de los valores sociales y políticos, esa es la Psicología. Atributo de modernidad social no puede ser hoy día sólo el uso de instrumentos de evaluación con garantías de calidad, sino la atención al impacto de la evaluación en personas y colectivos con diferentes antecedentes lingüísticos, educativos, culturales, necesidades especiales, etc. La atención a la "diversidad" plantea un nuevo reto a los procesos de validación: ¿Altera está pluralidad de antecedentes y características el significado de nuestras mediciones? Ofrecer un esquema conceptual y los procedimientos científicos adecuados para responder a este interrogante, supone un nuevo reto para los estudiosos de la validez de las mediciones psicológicas.

La preocupación por las consecuencias ha estado presente desde el inicio del uso de los tests estandarizados. Sin embargo, el análisis de las consecuencias ha pasado a un primer plano, como parte del cambio radical que la Teoría de la Validez ha experimentado desde de finales de los años 90 del siglo pasado.

La validez se ha situado como la consideración más importante a la hora de elaborar y valorar un test.

El objeto de los estudios de validación no es ya el test, sino la interpretación de las mediciones que justifica el uso del mismo. Además, la edición más reciente de los Standard (AERA, APA, NCME, 1999) ha incorporado la evaluación de las consecuencias del uso de los tests como una fuente más de evidencias en el proceso de validación. Esta incorporación es posterior a un intenso debate del que pueden revisarse los argumentos principales en dos monografías imprescindibles.

 

La inclusión del análisis de las consecuencias es examinada en un primer número monográfico de la revista Educational and Psychological Measurement: Issues and Practice (vol. 16, nº 4, 1997). Un segundo número monográfico de la revista Educational and Psychological Measurement: Issues and Practice (vol. 17, nº 2, 1998), aborda desde las perspectivas de los autores de tests, editores, académicos, usuarios y responsables políticos, los retos prácticos que conlleva la aceptación del análisis de las consecuencias sociales como parte del proceso de validación. Dos trabajos en castellano pueden servir de puerta de entrada a estos contenidos. Muñiz (2003), tras resumir los contenidos actuales de la Teoría de la Validez, enmarca la cuestión de la evaluación de las consecuencias. Padilla, Gómez, Hidalgo y Muñiz (2006) apuntan las similitudes entre el estudio de las consecuencias y el problema del sesgo en los tests, al tiempo que proponen una vía para incorporar el análisis de las consecuencias en los procesos de validación.

Los críticos de la incorporación del análisis de las consecuencias a los procesos de validación aportan un argumento sencillo y contundente: una mala utilización del test no tiene porqué cuestionar la validez de las inferencias realizadas a partir de las mediciones. Llevan razón. El problema es que los defensores de la incorporación no están pensando en los malos usos, sino en los que Samuel Messick, uno de los autores que revolucionó la teoría de la validez, denominó "impacto adverso". Es decir, los "efectos colaterales" de los usos legítimos de los tests y cuestionarios ligados a fuentes de invalidez asociadas a grupos identificables de evaluados.

Pensemos, por ejemplo, en la comparación entre las medidas promedios en "autoeficacia" entre personas con hipoacusia y personas sin déficits auditivos. De aparecer diferencias, ¿podrían interpretarse en relación a la autoeficacia, sin investigar las fuentes de error introducidas por las limitaciones lectoras que los déficits auditivos generan en la personas con hipoacusias?, ¿qué decir de las posibles consecuencias en un proceso de selección, donde se utilizarán las mediciones de la autoeficacia?

De forma general, es posible proponer una respuesta general a la pregunta ¿cuándo incorporar el análisis de las consecuencias del uso de los tests durante el proceso de validación? Siempre que la validez de la interpretación deseada de las mediciones pueda resultar amenazada por evidencias de "baja representación del constructo" o por la presencia de fuentes de variación "irrelevantes al constructo". El test adolece de baja representación, cuando los ítems no representan de forma adecuada todos los componentes importantes del constructo; mientras que pueden aparecer fuentes de varianza irrelevantes, cuando factores extraños al constructo objeto de la medición afectan a las puntuaciones.

La incorporación de las consecuencias del uso de los tests a los procesos de validación plantea un reto evidente a los profesionales interesados en la medición psicológica y educativa: ofrecer un esquema general de validación y los procedimientos más útiles para obtener evidencias sobre el impacto de las consecuencias en el significado de las mediciones.

Los autores de este trabajo están desarrollando una línea de investigación para afrontar el desafío.

 

Por una parte, se pretende articular un esquema general que oriente en la búsqueda de evidencia, a partir de la identificación de la interpretación deseada de las mediciones. Este esquema debe incorporar la búsqueda de evidencias, para descartar interpretaciones rivales relacionadas con la validez diferencial de las mediciones para grupos identificables de personas por sus antecedentes lingüísticos, étnicos, educativos, culturales, etc. A su vez, por otra parte, se están realizando trabajos para examinar las "fortalezas" y "debilidades" de aproximaciones metodológicas tradicionalmente utilizadas por las ciencias sociales. Procedimientos como los "grupos de discusión" o las "entrevistas cognitivas", pueden generar hipótesis y aportar evidencias relevantes en el proceso de validación, al arrojar luz sobre el rol asumido por las personas al responder a los tests y cuestionarios, sus atribuciones sobre el objetivo del proceso de medición, los procesos cognitivos puestos en marcha al responder a los ítems, etc.

Los psicólogos deben afrontar el desafío que la validación de las consecuencias del uso de los tests plantea en dos campos de creciente importancia: la adaptación de tests y cuestionarios entre poblaciones definidas por diferentes antecedentes lingüísticos y culturales, junto con la adaptación de los instrumentos de evaluación a personas con características especiales. Argumentos científicos y de justicia social justifican la necesidad de prestar atención a estos campos.

La versión completa de este artículo puede encontrarse en la revista Psicothema: Padilla, J. L.; Gómez, J.; Hidalgo, M. D. y Muñiz, J. (2006). La evaluación de las consecuencias del uso de los tests en la teoría de la validez. Psicothema, 18 (2), 307-312.

Referencias:

American Psychological Association, American Educational Research Association National Council on Measurement in Education (1999). Standards for educational and psychological testing. Washinton, DC: American Psychological Association.

Muñiz, J. (2003). La validación de los tests. Metodología de las Ciencias del Comportamiento, 5, 119-139.

Padilla, J. L.; Gómez, J.; Hidalgo, M. D. y Muñiz, J. (2006). La evaluación de las consecuencias del uso de los tests en la teoría de la validez. Psicothema, 18, 2, 307-312.

 

Sobre los autores:

José Luis Padilla es Profesor Titular de Psicometría de la Facultad de Psicología de la Universidad de Granada. Sus temas principales de investigación se han centrado en la validez y en la adaptación de tests y cuestionarios.

Juana Gómez es Catedrática de Psicometría por la Facultad de Psicología de la Universidad de Barcelona. Algunos de sus temas de investigación se han centrado la validez y el sesgo en los ítems.

Mª Dolores Hidalgo es Profesora Titular de Psicometría de Facultad de Psicología, Universidad de Murcia. Sus temas de investigación, principalmente, son sobre validez y funcionamiento diferencial de los ítems.

José Muñiz es Catedrático de Psicometría por la Facultad de Psicología de la Universidad de Oviedo. Presidente de la International Test Commission. Vicepresidente de la European Association of Methodology. Sus temas de investigación versan sobre validez y teoría de respuesta a los Ítems, entre otros.

Artículos Relacionados
EVALUACIÓN DE LA ANSIEDAD ANTE LOS EXÁMENES
EL CUESTIONARIO MULTIDIMENSIONAL DECORE: UN INSTRUMENTO PARA LA EVALUACIÓN DE FACTORES PSICOSOCIALES EN EL ENTORNO LABORAL