LA VALIDEZ Y LAS CONSECUENCIAS DEL USO DE LOS TESTS

José Muñiz – Universidad de Oviedo

¿La validez de las mediciones aportadas por tests y cuestionarios es una cuestión exclusivamente técnica? ¿Se debe incorporar el análisis de las consecuencias del uso del test a la validación de las mediciones? ¿Puede la valoración de las consecuencias cambiar la decisión de un utilizar un test? Sin duda, estas preguntas pueden resultar extrañas para quienes han sido formados en una visión «tradicional» de la teoría de la validez. La expresión «… este test está validado» o la búsqueda de pruebas para confirmar una de las categorías aún habituales en muchos manuales universitarios: «validez de criterio», «contenido» o «constructo»; reflejan esa visión tradicional. Situado en su contexto histórico, este discurso ha sido positivo para probar la preocupación de los psicólogos por avalar el uso de sus instrumentos de evaluación. Aval imprescindible, dada la importancia e impacto que para la vida de las personas, los grupos y, en general, toda la sociedad, tienen las decisiones basadas en las mediciones de tests y cuestionarios: quienes resultan seleccionados para un puesto de trabajo, quienes pueden cursar unos estudios universitarios o acceder a la formación sanitaria especializada, quienes tienen los conocimientos teóricos mínimos para poder conducir un vehiculo, etc.

Sin embargo, si hay una disciplina «sensible» a la evolución de los valores sociales y políticos, esa es la Psicología. Atributo de modernidad social no puede ser hoy día sólo el uso de instrumentos de evaluación con garantías de calidad, sino la atención al impacto de la evaluación en personas y colectivos con diferentes antecedentes lingüísticos, educativos, culturales, necesidades especiales, etc. La atención a la «diversidad» plantea un nuevo reto a los procesos de validación: ¿Altera está pluralidad de antecedentes y características el significado de nuestras mediciones? Ofrecer un esquema conceptual y los procedimientos científicos adecuados para responder a este interrogante, supone un nuevo reto para los estudiosos de la validez de las mediciones psicológicas.

La preocupación por las consecuencias ha estado presente desde el inicio del uso de los tests estandarizados. Sin embargo, el análisis de las consecuencias ha pasado a un primer plano, como parte del cambio radical que la Teoría de la Validez ha experimentado desde de finales de los años 90 del siglo pasado.

La inclusión del análisis de las consecuencias es examinada en un primer número monográfico de la revista Educational and Psychological Measurement: Issues and Practice (vol. 16, nº 4, 1997). Un segundo número monográfico de la revista Educational and Psychological Measurement: Issues and Practice (vol. 17, nº 2, 1998), aborda desde las perspectivas de los autores de tests, editores, académicos, usuarios y responsables políticos, los retos prácticos que conlleva la aceptación del análisis de las consecuencias sociales como parte del proceso de validación. Dos trabajos en castellano pueden servir de puerta de entrada a estos contenidos. Muñiz (2003), tras resumir los contenidos actuales de la Teoría de la Validez, enmarca la cuestión de la evaluación de las consecuencias. Padilla, Gómez, Hidalgo y Muñiz (2006) apuntan las similitudes entre el estudio de las consecuencias y el problema del sesgo en los tests, al tiempo que proponen una vía para incorporar el análisis de las consecuencias en los procesos de validación.

Los críticos de la incorporación del análisis de las consecuencias a los procesos de validación aportan un argumento sencillo y contundente: una mala utilización del test no tiene porqué cuestionar la validez de las inferencias realizadas a partir de las mediciones. Llevan razón. El problema es que los defensores de la incorporación no están pensando en los malos usos, sino en los que Samuel Messick, uno de los autores que revolucionó la teoría de la validez, denominó «impacto adverso». Es decir, los «efectos colaterales» de los usos legítimos de los tests y cuestionarios ligados a fuentes de invalidez asociadas a grupos identificables de evaluados.

Pensemos, por ejemplo, en la comparación entre las medidas promedios en «autoeficacia» entre personas con hipoacusia y personas sin déficits auditivos. De aparecer diferencias, ¿podrían interpretarse en relación a la autoeficacia, sin investigar las fuentes de error introducidas por las limitaciones lectoras que los déficits auditivos generan en la personas con hipoacusias?, ¿qué decir de las posibles consecuencias en un proceso de selección, donde se utilizarán las mediciones de la autoeficacia?

De forma general, es posible proponer una respuesta general a la pregunta ¿cuándo incorporar el análisis de las consecuencias del uso de los tests durante el proceso de validación? Siempre que la validez de la interpretación deseada de las mediciones pueda resultar amenazada por evidencias de «baja representación del constructo» o por la presencia de fuentes de variación «irrelevantes al constructo». El test adolece de baja representación, cuando los ítems no representan de forma adecuada todos los componentes importantes del constructo; mientras que pueden aparecer fuentes de varianza irrelevantes, cuando factores extraños al constructo objeto de la medición afectan a las puntuaciones.

Por una parte, se pretende articular un esquema general que oriente en la búsqueda de evidencia, a partir de la identificación de la interpretación deseada de las mediciones. Este esquema debe incorporar la búsqueda de evidencias, para descartar interpretaciones rivales relacionadas con la validez diferencial de las mediciones para grupos identificables de personas por sus antecedentes lingüísticos, étnicos, educativos, culturales, etc. A su vez, por otra parte, se están realizando trabajos para examinar las «fortalezas» y «debilidades» de aproximaciones metodológicas tradicionalmente utilizadas por las ciencias sociales. Procedimientos como los «grupos de discusión» o las «entrevistas cognitivas», pueden generar hipótesis y aportar evidencias relevantes en el proceso de validación, al arrojar luz sobre el rol asumido por las personas al responder a los tests y cuestionarios, sus atribuciones sobre el objetivo del proceso de medición, los procesos cognitivos puestos en marcha al responder a los ítems, etc.

Los psicólogos deben afrontar el desafío que la validación de las consecuencias del uso de los tests plantea en dos campos de creciente importancia: la adaptación de tests y cuestionarios entre poblaciones definidas por diferentes antecedentes lingüísticos y culturales, junto con la adaptación de los instrumentos de evaluación a personas con características especiales. Argumentos científicos y de justicia social justifican la necesidad de prestar atención a estos campos.

La versión completa de este artículo puede encontrarse en la revista Psicothema: Padilla, J. L.; Gómez, J.; Hidalgo, M. D. y Muñiz, J. (2006). La evaluación de las consecuencias del uso de los tests en la teoría de la validez. Psicothema, 18 (2), 307-312.