EL META-ANALISIS: UNA METODOLOGÍA DE NUESTRO TIEMPO

Juan Botella

Hilda Gambara

Facultad de Psicología, Universidad Autónoma de Madrid

Se conoce con el pomposo nombre de «Meta-Análisis» a una metodología de investigación ideada para revisar, ordenar y sintetizar los resultados de una pregunta de investigación. Surge de la necesidad de hacer revisiones más rigurosas y sistemáticas de la literatura científica; revisiones capaces de establecer conclusiones más precisas. Las revisiones tradicionales (o «narrativas») estaban sujetas a numerosos sesgos y fuentes de subjetividad, e incluso de arbitrariedad. Hacía falta una metodología que permitiese alcanzar conclusiones más claras ante cuerpos de evidencia con innumerables inconsistencias. Una metodología con la que desbloquear el desarrollo científico de la Psicología, superando los obstáculos que impedían que se comportase como una ciencia acumulativa. Pero en su nacimiento y desarrollo influyeron otros factores.

Sin embargo, esa producción no sólo era grande, sino que también estaba muy desorganizada. Ya se ha superado la vieja idea del científico solitario que, a base de una gran tenacidad y sacrificio personal, acaba haciendo una contribución única a su campo científico. Hace ya tiempo que se habla directamente de equipos de investigación o de laboratorios. Pero incluso ésta dimensión se ha quedado ya pequeña. La psicología necesita un trabajo de integración que evite un constante «redescubrir el mediterráneo», algo agotador e inútil que acaba creando una imagen de la ciencia psicológica como un monstruo que se mueve sin control y que se acaba comiendo a sus propios hijos.

La perspectiva tradicional es que la ciencia es acumulativa, pero parecía que los científicos de la Psicología compartían la creencia de que esa acumulación se hace sola. Durante décadas las revisiones han sido consideradas como un trabajo de segunda fila, una especie de «parásito» que vive del trabajo de los demás y que en muchas ocasiones ni merece la pena ser mencionado en el curriculum (Chalmers, Hedges y Cooper, 2002). Sólo recientemente los científicos han tomado conciencia de que también es responsabilidad suya implicarse activamente en la tarea de construir esa acumulación y de hacerlo de forma eficiente y con el mismo empeño en el rigor y la sistematicidad que se pone en la investigación primaria (Chalmers, Hedges y Cooper, 2002).

Hoy ya se ha empezado a exigir a las revisiones el mismo rigor que a las investigaciones primarias (Botella y Gambara, 2006). Podemos anticipar un futuro en el que, simplificando mucho, convivan dos tipos de científicos: los que siguen haciendo el imprescindible trabajo de las investigaciones primarias, y los que se encargan de realizar el trabajo de integración que permite dar un sentido global y colectivo a los esfuerzos de la investigación en psicología (Mann, 1994).

Además, las revisiones sistemáticas no sólo nos dicen cómo estamos haciendo la investigación en un campo particular y qué aspectos han sido cubiertos y cómo, sino también cuales son las lagunas, las zonas oscuras que todavía no han sido exploradas, así como las formas que más se han empleado y aquellas de las que aún no hay ejemplares construidos. Nos traza el «mapa del campo».

Pero hay algo más. En 1994 Hedges calculó (Mann, 1994) que hasta ese momento, las investigaciones y estudios, relacionados de alguna forma con la depresión, alcanzaba la nada despreciable cifra de ¡100.000 estudios! De lo que tenemos que hablar no es de si nuestra política científica es la más apropiada, sino más bien de si nos la podemos permitir.

Ya no se trata sólo de definir una ciencia epistemológicamente creíble y metodológicamente correcta, sino de asumir el concepto de ciencia sostenible. En torno a conceptos como éste, es donde con mayor naturalidad florece la cultura del reciclado, basada en la pregunta de si se pueden reutilizar los desechos, antes de consumir recursos completamente nuevos.

Antes de afrontar una nueva investigación primaria sobre depresión, cabe plantearse esa pregunta. Desde luego, es posible que aún no se haya realizado ese estudio clave que dé con el quid de la cuestión. Pero parece razonable también plantearse si en las miríadas de estudios ya realizados y publicados, no podría estar escondida la respuesta a alguna de nuestras preguntas. Quizás esa información podría ser reciclada de alguna forma. Quizás podría ser reorganizada y reordenada para ver si surgen nuevos patrones insospechados. En cualquier caso, es comprensible tener poca confianza en que el estudio 100.001 venga a dar con alguna clave que a los anteriores les haya pasado desapercibida.

Independientemente de lo que se pueda hacer con lo ya publicado, lo cierto es que los investigadores actuales ya han empezado a pensar en aquellos que en el futuro harán integraciones meta-analíticas de su trabajo.

En 1999, la comisión creada al efecto por la American Psychological Association (APA) recomendaba que en las revistas que patrocina se hicieran algunas modificaciones en las secciones de resultados de los informes de investigación. Específicamente se recomendaba incluir la estimación del tamaño del efecto o, al menos, la información necesaria para que un futuro meta-analista pueda incluir sus resultados en una revisión cuantitativa (Wilkinson et al, 1999). Esta acción preventiva garantiza que en el futuro esa investigación pueda ser integrada en un Meta-Análisis.

Aunque el Meta-Análisis nació en un contexto en el que parecía que su uso principal sería la generación y organización de conocimiento científico, y especialmente sus posibilidades para ayudar a dirimir debates teóricos, al final donde ha ido ganando terreno inexorablemente ha sido, sobre todo, en ámbitos aplicados. Si nació en el contexto de la valoración de resultados de investigaciones científicas, pronto dio el salto a la Evaluación de Programas.

El desarrollo del Meta-Análisis se ha producido en paralelo a la llamada «práctica basada en la evidencia» (en nuestro caso, la «Psicología basada en la evidencia»). Las dificultades que han tenido los investigadores de la Psicología para sintetizar sus estudios han repercutido muy negativamente, al limitar sus aportaciones a los políticos y gestores y, como consecuencia, limitando la presencia de la Psicología científica en la vida cotidiana.

Con frecuencia, el problema de los políticos y gestores no ha sido que contasen con pocos datos de la Psicología. Su problema ha sido, más bien, el de qué hacer con resultados múltiples y contradictorios; el de cómo interpretar evidencias confusas.

Hoy en día, el número de estudios evaluativos de programas de intervención psicosocial ha visto también un enorme crecimiento. Este hecho obliga al empleo de procedimientos que de forma objetiva, consensuada y casi mecánica, permitan integrar y sintetizar sus resultados. De nuevo, el instrumento por excelencia está siendo el Meta-Análisis.

La política basada en la evidencia parece el mejor caldo de cultivo para un definitivo encuentro entre los profesionales de la Psicología y los políticos y gestores. Se basa en dos principios: (1) que las mejores evidencias científicas sobre la eficacia de los programas, servicios y acciones, son las que proceden de las revisiones sistemáticas de los estudios de resultados, y (2) que se hace preciso articular canales de comunicación que permitan llevar tales evidencias de una forma rápida y efectiva a los políticos, los gestores, los profesionales que atienden a los pacientes y receptores de los programas, así como al público en general (Sánchez-Meca, Boruch, Petrosino y Rosa, 2002).

Este segundo principio es el que se supone implícito en una auténtica ciencia acumulativa en Psicología. De nuevo, nos encontramos con la necesidad de integrar resultados de diversos estudios, aunque en este caso no son investigaciones diseñadas para generar conocimiento teórico, sino para valorar los resultados de intervenciones prácticas. El Meta-Análisis vuelve a surgir como respuesta, siendo ampliamente empleado en la síntesis de resultados obtenidos con programas de intervención relativamente homogéneos.

En este contexto de mayor comunicación entre los científicos y los gestores, han surgido entidades que actúan como plataformas para canalizar y promover acciones de coordinación e integración. Son las llamadas «Colaboraciones» y su principal herramienta es también el Meta-Análisis.

Surgen como una respuesta a las necesidades de implantar la práctica y la política basadas en la evidencia. La primera en aparecer fue la Colaboración Cochrane. Su principal objetivo es aportar un foro de cooperación en la creación de las bases de información para el desarrollo de la medicina basada en la evidencia. La Colaboración Campbell nace a su imagen y semejanza en el año 2000 en la Universidad de Pennsylvania.

La Colaboración Campbell actúa en el ámbito de las ciencias sociales, educativas, criminológicas y del comportamiento (Petrosino, Boruch, Soydan, Duggan y Sánchez-Meca, 2001). No entra en acción realizando nuevas investigaciones, sino integrando las ya existentes, mediante procesos de revisión sistemática. Sus funciones son desarrollar, diseminar y actualizar revisiones sistemáticas sobre los efectos de las políticas y actuaciones en el ámbito psicosocial. Para ello desarrolla protocolos rigurosos y sistemáticos a los que deben ceñirse esas revisiones. Igualmente, se preocupa de hacer explícito cualquier conflicto de intereses involucrado en los resultados.

Hoy ya podemos decir que el Meta-Análisis ha llegado para quedarse, y que su metodología debería incluirse en los planes de estudio de Psicología. Nos puede parecer que sus procedimientos y técnicas tienen defectos que debieran ser corregidos. Habrá, incluso, que desechar algunos de ellos y desarrollar otros mejores.

De hecho, el Meta-Análisis ha evolucionado mucho desde los años 70, pero ya no hay duda de que el trabajo que hace ha de ser realizado, y si no lo hace el Meta-Análisis lo hará otra metodología. Lo que está claro es que no podemos permitirnos el lujo de no hacer el esfuerzo activo de integrar, sintetizar y dar sentido a la miríada de estudios que mensualmente se publican en las revistas de Psicología. Naturalmente, habrá que exigir también rigor al propio Meta-Análisis y a sus informes (Botella y Gambara, 2006).

La principal conclusión de estas reflexiones se sintetiza en el título de este artículo: el Meta-Análisis es una metodología propia de nuestro tiempo, porque es un reflejo de la sociedad actual. El tamaño de la ciencia, la confianza que la sociedad deposita en esa ciencia, la exigencia de rigor en la investigación y la imparable tendencia a la globalización, posibilitada por el vertiginoso desarrollo de las comunicaciones, son factores que se combinan para confluir en la potenciación de metodologías como el Meta-Análisis. Pero también son factores coadyuvantes la exigencia de una comunicación más fluida entre la ciencia y la sociedad y la necesidad de practicar, también en la Psicología, una ciencia sostenible.

Hilda Gambara D´Errico es Profesora Titular de Metodología de las Ciencias del Comportamiento de la Facultad de Psicología de la Universidad Autónoma de Madrid. También es autora de un libro y varios artículos sobre Meta-Análisis. Su trabajo de investigación se ha centrado principalmente en el estudio de la Toma de Decisiones.