Opcionalmente, es posible asignar diferentes pesos a los diferentes estudios para calcular el estadístico final. Esta ponderación se relaciona con la inversa del error estándar (indirectamente con el tamaño de la muestra) informado en los distintos estudios contemplados. Es decir, los trabajos con un error estándar más pequeño y un tamaño de muestra más grande tienen más peso en el cálculo del tamaño del efecto agrupado.
Se suele distinguir entre dos tipos de modelos: efectos fijos y aleatorios. El primero supone que los distintos estudios comparten un efecto verdadero común, y el efecto resumen alcanzado es una estimación del tamaño del efecto común. Por el contrario, en el modelo de efectos aleatorios, se supone que los efectos reales en los estudios varían entre los estudios y el efecto resumen es el promedio ponderado de los efectos informados en los diferentes estudios.
Si bien en el modelo de efectos aleatorios tiende a dar una estimación más conservadora (un intervalo de confianza más amplio), los resultados de los dos modelos generalmente coinciden cuando no hay heterogeneidad. Cuando existe la heterogeneidad, el modelo de efectos aleatorios debe ser el modelo preferido.
En los efectos clásicos contemplados en este tipo de estudios podemos observar las medias aritméticas, la correlación entre variables, odds ratio, riesgos relativos, proporciones o las áreas en curvas ROC, entre otros.
Entre los distintos procedimientos existentes, nos centraremos en esta entrada en ilustrar un ejemplo con las correlaciones de Pearson, usando como herramienta el software JAMOVI (The jamovi project, 2020).
Inicialmente introducimos 10 casos simulados en la base de datos, con los valores correspondientes a la etiqueta del estudio, el de la correlación de Pearson y su tamaño muestral, tal como aparece a continuación:
En los resultados que aparecen por defecto, en la ventana de resultados, veremos en primer lugar:
En la siguiente tabla, de los estadísticos destinados a determinar la heterogeneidad:
...nos interesa el que aparece identificado por la Q de Cohran, que es una suma ponderada de cuadrados en una escala estandarizada, y va acompañada de un valor p (grado de significación) . Esta Q sigue una distribución de probabilidad 𝜒2 con K-1 grados de libertad.
Con valores p bajos se asume que indican la presencia de heterogeneidad. En nuestro ejemplo tenemos un resultado de Q(9)=23,6263, p=0,0049.
Sin embargo, como se sabe que esta prueba tiene un bajo poder para detectar la heterogeneidad se sugiere utilizar un valor alto de corte para la significación, como es el de 0,10 (Higgins et al., 2003). Esto no suele ocurrir cuando el número de estudios contemplados es muy grande.
En la tabla anterior podemos ver también τ², que se interpreta como la heterogeneidad residual, es decir, la variabilidad entre los verdaderos efectos que no ha quedado explicada previamente por las covariantes usadas. En nuestro ejemplo τ²=0,0137, con un SE= 0,0104.
Por otra parte, señalar que el estadístico H2 es el cociente resultado de operar:
(Variabilidad total/ variabilidad muestreo): 2,6912
El estadístico Q solo nos indica que estamos o no enfrente de una situación con heterogeneidad de los estudios, pero no señala la magnitud de la misma. Para resolver este problema necesitamos un estadístico complementario que veremos a continuación.
El segundo estadístico es I2 , que es el porcentaje de variación total observada entre los estudios que se debe a la heterogeneidad real más que al azar. Se calcula como:
I2 = (Q - gl) / Q * 100 ,
donde Q es la estadística de heterogeneidad de Cochran y gl los grados de libertad resuelto por K-1.
La valoración de heterogeneidad que se puede hacer a partir de este estadístico suele ser muy baja (<25%), baja (25%-49%), moderada (50%-74%) y alta (>=75%) (Higgins, Thompson, Deeks & Altman, 2003).
En nuestro ejemplo el valor de I2 es 62,84% (por errores de redondeo no se ajustan con los resultados ofrecidos que están redondeados). De acuerdo al criterio anterior nos encontraríamos en un caso de heterogeneidad moderada.
Si en la ecuación anterior (I2) los valores son negativos se asignan a cero para que I2 se encuentre entre una solución porcentual (0% y 100%). Un valor de 0% indica homogeneidad, y valores mayores referencian heterogeneidad creciente (Higgins et al., 2003).
Al final, para nuestro caso podríamos decir, que se realizó un metaanálisis (K=10), donde las correlaciones se transforman en Z de Fisher para su análisis posterior. Obteniendo un promedio de la correlación para los estudios r= 0.5636 [0.4715- 0.6557], p = < .0001). Se realizó posteriormente un análisis de la variabilidad de las correlaciones entre los distintos estudios con una evidencia de heteregoenidad significativa (Q = 23.2663, p = .0049, I2 = 62.84%) que podemos interpretar como un caso moderado (Higgins et al., 2003).
Junto a los estadísticos anteriores se suelen usar dos gráficos: Forest Plot y Funnel plot. El primero (combinación de tabla y elementos gráficos) muestra los resultados de los diferentes estudios, con un CI del 95%, y el efecto general (bajo el modelo de efectos fijos y aleatorios).
En este ejemplo, los marcadores que representan el tamaño del efecto no tienen el mismo tamaño para cada estudio ya que sus valores son distintos. Opcionalmente, el tamaño del marcador puede variar aun más en tamaño según los pesos asignados a los diferentes estudios.
Por otra parte, el gráfico nos ayudará a visualizar una posible heterogeneidad entre estudios, que se expresará mediante los diferentes intervalos de confianza que quedarán poco o nada solapados.
Los efectos combinados se pueden representar con forma de diamante. La ubicación central del diamante representa el tamaño estimado del efecto y el ancho refleja el grado de la precisión de la estimación.
El gráfico Funnel plot. (Egger et al., 1997) es una herramienta útil para detectar sesgos en el metaanálisis, donde el efecto del tratamiento se traza en el eje horizontal y el error estándar en el eje vertical. Las líneas diagonales representan pseudo-límites de confianza del 95% (efecto ± 1.96*SE) alrededor del efecto de resumen para cada error estándar en el eje vertical. Estos muestran la distribución esperada de los estudios en ausencia de heterogeneidad o sesgo de selección.
En nuestro caso el gráfico es:
En ausencia de heterogeneidad, el 95% de los estudios deben estar dentro del embudo definido por estas líneas diagonales. En nuestro ejemplo hay un estudio que claramente está fuera de los límites.
El sesgo de publicación dentro de un campo de investigación dará como resultado una asimetría del gráfico en embudo. Si este sesgo de publicación está presente, los estudios más pequeños mostrarán los efectos más grandes. Este gráfico puede no ser siempre una herramienta fiable, en particular cuando el número de estudios incluidos en el análisis es pequeño (Sterne et al., 2011).
No obstante, conviene siempre tener en cuenta, que no se pueden comparar estudios procedentes claramente de poblaciones diferentes. Y por otra parte los criterios de inclusión/exclusión deben estar siempre claramente explicitados, ya que de otro modo no sería posible la replicación de los trabajos.
Referencias.
*Egger,M.; Smith,G.D.; Schneider, M. & Minder,C. (1997) Bias in meta-analysis detected by a simple, graphical test. BMJ ,315, 629–634.
*Glass,G.V.; McGaw,B. & Smith,M.L. (1981). Meta-analysis in social research. Sage.
*Higgins J.P.T., Thompson S.G., Deeks J.J., & Altman D.G. (2003). Measuring inconsistency in meta-analyses. BMJ, 327(7414), 557–560.
*Mingebach,T.; Kamp-Becker,I.: Christiansen,H. & Weber,L. (2018). Meta-metaanalysis on the effectiveness of parent-based interventions for the treatment of child externalizing behavior problems. PLoS ONE, 13(9): e0202855. https://doi.org/10.1371/journal.pone.0202855
*Marín,F.; Sánchez,J. y López,J.A. (2009). El metaanálisis en el ámbito de las Ciencias de la Salud: una metodología imprescindible para la eficiente acumulación del conocimiento. Fisioterapia, 31(3), 107–114.
*Petrie, A., Bulman,J.S. & Osborn,J.F. (2003) Further statistics in dentistry. Part 8: systematic reviews and meta-analyses. British Dental Journal, 194, 73-78.
*Sterne,J.A.C.; Sutton,A.J.; Ioannidis,J.P.A.; Terrin,N.; Jones,D.R.; Lau,J.; Carpenter,J.; Rücker,G.; Harbord,R.M.; Schmid,C.H.; Tetzlaff,J.; Deeks,J.J.; Peters,J.; Macaskill,P.; Schwarzer,G.; Duval,S.; Altman,D.G.; Moher,D. & Higgins,J.P.T. (2011) Recommendations for examining and interpreting funnel plot asymmetry in meta-analyses of randomised controlled trials. BMJ, Jul 22;343:d4002. doi: 10.1136/bmj.d4002.
*The jamovi project (2020). jamovi (Version 1.2) [Computer Software]. Retrieved from https://www.jamovi.org
