viernes, 14 de diciembre de 2018

Tamaño del efecto en Kruskal-Wallis y pruebas post-hoc

El tamaño del efecto, aconsejado como básico en los análisis de datos modernos, no solo complementa el grado de significación (valor p) indicando si existe o no un efecto y su intensidad, también nos ayuda a reducir la posibilidad de los falsos positivos (error tipo I o tipo II), y además facilita la comparación de las investigaciones.

Una alternativa no paramétrica clásica al ANOVA, es la conocida como prueba de Kruskal-Wallis, la cual evalúa si las medianas de la población en una variable dependiente son semejantes en todos los niveles de un factor. Si rechazamos la Ho (semejanza de medianas) es posible realizar pruebas post-hoc mediante el procedimiento incrustado dentro del SPSS, pudiendo calcular a continuación los tamaños de los efectos a partir de las pruebas test de Dunn o la U de Mann-Whitney para los pares significativos.

Por otra parte el tamaño del efecto global puede ser derivado a partir de la expresión general:
....donde:
* E= estadístico epsilón (ε2) que fluctúa entre 0 a 1.
* H= estadístico de Kruskal-Wallis (aprox. a chi-2)
* n = número total de casos en el estudio

Este algoritmo, es muy sencillo de implementar en hojas de cálculo como EXCEL, como podemos ver en el siguiente ejemplo:
Conviene recordar, que es un estadístico conservador y muy útil en caso de muestras pequeñas.


Así por ejemplo, en la siguiente salida correspondiente a las puntuaciones en un test, diferenciando a los sujetos por las ciudades de procedencia:
....obtendríamos un tamaño del efecto de 0,010 aplicando la fórmula anterior, y que podríamos indicar en el artículo de la forma siguiente: "Observando diferencias estadísticas significativas de acuerdo al criterio nuevo de p<0,005 ( Benjamin et al., 2017) en las ciudades (H(2) = 13,768, p= 0.001, ε2= 0,01)".

Posteriormente, si pidiésemos al SPSS la prueba post-hoc (test de Dunn, estadístico resultante en forma de Z) para cada par de grupos. con ajuste del grado de significación (p) por Bonferroni, obtendríamos la tabla siguiente:
....donde claramente si asumimos el nuevo criterio (p<0,005) solo tendríamos diferencias significativas entre dos ciudades (Sogamoso-Duitama). Mostrando una discrepancia clara frente al criterio clásico en la solución alcanzada. Los tamaños del efecto se pueden obtener directamente a partir de la fórmula clásica de la Z:
COMPUTE r=Z/SQRT(n) 

Una alternativa clásica al procedimiento anterior, es el uso de la U de Mann-Whitney para cada par de niveles por ser menos conservador que el test Dunn-Bonferroni. No obstante conviene recordar que en este caso se deberá también corregir por Bonferroni los resultados de la U multiplicando el valor de p por el número de pares contrastados. Por supuesto, a partir de la U de Mann-Whitney es posible obtener directamente el tamaño del efecto del contraste.

Por último, indicar que existen una alternativa (Tomczak & Tomcak, 2014) al tamaño del efecto que hemos visto anteriormente, que se suele formular por:
        H-k+1
 η2h= -------
         n - k
donde....
H – valor de Kruskal-Wallis en el SPSS
η2 – eta-cuadrado asume valores 0 to 1 (multiplicado por 100 expresa porcentaje de varianza).
k – número de grupos VI
n – Total de casos

Los resultados son mas conservadores comparado con ε2.

Referencias.
*Benjamin, D. J., Berger, J., Johannesson, M., Nosek, B. A., Wagenmakers, E.-J., Berk, R., … Johnson, V. (2017, July 22). Redefine statistical significance. Retrieved from psyarxiv.com/mky9j
*Tomczak, M & Tomcak, E. (2014). The need to report effect size estimates revisited. An overview of some recommended measures of effect size. Trends Sport Scicences1(21), 19-25.