4.2. Concepto y amenazas de la validez de la conclusión estadística

La validez de conclusión estadística es la validez inferencial y consiste en el grado de confianza que podemos tener, dado un nivel determinado de significación estadística, en la correcta inferencia de la hipótesis. Se refiere, principalmente, a dos inferencias estadísticas que pueden afectar a la covariación o relación empírica entre la VI (causa) y la VD (efecto):

1. Covarían la VI y la VD?

   1. Error tipo I: Se concluye que existe una relación entre las variables cuando, en realidad, no se da.

   2. Error tipo II: Se concluye que no existe relación entre las variables cuando, en realidad, sí se da.

2. En el caso de que covaríen, cuál es la magnitud de dicha covariación?

   1. Infraestimación del valor de la covariación.

   2. Sobreestimación del valor de la covariación.

Existen varios tipos de amenazas contra la validez inferencial que vemos a continuación.

Violación de los supuestos del modelo estadístico

Esta amenaza está relacionada con el hecho de que, a veces, aplicamos una prueba estadística sin tener en cuenta los supuestos que deben cumplir los datos para que dicha prueba se pueda aplicar. Tendemos a aplicar técnicas paramétricas sin que se cumplan los supuestos de independencia de las observaciones, normalidad de las puntuaciones y homogeneidad de las varianzas.

La violación de estos supuestos puede sobreestimar o infraestimar el tamaño y la significación del efecto del tratamiento. Para controlarla hay que elegir adecuadamente una prueba estadística o no paramétrica, dependiendo de si los datos cumplen o no los supuestos del modelo paramétrico.

Baja potencia estadística

La potencia de una prueba es la probabilidad de rechazar la hipótesis nula cuando la hipótesis alternativa es cierta.

Si no elegimos bien el nivel de significación estadística y/o el tamaño de la muestra, podemos concluir erróneamente que la relación entre las variables no es significativa (error Tipo II) aceptamos la hipótesis nula cuando la hipótesis alternativa es cierta.

Se controla eligiendo adecuadamente el nivel de significación estadística y el tamaño de la muestra necesario para no cometer error Tipo II.

Otras amenazas contra la validez inferencial

Tasa de error tipo I: Con algunas pruebas estadísticas, la probabilidad de cometer error Tipo I se incrementa a medida que aumenta el número de pruebas ejecutadas. Ej: Cuando se aplican comparaciones múltiples entre medidas de tratamientos.

Imprecisión de las medidas: Cuando se utilizan medidas de poca fiabilidad y validez puede aumentar la varianza error, provocando conclusiones erróneas sobre la covariación.

Escasa fiabilidad en la aplicación de los tratamientos: Si los tratamientos no se aplican de forma homogénea a quienes participan o al mismo participante de una aplicación a otra, puede aumentar la varianza error, provocando conclusiones erróneas sobre la covariación.

Restricción del rango de las variables: Cuando las variables presentan restricciones en su variación tanto en su rango inferior (efecto suelo), como en su rango superior (efecto techo), la potencia disminuye y la inferencia se debilita.

Presencia de varianza error en el contexto de la investigación: Si alguna característica del contexto aumenta la varianza error de forma artificial, se puede llegar a conclusiones erróneas respecto a la covariación.

Muestra muy heterogénea: Cuanto más heterogénea sea la muestra, mayor será la desviación típica y menor la probabilidad de detectar la posible covariación entre la VI y la VD.

Estimación imprecisa de la magnitud del efecto: Algunos estadísticos infraestiman o sobreestiman la magnitud de un efecto.