Los principales criterios psicométricos de calidad o bondad asumidos como normas en la construcción, interpretación y utilización de instrumentos psicológicos de medición son la fiabilidad y la validez.
Fiabilidad
La APA describió la fiabilidad como la exactitud de la medición de un test, es decir, la precisión con la que mide la prueba. La definición de los Standards for Educational and Psyuchologicla Testintg resalta que la fiabilidad se refiere al grado en que los resultados del examen son atribuibles a fuentes sistemáticas de varianza. Una década más tarde se designa la fiabilidad como el grado en que las puntuaciones del test son consistentes, dependientes, o repetibles, es decir, el grado en que están libres de errores de medida. El cálculo de la fiabilidad nos informa de la cuantía de error de un instrumento de medida, por lo que, a menor error, mayor fiabilidad, y más exacto o preciso será el test.
Desde la teoría clásica de los tests, Aiken explica que se supone que la puntuación observada que obtiene una persona en una prueba se compone de una clasificación real más algún error no sistemático de medida.
La calificación real se define como el promedio de las calificaciones que se obtendrían si una persona realizara la prueba una cantidad infinita de veces. Enfatiza que la calificación real nunca puede medirse con exactitud, sino que debe calcularse a partir de la calificación observada que obtuvo la persona en la prueba. También se supone que la varianza de las calificaciones observadas para un grupo de sujetos es igual a la varianza de sus calificaciones reales más la varianza de errores no sistemáticos de medición. Así, la fiabilidad de la prueba se define como la relación de la varianza real con la varianza observada o la proporción de la varianza observada que se explica por la varianza real.
El coeficiente de fiabilidad es un índice de confianza, por lo que no es un valor de todo o nada, sino que existen distintos tipos y grado de fiabilidad. Se supone que una puntuación en una prueba de capacidad refleja tanto la puntuación verdadera de quien responde la prueba en la capacidad que se está midiendo como el error. La falta de fiabilidad es el resultado de los errores en la medida que se producen por estados internos temporales, como baja motivación o indisposición, o condiciones externas, como un entorno incómodo o con distractores para una prueba.
Gregory resalta que muy pocas medidas de las características físicas o psicológicas son totalmente consistentes, incluso de un momento al siguiente. Según este autor es mejor considerar el concepto de fiabilidad como un continuo que abarca desde la consistencia mínima de una medición a la casi perfecta repetibilidad de los resultados.
Así, debemos exigir una alta fiabilidad en los instrumentos de evaluación que seleccionemos. Así, los niveles de fiabilidad alta (superiores a 90) son necesarios cuando se han de tomar decisiones que afecten a individuos. Los test de fiabilidad moderada (75-85) pueden ser utilizados como pruebas preliminares o de cribado. Las pruebas de fiabilidad baja (inferior a 65) han de ser rechazadas, ya que incluyen un exceso de error.
Fuentes de varianza de error
Las principales fuentes de varianza de error son: la construcción de pruebas, la administración de pruebas y la calificación e interpretación de las pruebas.
Construcción de pruebas
En la construcción de una prueba se puede generar una fuente de varianza en el muestreo de reactivos o muestreo de contenidos. Si se comparan dos o más pruebas que midan una misma capacidad, atributo... se verá que el número de elementos es distinto, además están redactados de forma diferente. Un desafío en la elaboración de una prueba es maximizar la proporción de varianza total que es invarianza verdadera y minimizar la proporción de la varianza total que es varianza de error. En una prueba bien diseñada, el error de medición proveniente de la muestra de reactivos será mínimo y una prueba siempre constituye una muestra y nunca la totalidad del conocimiento o conducta de una persona.
Administración de pruebas
Durante la aplicación de la prueba pueden desencadenarse fuentes de varianza de error que pueden incluir y modificar la atención y motivación del sujeto evaluado. Algunas de estas fuentes pueden estar relacionadas con el ambiente de aplicación, otras son las relativas al sujeto evaluado. El evaluador también puede contribuir a las fuentes de variación, con una incorrecta apariencia física, un comportamiento y profesionalidad inadecuados... Por lo tanto un test puede ser fiable desde el punto de vista psicométrico, pero fallar por elementos ajenos a él.
Calificación e interpretación de las pruebas
La corrección de las pruebas por ordenador o mediante lectura óptica elimina la varianza de error al no cometer fallos en la calificación, y por consiguiente, en su interpretación. Sin embargo, todavía son muchas las pruebas que el psicólogo debe corregir manualmente, pudiendo convertirse en una fuente de varianza de error cuando no se realiza correctamente. Así, las pruebas deben disponer de criterios de corrección lo más objetivos posible.
Tipos de Fiabilidad
Coeficiente test–retest o estabilidad del test
Se halla al correlacionar las puntuaciones que obtiene un grupo de sujetos en la aplicación de una prueba con las obtenidas en una segunda aplicación. Se espera que los sujetos obtengan puntuaciones semejantes en el mismo test aplicado en dos momentos distintos. Este tipo de fiabilidad tiene en cuenta los errores de medida derivados de las posibles diferencias de las condiciones en las que en dos ocasiones se ha aplicado la misma prueba. Pero, no refleja los errores relativos a distintas muestras de reactivos o elementos de la prueba. Si el intervalo de tiempo entre test-retest es pequeño, la fiabilidad será mayor que si se aumenta el tiempo entre ambos pases. Suele recomendarse unos seis meses como máximo entre el primer y el segundo estudio.
Coeficiente de formas paralelas/alternas o de equivalencia
En el cálculo del coeficiente test-retest la fiabilidad aumenta cuanto menor es el tiempo que ha transcurrido entre ambos, sin embargo, esto afecta a las respuestas en el segundo pase de la prueba, pues los sujetos recordarán el contenido de la misma. Esto no sería un problema si lo recordaran de la misma forma, pero las diferencias individuales harán que unos recuerden unos elementos más que otros, reduciendo la correlación entre ambas aplicaciones.
El coeficiente de formas paralelas o de equivalencia consiste en aplicar la segunda vez una forma paralela o alterna del test y de esta forma se evitarán dos tipos de errores: 1) los debidos a distintos reactivos y 2) los errores derivados de las dos ocasiones diferentes de aplicación. Pero no todos los autores comparten esta opinión. Gregory indica que el coeficiente de formas alternas introduce diferencias en la muestra de reactivos, debido a que algunas personas pueden tener un mejor o peor desempeño en una forma de la prueba, dado la muestra particular de reactivos, lo que no ocurre en el coeficiente test-retest porque se utilizan los mismos reactivos en ambas ocasiones.
Aiken describe el procedimiento correcto. Se trata de elaborar dos formas de la misma prueba y aplicar en el primer pase de la prueba la forma A a la mitad del grupo y la forma B a la otra mitad. Y en la segunda aplicación invertirlo. La correlación que resulte entre las calificaciones de las dos formas se conoce como coeficiente de estabilidad y equivalencia, y según Aiken, tiene en cuenta tanto los errores debidos a distintos momentos de aplicación, como los distintos reactivos de la prueba.
Coeficiente de consistencia interna
El coeficiente de consistencia interna es más sencillo y tiene en cuenta los errores de diferentes muestras de reactivos de una prueba, pero no refleja los errores de medición debidos a las diferentes condiciones o momentos de aplicación. Puede calcularse a través de distintos métodos estadísticos: método de división por mitades, método de Kunder-Richardson y coeficiente alfa de Cronbach. El coeficiente alfa es el método estadístico preferido para obtener una estimación de la fiabilidad y de la consistencia interna en una prueba.
Coeficiente interjueces o entre evaluadores
La fiabilidad entre evaluadores es el grado de acuerdo o consistencia que existe entre dos o más evaluadores. Según Aiken, para determinar la fiabilidad interjueces, dos personas califican las respuestas de un grupo de sujetos y después se calcula la correlación entre los dos grupos evaluados. Otro planteamiento es hacer que varias personas califiquen las respuestas de un sujeto a la prueba, o hacer que varias personas califiquen las respuestas de varios sujetos.
Este último planteamiento produce un coeficiente entre clases o coeficiente de concordancia que es un coeficiente de fiabilidad entre calificadores generalizado. El cálculo de fiabilidad entre intercalificadores es sencillo. Dos o más examinadores califican de manera independiente una muestra de las pruebas y entonces se correlacionan las puntuaciones por pares de examinadores. Este tipo de fiabilidad complementa otras estimadas, pero no las sustituye.
Validez
La definición de validez indica que una prueba es válida al grado en que las inferencias que se realicen a partir de ella sean apropiadas, significativas y útiles. Según Cronbach lo que se evalúa no es el instrumento, sino la interpretación de los datos que se obtienen del mismo. La validez no es una propiedad del test o de la evaluación como tal, sino más bien el significado de las puntuaciones. Según Aiken, una prueba puede caracterizarse por muchos tipos de validez, dependiendo de los propósitos específicos con los que se diseñó, la población a la que se dirige y el método para determinar dicha validez. Como hemos visto, la fiabilidad puede estar influida por errores de medida no sistemáticos. La validez de una prueba se puede ver afectada tanto por errores no sistemáticos como por errores sistemáticos que hacen referencia a que, a pesar de que una prueba se desarrolla con la finalidad de evaluar un constructo determinado, es muy difícil valorar un rasgo aislado sin la influencia de otros, por lo que el error sistemático de medición surge cuando la prueba mide de manera consistente alguna otra variable que no es el rasgo para el cual se creó. Por ello una prueba puede ser fiable sin ser válida, pero no puede ser válida sin ser fiable. Silva hace algunas matizaciones sobre la validez:
-
La validez está relacionada con las inferencias que se hagan a partir de las puntuaciones obtenidas mediante un instrumento en determinadas circunstancias.
-
No se valida el instrumento, sino las interpretaciones que se hagan a partir de sus puntuaciones.
-
La validez es algo estimado, algo que se infiere a partir de un conjunto de informaciones y no algo que se reduce a un coeficiente o coeficientes particulares.
-
No debe hablarse de tipos o clases de validez, sino de tipos o clases de evidencia. El concepto de validez es esencialmente unitario.
Aiken y Cohen y Swerdlik indican que los métodos mediante los cuales pueden evaluarse la validez son:
-
El análisis del contenido.
-
La relación de las puntuaciones obtenidas en la prueba con las puntuaciones en base a un criterio de interés u otras medidas.
-
El análisis general de las características psicológicas o constructos particulares que mide la prueba.
Estos tres enfoques no son mutuamente excluyentes para la evaluación de la validez, cada uno contribuye a un juicio de la validez de prueba y proporciona un panorama unificado de la validez de la prueba.
Validez de contenido
Representa la comprobación de que el contenido de la técnica en cuestión comprenda una muestra representativa del universo posible de conductas que se pretende evaluar con ella. Se relaciona con el enfoque referido a criterios y considera a un test como una muestra de un conjunto definido de conductas.
Una definición que clarifica el propósito de validez de contenido es la que ofrece Lennon: la validez de contenido se refiere a las respuestas del sujeto más que a las preguntas mismas del test, con el fin de enfatizar el hecho de que la estimación de la validez de contenido debe tomar en cuenta no sólo el contenido de las respuestas, sino también el proceso que presumiblemente emplea el sujeto para llegar a su respuesta.
El análisis de validez de contenido se aplica más frecuentemente en pruebas de conocimiento o rendimiento, y se compara con el contenido de la prueba con los objetivos de los conocimientos o rendimientos escolares del nivel escolar que se está midiendo. La validez de contenido mejora cuando se planifica el test cuidadosamente, y requiere una visión clara de lo que éste pretende medir y debe cubrir los siguientes aspectos: un rango apropiado de tareas, estímulos y/o situaciones, la clase de respuesta que el observador registra y las instrucciones que informan al examinado de lo que tiene que hacer. También se tiene en cuenta en las medidas de aptitud, interés y personalidad.
Validez criterial
La validez criterial, también llamada predictiva, expresa el grado en que las puntuaciones en una variable, usualmente un predictor, pueden utilizarse para inferir el rendimiento en una variable diferente y operacionalmente independiente llamada criterio. La variable que debe ser predicha es la criterio, p. ej, el rendimiento académico, y el predictor, aquella a través de la cual se predice, p. ej, un test de inteligencia, y la validez criterial expresaría la “convergencia de indicadores”. Dos tipos de evidencia se incluyen bajo la denominación “validez con base a criterios”.
Una es la validez concurrente, que es la forma de validez relacionada con un criterio que es un índice del grado en que una puntuación de una prueba se relaciona con alguna medida criterio obtenida al mismo tiempo. Ej: el diagnóstico psiquiátrico actual de los pacientes sería una medida apropiada de criterio para proporcionar evidencia de validez para una prueba psicodiagnóstica de papel y lápiz. Es frecuente que las correlaciones entre una nueva prueba y otras existentes se citen como evidencia de validez concurrente. Para realizar este tipo de validez, las pruebas antiguas deben satisfacer dos condiciones: la primera es que las pruebas criterio deben haberse validado a través de correlaciones con datos conductuales apropiados que no se hayan obtenido con pruebas. En segundo lugar, el instrumento a validar debe medir el mismo constructo que las pruebas criterio.
La otra es la validez predictiva, que es la forma de validez relacionada con un criterio que es un índice del grado en que una puntuación de una prueba predice alguna medida criterio. En este tipo de validez las medidas de criterio se obtienen en el futuro. Ej: las calificaciones universitarias pronosticadas a partir de un examen de ingreso.
Existen una serie de factores que pueden afectar a la validez criterial:
-
Diferencias de grupo: las variables moderadoras de edad, sexo y rasgos de personalidad pueden afectar la correlación entre una prueba y una medida de criterio. Los coeficientes de validez tienden a ser más reducidos en grupos más homogéneos. Una prueba que representa un indicador válido de una variable criterio particular en un grupo de sujetos debe tener validez cruzada, que comprende la aplicación de la prueba a una segunda muestra de personas para determinar si conserva su validez en distintas muestras.
-
Extensión de la prueba: al igual que la fiabilidad, la validez varía en función de la extensión de una prueba y la heterogeneidad del grupo de personas que la presenta. Las puntuaciones obtenidas en pruebas extensas y que se apliquen a un grupo de sujetos que varíen en gran medida en las características a medir tendrán varianzas mayores.
-
Contaminación de criterios: a veces el criterio se distorsiona debido al método particular para determinar las calificaciones de criterio. El método de comparar grupos, provocará evidencias falsas para la validez de la prueba. Esta contaminación puede controlarse a través del análisis a ciegas, es decir, sin comunicar a quien realiza el diagnóstico ninguna información sobre los sujetos parte de las calificaciones de la prueba. Pero no todos los psicólogos están de acuerdo.
-
Índice de base: se refiere a la proporción de personas en la población que muestran la característica o comportamiento de interés.
-
Incremento de la validez: éste se refiere a que aumenta la precisión de las predicciones y los diagnósticos cuando el instrumento se incluye en una batería de técnicas de evaluación, frente a las ocasiones en que se utiliza separadamente.
Validez de constructo
La validez del constructo establece el grado en el cual un instrumento mide o guarda relación con un determinado rasgo o constructo hipotético. Algunos autores afirman que toda medición debería referirse a constructos, debido a que integra las consideraciones criteriales y de contenido. Muchos autores consideran la validez de constructo como unificador de los tipos de evidencia de validez. Silva propone 10 características más importantes de la validez de constructo, algunas de las cuales agrupamos para poder diferenciar los conceptos de constructo y validez de constructo.
Constructo:
-
es sinónimo de concepto científico
-
no debe ser considerado como algo estático
-
tanto los constructos como la validación de constructo, están indisolublemente ligados a la evidencia empírica, pero un constructo no se reduce a sus referentes empíricos, conserva siempre un excedente de significación.
-
Posee un estatus fundamentalmente epistemológico, es un medio de conocimiento.
-
No se propone sólo con fines especulativos, sino con el fin de potenciar la predicción.
-
Su valor se juzga por su utilidad.
Validez de constructo
-
es sinónimo de validez conceptual o grado de adecuación de las inferencias conceptuales teóricas que se hacen a partir de los datos de evaluación.
-
Se refiere tanto al concepto como al método implicado.
-
Engloba en si los conceptos de validez criterial y de validez de contenido.
-
No existe límite en cuanto a las estrategias, procedimientos, instrumentos y tipos de datos potencialmente útiles.
-
No se expresa sólo en función de uno o algunos coeficientes, sino que se estima en función de toda la información acumulada en torno a las hipótesis planteadas.
-
Consiste esencialmente en la aplicación del proceso de formulación y contrastación de hipótesis científicas al campo de la evaluación psicológica.
La validez de constructo es un tipo de validez más general, no se determina de una sola forma o por medio de una investigación, sino que comprende un conjunto de investigaciones y procedimientos diseñados para determinar si un instrumento de evaluación que mide cierta variable cumple su cometido.
Relación entre fiabilidad y validez: un continuo de generalizabilidad
Los criterios psicométricos tradicionales de fiabilidad y validez no son aceptados por todos los autores conductuales, algunos piensan que son algo limitados. Con el fin de ofrecer una alternativa surge la Teoría de la Generalizabilidad, que supone una reconceptualización más amplia de los conceptos de fiabilidad y validez, en la que aparece el concepto de “puntuación universo” que expresa el grado de inferencia que el examinador realiza desde una muestra de datos observados a un conjunto de datos de interés procedentes de diferentes ámbitos. Así, los datos de un test tendrán interés por cuanto son muestras representativas del universo de datos que podrían ser obtenidos.
Pero ¿hasta qué punto una observación puede generalizarse a otras observaciones?
Silva señala que la Teoría de la Generalizabilidad permite lanzar un puente conceptual entre finalidad y validez e indica que ambos se hallan sobre un continuo de generalizabilidad: la fiabilidad supone la relación de un test consigo mismo, por lo que se refiere a la generalizabilidad consigo mismo, mientras que la validez se relaciona con otra prueba, criterio o constructo, y por tanto la generalización va más allá del test.
Aplicaciones de la Teoría de Respuesta al Ítem (TRI)
La TRI ha reemplazado a la Teoría Clásica de medida como marco para el desarrollo de tests, construcción de escalas... Tanto en la teoría clásica de los tests como en la teoría de la generalizabilidad, las puntuaciones de un test son más dependientes de la muestra que de la propia función analizada. La TRI trata de subsanar dos problemas.
El primero hace referencia al error en la medida y asume que las puntuaciones de los sujetos en un test estarán afectadas por un error aleatorio, atribuible a diversas causas: dependientes del sujeto, del ambiente, del instrumento y del propio proceso de evaluación. El segundo se refiere a la invarianza de las mediciones y las propiedades de los instrumentos. Los principales objetivos de la TRI son:
-
Búsqueda de medidas que sean independientes de las puntuaciones estándar derivadas del grupo.
-
La elaboración de nuevas pruebas que analicen la invarianza de la conducta en sí misma, de modo que un test represente con precisión un dominio gradual de conocimiento relativo a una única medida.
-
La relación de los dos conceptos anteriores permite un tipo de medida en la que los parámetros de ítem y de persona son ambos invariantes, de tal modo que ni la elección de una muestra de sujetos, ni la elección de los ítems afecte a los parámetros de dificultad del ítem ni a los de la habilidad.
-
La agilidad en la combinatoria de ítems de test, que pertenezcan a un mismo dominio de conducta, dando paso a la aplicación de tests adaptados al sujeto, en función de la capacidad de las habilidades de cada individuo.
En cuanto al cálculo estadístico, la TRI utiliza un modelo matemático logístico para describir la relación entre el nivel de habilidad del examinado y la probabilidad que éste dé una respuesta correcta a un ítem del test.
Algunas aplicaciones de la TRI han consistido en la creación de bancos de ítems y los diseños de tests a la medida del sujeto o test adaptativos computadorizados (TAC). Los test de medida consisten en la selección de informatizada de los ítems que puedan medir mejor la habilidad de un individuo.