En todo estudio científico son fundamentales y exigibles la fiabilidad y validez de los datos, pues su comprobación garantiza la replicabilidad del estudio.
Si la fiabilidad tiene que ver con la precisión, la validez lo es, con el significado de la medida. La validez de los datos de observación está estrechamente relacionada con la relevancia de las categorías de observación seleccionadas y con la exhaustividad del sistema.
El estudio de la viabilidad de los datos de observación se realiza calculando el índice de acuerdo de los registros proporcionados por dos observadores que han trabajado de forma independiente, y es conocido como fiabilidad interobservadores. O bien a través del cálculo del índice de acuerdo, de los registros proporcionados por un mismo observador que registra ciertas sesiones de observación en dos momentos diferentes (fiabilidad intraobservador).
Estimación de la fiabilidad
No existen normas para el examen de la fiabilidad de los datos en un estudio observacional, pero hay recomendaciones a partir de la experiencia. Es conveniente contar con dos observadores para confrontar sus registros sobre un mismo material y calcular el índice de acuerdo interobservadores. Esto no significa que se repartan el trabajo ni que el trabajo se duplique totalmente. En realidad no se duplica el registro de todas las sesiones de observación previas o ya gravadas sino sólo una muestra de ellas (30%). Se recomienda empezar trabajando la fiabilidad por consenso que supone el ajuste progresivo de los registros de los observadores de forma conjunta y negociada.
Después ambos observadores trabajaran codificando la muestra de sesiones seleccionada de manera independiente. Se compararán los registros y analizarán para comprobar que se alcanza un nivel de acuerdo aceptable, e identificar donde puede existir algún problema, sises el caso.
Los índices de acuerdo aplicables son muy diversos.
El más aceptado y usado en metodología observacional es el índice de Kappa por su fácil interpretación ya que sus valores están entre 0 y 1, por su calidad métrica, por su versatilidad, pues es aplicable tanto con datos obtenidos por registro activado por unidades de tiempo (muestreo de intervalos), como por registro activado por transiciones (registro continuo), y por su capacidad informativa.
Para calcular el índice de Kappa es necesario construir una matriz cuadrada a partir de las categorías conductuales del sistema, en cuyas celdillas se reflejarán los acuerdos de los observadores, y los desacuerdos, que se irán marcando en la celdilla correspondiente en función de la categoría conductual identificada por uno u otro. A partir de los datos reflejados en la matriz de acuerdos se calcula la proporción de acuerdos observados.
Luego se valorará el resultado obtenido al analizar el grado de concordancia de los registros independientes y se verá si es aceptable o nos está informando de la existencia de problemas en el sistema de categorías, su definición o alguna otra cuestión de procedimiento. El observador no es la única fuente posible de valoración, de introducción de error en el proceso de medición, pero sí constituye una de las amenazas de error más importantes en la observación.
Fuentes de error y formas de control en la observación
El observador
Es fundamental en un estudio observacional, puede llegar a ser considerado como el instrumento de la observación. Sus errores inciden directamente en los datos del estudio. El entrenamiento de los observadores en la aplicación del sistema de categorías específico del estudio es la principal forma de control de estas amenazas de error. Las sesiones de entrenamiento deben durar hasta alcanzar un grado de fiabilidad por consenso que investigador considere aceptable. Es conveniente también hacer estudios periódicos de la fiabilidad sobre los registros realizados por los dos observadores de forma independiente.
La deriva del observador se puede dar en la medida en que su propia experiencia en la aplicación del sistema le puede llevar a ir desarrollando interpretaciones y adaptaciones idiosincráticas de las definiciones originales de las categorías desviándose de forma sistemática de ellas en el registro de los datos.
Las expectativas del observador acerca de lo que debería ocurrir o aparecer en la situación estudiada puede llevarle a identificar conductas con categorías en casos en las que no se ajustan correctamente o a no percibir otras conductas que debería registrar. Además de estos controles de fiabilidad una estrategia de control específica consiste en la utilización de observadores entrenados pero que desconozcan el objetivo y las hipótesis del estudio (procedimiento ciego).
El sujeto de estudio: la reactividad
Tanto si estamos en una situación de observación participante como si es de observación externa, si los participantes se saben observados existe riesgo de reactividad, y les puede llevar a modificar su conducta de forma consciente y voluntaria o de forma involuntaria, y no sería un comportamiento espontáneo.
Se trata de minimizar los riesgos de reactividad, la situación ideal es la observación de individuos ingenuos (no saben que están siendo observados) a través del uso de dispositivos ocultos, cámaras, magnetófonos, etc. Hay que recordar la necesidad de seguir las normas éticas que garantizan el respeto de los derechos de los participantes.
Pero hay ocasiones en las que no se puede ocultar la presencia del observador y su tarea, hay que tratar de ser lo más discretos, evitando al máximo la visibilidad del observador.
Si hacemos que el sujeto observado se familiarice antes del experimento con el observador, se irá produciendo loa habituación de la persona observada a la presencia del observador y ésta cada vez tendrá menos efecto sobre su conducta.
Ejemplo de investigación y su presentación a los participantes para evitar reactividad
En una investigación sobre el desarrollo comunicativo preverbal, que realizamos con niños entre 8 y 12 meses de edad, habíamos gravar en video situaciones de de interacción libre de los niños con sus madres (sesiones de 20 minutos). En la justificación que se daba a las madres de los objetivos de la investigación y de la necesidad de contar con ellas, resaltábamos que el foco de interés era el niño, para poder ir viendo como progresa en su capacidad de comunicación. Insistíamos en la idea de que ella era necesaria para que el niño se sintiera cómodo y seguro, pero que no iba a ser estudiada y que por supuesto el uso de esas cintas de video se limitaba exclusivamente a su codificación por parte de los investigadores. Nos preocupaba conseguir que las madres se relajaran y se centraran en sus juegos familiares con sus hijos y que no estuvieran pendientes o preocupadas por su propia imagen. Se trataba de evitar cualquier tensión anómala en la situación de interacción. La posible reactividad de los niños se trató de evitar a través de la habituación a la presencia de la cámara en su entorno familiar.
El sistema de categorías
Hay veces que es el propio sistema de categorías o el de codificación el que provoca los errores de los observadores. Problemas de definición de las categorías, una excesiva amplitud o complejidad del sistema o la aplicación de códigos arbitrarios demasiado alejados del significado de las categorías, pueden ser causa de errores en el registro.
Por otra parte, el estudio de la fiabilidad en el proceso de entrenamiento de los observadores nos puede informar de la existencia de estos riesgos y de si es necesario seguir mejorando el sistema de categorías antes de proceder al registro sistemático de los datos. Hay que recordar que una fuente importante de sesos o error en un estudio observacional reside en lo que se puede considerar como fallos de procedimiento que se pueden prevenir y evitar. Estos fallos pueden prevenirse realizando una cuidadosa planificación y prestando especial atención a la adecuación de las decisiones tomadas respecto a la naturaleza del problema de estudio, los objetivo e hipótesis y las condiciones reales de viabilidad del estudio.