TRABAJO ORIGINAL
Análisis psicométrico del cuestionario DREEM para
Cristian Herrera R.*a, Oslando Padilla P.**b, Nancy Solís L.***c, Margarita Pizarro R.***c, Eduardo Kattan T.*a, Luis Antonio Díaz P.*a, Arnoldo Riquelme P.***, ****d
RESUMEN
Introducción:
El ambiente de aprendizaje es un aspecto importante que debe ser
considerado en la educación médica al analizar los currículos. La
encuesta DREEM (Dundee Ready Education Environment Measure) ha sido
reconocida como el instrumento más válido y fiable para medir el
ambiente de aprendizaje en la educación médica de pregrado. Palabras clave: Ambiente de aprendizaje, DREEM, Análisis psicométrico.
SUMMARY
Psychometric analysis of DREEM questionnaire to
Introduction:
Learning environment is an important aspect that should be considered
when analyzing medical education curricula. The DREEM (Dundee Ready
Education Environment Measure) survey has been recognized as the most
valid and reliable instrument for measuring the learning environment in
undergraduate medical education.
Keywords:
Learning environment, DREEM, Psychometric analysis.
INTRODUCCIÓN El ambiente de aprendizaje es un aspecto importante que debe ser considerado en la educación médica tanto de pregrado como de postgrado. Su impacto está bien establecido y aceptado, dado su influencia real sobre los logros, satisfacción y éxitos de los estudiantes1-3. Se han descrito dos grupos de factores que influyen en el ambiente educacional. Estos son cursos/currículos, y los docentes individuales, supervisores y facilitadores. El primer grupo está compuesto por el estilo del currículo; calidad de enseñanza; rotaciones clínicas y claridad del proceso, objetivos y evaluación; y mecanismos de soporte. El segundo está relacionado con el estilo/técnica de enseñanza, entusiasmo, maximización del ambiente físico y simulación de papeles. Estos factores llevan a la motivación, relevancia percibida y percepción de las tareas por las tareas de los estudiantes, que finalmente terminan en mejores resultados de aprendizaje4. Entre los instrumentos disponibles para medir el ambiente educacional en pregrado, la encuesta DREEM (Dundee Ready Education Environment Measure) ha sido reconocida como uno de los instrumentos más válidos y fiables5. Este instrumento es adecuado para la medición del ambiente educacional en pregrado, particularmente, en las etapas iniciales del currículo (ciencias básicas y cursos pre-clínicos)6. En etapas más avanzadas de la carrera médica, donde el aprendizaje independiente durante la práctica diaria se vuelve más relevante, los aspectos relacionados con el ambiente en el aula de clases son menos relevantes. Sin embargo, el DREEM se ha aplicado en programas médicos de postgrado y sus propiedades psicométricas fueron determinadas en este escenario con resultados interesantes7. El DREEM fue desarrollado en 1997 y ha sido traducido a distintos idiomas. Deza tradujo un cuestionario DREEM preliminar de 58 ítems al español, y encontró que es fiable y con una consistencia interna de 0,916. En estudios en pregrado, el DREEM ha sido aplicado en escuelas de medicina en Brazil8, Canadá9, India10, Irlanda11, el Reino Unido12, Trinidad13, Arabia Saudita14, Singapur15, Sri Lanka16, Nigeria, Nepal17, India18 y Chile19. Dada una iniciativa de la Asociación de Estudiantes de Medicina de Chile (ASEMECH), los objetivos de este estudio fueron el aplicar la versión en español del cuestionario DREEM en los estudiantes de pregrado de 6 escuelas de medicina en Chile y evaluar las propiedades psicométricas del DREEM. En este contexto, nuestras preguntas de investigación fueron las siguientes:
MATERIAL Y MÉTODOInstrumentos El cuestionario DREEM consiste de 50 ítems, con cada ítem evaluado con una escala de cinco puntos de Likert, siendo 4 = Fuertemente de acuerdo, 3 = De acuerdo, 2 = Inseguro, 1 = Desacuerdo, 0 = Fuertemente en desacuerdo. Ya que los ítems 4, 8, 9, 17, 25, 35, 39, 48 y 50, contenían afirmaciones negativas, revertimos los puntajes de estas preguntas. Por lo tanto, mayores puntajes indicaban un resultado más positivo. Los autores del instrumento definieron cinco dominios o sub-escalas de la percepción de los estudiantes sobre una institución en particular6. Las sub-escalas eran (1) la percepción de los estudiantes del aprendizaje (Aprender); (2) la percepción de los estudiantes de los profesores (Enseñar); (3) la auto-percepción académica de los estudiantes (Acad); (4) la percepción de los estudiantes de la atmósfera (Atm) y (5) la auto-percepción social de los estudiantes (Soc). Sujetos y Procedimiento Las seis Escuelas de Medicina chilenas elegidas fueron: Universidad Austral (Valdivia), Universidad de la Frontera (Temuco), Universidad Católica de la Santísima Concepción (Concepción), Universidad de Concepción (Concepción), Universidad de Santiago (Santiago) y Pontificia Universidad Católica de Chile (Santiago). Cada una de estas escuelas tiene su propio currículo y diferentes características. El cuestionario fue administrado durante el 2008 a estudiantes de medicina de pregrado de tercer, cuarto y quinto año, de las seis escuelas de medicina mencionadas previamente. Este proyecto fue llevado a cabo por la Asociación de Estudiantes de Medicina de Chile (ASEMECH). Fue previamente aprobado por el Consejo de Estudios y Comité de Ética de cada Escuela de Medicina. El cuestionario DREEM fue respondido anónimamente por los estudiantes y un informe confidencial con los resultados de cada Escuela de Medicina fue enviado a los Decanos. Análisis estadísticos Para evaluar la validez de construcción de las 5 sub-escalas, utilizamos un análisis factorial exploratorio seguido por una rotación de Varimax. Los factores fueron elegidos utilizando 2 criterios: 1) el criterio Kaiser–Guttman, en el cual todos los factores con un autovalor > 1 fueron incluidos20,21; y 2) el criterio Cattel, donde el punto de inflexión de la curva del gráfico de sedimentación, es el punto de corte, y todos los factores por sobre dicho punto son aceptados22. Los datos fueron analizados utilizando el software estadístico SPSS para consistencia interna, utilizando alfa de Cronbach23. Utilizamos la teoría de la generalización (Teoría G) para evaluar las preguntas de investigación sobre la fiabilidad24. Esta teoría permite estimar el tamaño de las influencias relevantes que afectan la medición. La estimación subsecuente de la fiabilidad del instrumento está basada en la variedad de los índices de fiabilidad. Para llevar a cabo la teoría G, y dado que el número de estudiantes fue diferente según sexo, año y escuela, utilizamos el Software urGenova25. Estas son las abreviaciones para los modelos: Año (A), Sexo (S), Escuela de Medicina (ES), estudiante (e) y Dominio (D). Ajustamos 2 tipos de modelos. En el primer grupo de modelos, consideramos el total de estudiantes en cada dominio. Dentro de esta clase existen los siguientes modelos: Dx(e:(SxEX)), Dx(e:(AxEM)), Dx(e:(SxAxEM)) y Dx(e:EM). Aquí no incluimos las diferencias al nivel de ítems, y nuestro objetivo era analizar si es importante considerar las facetas A, S, EM y e, al igual que la faceta D. El segundo grupo de modelos incluye las respuestas a nivel de ítem. Los modelos correspondientes fueron: (i:D)x(e:(SxEM)), (i:D)x(e:(AxEM)), (i:D)x(e:(SxAxEM)) y (i:D)x(e:EM). Para el estudio-D (estudio de Decisiones), utilizamos también el Software Genova (ya que urGENOVA no calcula los valores de Estudio-D).
RESULTADOS Un total de 1092 de 1419 estudiantes (77%) respondieron el DREEM, del cual 577 (52,8%) fueron mujeres y 515 fueron hombres (47,2%). En el análisis, comparando los resultados globales por Escuela, el cuestionario de 50 ítems para las 6 escuelas de medicina tuvo un resultado promedio de 113,89 (IC 95% 112,47 – 115,31). Los encuestados tenían una mediana de edad de 22 años, con un mínimo de 19 y un máximo de 38. No hubo diferencias estadísticamente significativas entre las respuestas de hombres y mujeres, y los alumnos de tercer año tuvieron una mejor percepción sobre el ambiente educacional que los alumnos de cuarto año, la cual fue estadísticamente significativa. La estadística descriptiva de los encuestados de las 6 Escuelas se muestra en la Tabla 1.
Tabla 1. Número
y distribución por año y sexo de los encuestados
Validez de construcción y consistencia interna La validez de construcción de las sub-escalas fue realizado utilizando el análisis factorial exploratorio, seguido por la rotación de Varimax de los datos, resultando en 11 factores con un autovalor > 1. El primer factor, tuvo un autovalor de 11,288 (aportando el 22,576% de la varianza) y los próximos 10 factores tuvieron autovalores <2,506. Los 11 factores en conjunto explicaron 52,262% de la varianza. El punto de inflexión de la curva se observó entre los factores 5 y 6 del gráfico de sedimentación de 11 factores (ver Figura 1). Por lo tanto, forzamos un análisis factorial con 5 factores. La distribución de los 5 factores da cuenta del 38,262% de la varianza, evidenciando la siguiente localización de los ítems (en paréntesis está el dominio teórico al que corresponden):
Estos resultados son consistentes con el cuestionario que mide 5 factores distintos, pero el primer factor incluye un largo número de ítems (40 ítems, 80%).
Figura 1. Gráfico de sedimentación de los factores identificados en el
análisis factorial de DREEM.
Análisis de Fiabilidad El puntaje promedio de los ítems fue de 2,28. Los puntajes variaron entre 0,94 (ítem 3: “Hay un buen sistema de apoyo para los estudiantes que sufren de estrés”) a 3,39 (ítem 2: “Los profesores conocen las materias que dictan”). Las tasas de respuesta variaron desde 99,8% (ítem 12, 14, 20 y 21) a 100%. El resultado de cada ítem está ilustrado en la Tabla 2.
Tabla 2. Ítems,
sub-escalas y estadística descriptiva de DREEM
La consistencia interna del inventario de 50-ítems entregó un resultado de 0,92; al ser medido con alfa de Cronbach. Con los modelos de primer tipo (Dx(e:(SxEM)), Dx(e:(AxEM)), Dx(e:(SxAxEM)) y Dx(p:EM)), cuando sólo consideramos el total de las sub-escalas, encontramos que cuando considerábamos las facetas Sexo y Año, aparecía un componente de varianza negativa, y que cuando aparecían estas facetas, aquellas interacciones tenían componentes de la varianza que eran bastante pequeños, comparado con el resto. Los componentes más altos de la varianza son los mismos en todos los modelos y se muestran en la Tabla 3 para el modelo Dx(e:EM), el más simple, donde las facetas Sexo y Año no son consideradas, pero refleja bien la estructura de los datos.
Tabla 3.
Estudio de generalización de variancia y porcentaje de variación de
componentes
e: estudiante; EM: Escuela de Medicina; D: Dominio.
Casi la mitad de la varianza proviene de la variabilidad entre las sub-escalas. Subsecuentemente, es la variabilidad entre los estudiantes, la cual corresponde a casi el cuarto de la varianza total. Un porcentaje cercano al 20% corresponde a la interacción eD:EM confundida con el error. Finalmente, un moderado porcentaje de la varianza (cerca del 7%) proviene de la variabilidad entre Escuelas de Medicina. Cuando consideramos los modelos incluyendo los ítems, nuevamente vemos que las facetas Sexo y Año no otorgan componentes importantes de la varianza. El modelo final, (i:D) x (e:EM), es considerado el más simple y que mejor refleja la estructura de los datos. Con él podemos ver que el mayor componente de la varianza proviene de la interacción entre ítem-estudiante confundido con el error (cerca del 60% de la varianza). Luego, viene la varianza entre ítems y la varianza entre estudiantes que otorga cerca del 30% (Tabla 4).
Tabla 4.
Estudio de generalización de varianza y porcentaje de variación de
componentes
e: estudiante; EM: Escuela de Medicina; D: Dominio.
Del análisis previo, nos concentramos en seguir el modelo elegido a nivel de Dominio. Cuando realizamos el análisis de Dominio dentro de cada Escuela de Medicina encontramos que en dos Escuelas de Medicina, las mismas dos que fueron distintas en el análisis ANOVA, el porcentaje de varianza correspondiente a la faceta de Dominio fue mucho más alta, cercana al 65%. El porcentaje de varianza correspondiente a la faceta estudiante fue cercana al 20% y aproximadamente el 15% corresponde a la interacción entre la faceta estudiante y Dominio, confundida con otras fuentes de error no identificada. Para las otras cuatro Escuelas de Medicina, la faceta Dominio aportó el 46% de la varianza, el componente estudiante el 30% y el 24% correspondía a la interacción estudiante-Dominio confundida con errores. Finalmente, el estudio-D (Estudio de Decisión) fue realizado para investigar la fiabilidad del instrumento para decisiones absolutas y relativas, y el número de estudiantes que debían responder el cuestionario para producir una medición fiable del ambiente educacional. Dado a que el Software Genova requiere diseños balanceados, y ya que definimos que no era importante considerar Sexo y Año, seleccionamos aleatoriamente una muestra de 90 estudiantes de cada Escuela de Medicina. Los principales resultados del estudio-D se aprecian en la Tabla 5. Tabla 5. Resultados de Estudio-D utilizando Coeficientes G y Phi del cuestionario DREEM.
Hemos demostrado aquí que con un tamaño muestral razonable (25 encuestados), se obtienen altos coeficientes de generización, sobre 0,8; pero los coeficientes phi no sobrepasan 0,4. En segundo lugar, podemos observar que para obtener una buena fiabilidad (coeficiente-G de 0,85), el instrumento requiere de 40 encuestados. Si se obtienen 80 encuestados, la fiabilidad es cercana a 90%. Como podemos observar, al doblar el número de encuestados no se gana mucho más en fiabilidad.
DISCUSIÓN En este estudio, la versión en español del cuestionario DREEM fue evaluado, para determinar sus propiedades psicométricas para medir el ambiente educacional en seis Escuelas de Medicina en Chile. Alcanzamos un gran número de estudiantes encuestados, lo que entregó una amplia representación de los resultados. Para la primera pregunta de investigación, el análisis estadístico sugiere un instrumento de 5 factores, lo que corresponde con las 5 sub-escalas originales teoréticamente definidas por los diseñadores originales, siendo el primer factor el más importante de ellos. La elevada consistencia interna es un aspecto destacable de DREEM. Para la segunda pregunta de investigación, podemos concluir que 40 encuestados en cada Escuela de Medicina son necesarios para obtener un resultado fiable, representando el ambiente educacional de una Escuela de Medicina individual. Considerando que en promedio en una Escuela de Medicina en Chile, entre 3ero y 5to año, existen entre 150 y 300 estudiantes aproximadamente, 40 encuestados es un número fácilmente lograble. Para la tercera pregunta de investigación, dado los resultados de los coeficientes G y Phi, concluimos que DREEM es adecuado para medir el ambiente educacional de una Escuela de Medicina (decisión absoluta), pero no para comparar Escuelas de Medicina (decisiones relativas). Por lo tanto, recomendamos utilizar DREEM como un instrumento fiable para empleo dentro de cada Escuela de Medicina, al evaluar su propio ambiente educacional. El desarrollo original y la validación de DREEM en 1997, incluyó análisis factorial6 y su fiabilidad ha sido evaluada en residentes de medicina (postgrado)7. En ese sentido, nuestro estudio agrega un re-análisis de la validez de construcción y, según nuestro conocimiento, ésta es la primera determinación de fiabilidad de DREEM utilizando la teoría-G en estudiantes de medicina de pregrado. Quisiéramos alertar a los investigadores las importantes diferencias entre Escuelas de Medicina, que pueden ser observadas en el ambiente educacional medido por el cuestionario DREEM. Consecuentemente, un estudio de la determinación del número de encuestados necesarios en cada Escuela de Medicina puede mostrar ciertas diferencias con los datos presentados previamente.
CONCLUSIONES Finalmente, concluimos que la versión en español de DREEM es un instrumento multidimensional, válido y altamente fiable. Es destacable cuán estables son los resultados, dada su aplicabilidad en ambientes diversos y currículos disímiles a través de diferentes Escuelas de Medicina. Recomendamos utilizarlo para medir el ambiente educacional en los cursos de Pregrado de Medicina con estudiantes de habla Hispana, en las Escuelas de Medicina en América Latina y España.
Agradecimientos Quisiéramos agradecer a los Decanos y Directores de las Escuelas de Medicina involucrados en este proyecto por la colaboración y apertura a desarrollarlo. También, nos gustaría reconocer a David Wall, MB ChB, MMEd, PhD, FRCP, FRCGP, Deputy Regional Postgraduate Dean and Professor of Medical Education in the West Midlands Deanery, UK, por sus comentarios atingentes y su contribución al manuscrito. Este proyecto fue parcialmente financiado por el proyecto FONDECYT no. 1100436 (A.R.).
REFERENCIAS BIBLIOGRÁFICAS
Artículo recibido el 26/04/15, Aceptado el 30/06/15.
Dirección del autor:
*
Escuela
de
Medicina, Pontificia Universidad Católica de Chile, Santiago de Chile,
Chile. |