Desempeño del tutor/a en el aprendizaje basado en problemas: validación de un instrumento de evaluación en la Facultad de Medicina de la Universidad de La Frontera.

Nancy Navarro H.^*a, José Zamora S.^*b, Luis Bustos M.^**c

RESUMEN

Introducción: La Facultad de Medicina, Universidad de La Frontera el 2003 implementó cambios curriculares, incorporando el Aprendizaje Basado en Problemas en pequeño grupo (tutoriales) en Módulos Profesionales, Ciencias Preclínicas y Gestión-Investigación en Salud.
Objetivos: Existe la percepción en docentes, estudiantes y autoridades, de notorias diferencias en el proceso tutorial. Por ello, se plantea como objetivo diseñar y validar un instrumento para evaluar el desempeño de los/as tutores de las Carreras en el contexto de la Facultad de Medicina de la Universidad de La Frontera, con la finalidad de explorar aspectos que facilitan y dificultan este proceso, según el estudiantado de la Facultad.
Material y Método: Se diseñó el instrumento con 23 ítems que representan las acciones que debiera realizar el tutor/a. Las respuestas fueron recogidas en una escala de juicio continuo tipo Likert de cinco categorías. Previo consentimiento informado se sometió a juicio de experto, se aplicó a un grupo piloto de estudiantes y docentes de las Carreras de la Facultad, para realizar los ajustes necesarios. Se aplicó a 1.541 estudiantes en los años 2010 y 2011. Para el análisis de validez se realizó análisis de contenido; la consistencia interna del instrumento fue evaluada a través de un análisis factorial confirmatorio. La confiabilidad del instrumento fue determinada por el coeficiente alfa de Cronbach.
Resultados: El instrumento presenta un alpha de Cronbach de 0,91. El análisis factorial señala la identificación de tres factores: Factor 1: “Tareas del Tutor” (12 ítems, relacionados con “el hacer”); Factor 2: “Dominio metodológico/aspecto actitudinal” (7 ítems, vinculados con “el saber” y “el ser”) y el Factor 3: “Habilidades relaciones interpersonales y comunicativas” (4 ítems, relativos al “saber convivir”).
Conclusiones: El instrumento posee una validez de contenido y consistencia interna, y una alta confiabilidad global. Contar con ello es relevante para explorar el desempeño del tutor/a en el ABP en grupos pequeños, ya que proporcionará insumos al profesorado sobre su práctica educativa, a fin de mejorar los procesos de formación del profesional de la salud.

Palabras clave:  Educación Médica, ABP, Proceso tutorial.

SUMMARY

Tutor Performance in problem-based learning: validation of an assessment tool
in the Faculty of Medicine, University of  La Frontera.

Introduction: The Faculty of medicine, University of La Frontera, implemented curricular changes in 2003, incorporating Problem Based Learning in small groups (tutorials) in Professional modules, Preclinical sciences and Management-research in Health.
Objectives: There is a perception in teachers, students and authorities of clear differences in the tutorial process, for this reason the aim of this study was to design and validate an instrument to assess the performance of tutors in the context of Faculty of Medicine in University of La Frontera in order to explore the aspects that facilitate and difficult this process according to faculty students.
Material and Method: A 23 items instrument that represents the actions that tutors must achieve was designed. Responses were collected in a Likert type scale of 5 categories. Prior informed consent, the scale was subjected to expert peer review and applied to a pilot group of students and professors of the Faculty careers to make the necessary adjustments.  It was applied to 1541 students during 2010 and 2011. To analyze the validity, a content analyses was made, the internal consistency of the instrument was assessed by an exploratory factorial analysis. The internal consistency was determined by Cronbach’s alpha coefficient.
Results: The instrument presented a Cronbach’s alpha of 0.9. The factorial analysis identified three factors. Factor 1: “Tutor’s tasks” (12 items related to “doing”); Factor 2: “Methodological domain/attitudinal aspect” (7 items related to “knowing” and “being”); and Factor 3: “Interpersonal relations and communication skills” (4 items related to “know how to live”).
Conclusions: The instrument has validity of content an internal consistency and high global reliability. Counting with this is relevant to explore the performance of the tutor in PBL in small groups since it will provide information for teachers about their educational practice, in order to improve training processes of the health professionals.

Keywords: Medical Education, PBL, Tutorial process.

El cambio curricular implementado en el 2003, en las Carreras que imparte la Facultad de Medicina de la Universidad de La Frontera (UFRO), implicó una transformación paulatina en el proceso enseñanza-aprendizaje, hacia un aprendizaje centrado en el estudiante privilegiando la metodología del aprendizaje basado en problemas (ABP) en pequeños grupos.

En la Facultad de Medicina hay diferentes instancias curriculares en donde se ha implementado tutoriales con ABP, en una diversidad de contextos, tales como: Módulos Multiprofesionales de Gestión e Investigación, Módulos Integrados de Ciencias Preclínicas y Módulos Integrados Profesionales de las diferentes Carreras. Esta diversidad es la que se propone indagar, evaluando el desempeño del rol de los tutores que participan en esta estrategia metodológica. Para ello, se plantea como objetivo el diseñar y validar un instrumento de medida para dicho fin, con el propósito de generar información válida, útil, pertinente y necesaria para la toma de decisiones que permitan instancias de reflexión para mejorar el proceso de formación de los profesionales de la salud.

Las características de la metodología ABP han sido explicitadas en diversas publicaciones^1-4. Varios autores^1,5-8 señalan que la estrategia metodológica se desarrolla en forma recursiva, a través de las siguientes etapas: identificar el problema mediante una lluvia de ideas, plantear hipótesis, identificar conocimientos previos, identificar objetivos de aprendizaje, identificar recursos, buscar información (estudio independiente), socializar, analizar, sintetizar la información, identificar nuevas áreas de aprendizaje y evaluar tanto proceso como resultados.

En este sentido, el ABP establece para su desarrollo un aprendizaje experiencial. Dewey⁹ construye su definición de educación en base a los conceptos de acción, experiencia y conocimiento, destacando que no toda experiencia es educativa, sino aquella donde al estudiante, mediante la capacidad intelectual, le permite establecer conexiones específicas entre lo que hace y las consecuencias que resultan, por lo que el ABP estimula mediante simulaciones o problemas teóricos de salud a realizar un aprendizaje activo. Es decir, subyace en esta visión de la reflexión en la acción de una concepción constructivista de los aprendizajes.

Esto implica un cambio del rol tanto del estudiantado como del profesorado, asumiendo este último el rol de facilitador y mediador del aprendizaje. La importancia de ello, radica en la comprensión que se ha alcanzado en relación a las interacciones que se desarrollan entre estudiantes y tutores en un grupo pequeño. Así, en el desarrollo de la estrategia, el rol del tutor es trascendental; por ello la valoración, comprensión y actitud que tiene frente al cambio metodológico, son aspectos que influyen en la calidad de esta práctica educativa¹⁰.

De esta manera, el ABP, partiendo de problemas que tienen significado para los/as estudiantes¹¹ y a través de la discusión, la interacción, el estudio independiente, la inducción-deducción y la integración de los conocimientos, permite que a través de una permanente codificación y decodificación de la información se construyan aprendizajes con una retención mayor del conocimiento^12,13 obteniendo aprendizajes significativos.

Dentro de las características que han señalado diversos autores sobre las habilidades, destrezas y capacidades que debe tener el tutor/a, se destacan las de facilitador y mediador del aprendizaje, el que debe promover las discusiones, el autoaprendizaje y el estudio en profundidad, permitir la aplicación y el desarrollo de ideas, promover el pensamiento crítico, el aprendizaje individual y grupal, contribuir al funcionamiento eficiente y eficaz del grupo alentando la autonomía del trabajo grupal, fomentar la autoevaluación y la evaluación formativa ^{5,2,4,8,14,15}. Como asimismo, contribuir a generar espacios de aprendizaje, ayudando a los estudiantes a desarrollar conocimientos variados que pueden aplicar a un problema, siendo la discusión de los conceptos fundamental para ello¹⁶.

Dolmans¹⁷ ha demostrado que las habilidades del tutor para conducir un grupo tutorial en grupo pequeño están directamente relacionadas con el funcionamiento, interés y resultado del aprendizaje de los estudiantes. Los autores identificaron trece habilidades claves del tutor relacionadas con los siguientes tres aspectos: i) la capacidad para conducir a los estudiantes a través del proceso de aprendizaje, ii) el conocimiento específico del tutor y iii) el compromiso del tutor con el aprendizaje del grupo.

En las experiencias reportadas de la literatura sobre el uso del ABP, se mencionan una variedad de instrumentos para evaluar el desempeño del tutor/a, todos ellos apuntan a describir aspectos claves de dicho rol, sin embargo, existe diversidad en los aspectos a evaluar^3,4,17-20. Dada la importancia en educación del contexto específico donde se lleva a cabo el proceso de formación de los profesionales de la salud, se ha considerado necesario diseñar y validar un instrumento de evaluación considerando la particularidad de la Facultad de Medicina de la UFRO.

MATERIAL Y MÉTODO

Para el desarrollo del instrumento, en su etapa inicial se realizó una revisión del marco conceptual del ABP y el análisis de instrumentos utilizados para evaluar el rol del tutor. Además de información generada desde una aproximación cualitativa, a través de un estudio intrínseco de caso, con el objetivo de indagar sobre las acciones relacionadas con el desempeño de los tutores/as en el ABP en pequeños grupos desde la perspectiva de los docentes y estudiantes de la Facultad de Medicina.

En la construcción del instrumento se identificaron suficientes ítems que representan diferentes aspectos de las acciones que debiera realizar un/a tutor/a en la metodología del ABP, contextualizados a la realidad de la Universidad de La Frontera. Se sometió el cuestionario a juicio de experto (Docentes de la Oficina de Educación en Cs. de la Salud), posteriormente se aplicó a un grupo piloto de estudiantes y docentes de las Carreras de la Facultad, para realizar los ajustes necesarios en base a las observaciones emitidas.

El instrumento quedó constituido por 23 ítems, las respuestas fueron recogidas en una escala de juicio continuo tipo Likert de cinco categorías: 1 “nunca” a 5 “siempre”. Posteriormente, se aplicó el instrumento a 1.541 estudiantes de la Facultad de Medicina (grupos tutoriales constituidos en promedio por 10 estudiantes), que participaron en la metodología de ABP en Módulos de Gestión e Investigación, de Ciencias Preclínicas e Integrados de las Carreras de: Enfermería, Fonoaudiología, Kinesiología, Medicina, Nutrición, Obstetricia y Tecnología Médica en los años 2010 y 2011.

El estudio contó con la autorización de la Directora de Pregrado y Directores de Carrera de la Facultad. La evaluación fue anónima, previo consentimiento informado y garantizando confidencialidad de los participantes.

Para el análisis de validez, se realizó análisis de contenido referido al contenido del instrumento, si es consistente con el concepto que pretende medir^21-23 en base a: i) información generada desde una aproximación cualitativa, ii) marco teórico, iii) juicio de expertos, iv) análisis de instrumentos similares. La consistencia interna del instrumento fue evaluada a través de un análisis factorial confirmatorio mediante la Prueba de Bartlett, permitiendo determinar la correlación interna entre los ítems de cada dimensión. La confiabilidad del instrumento fue determinada por el coeficiente alfa de Cronbach, ya que requiere una sola administración y produce valores que oscilan entre 0 y 1²⁴, utilizando el programa estadístico SSPS versión 15.0.

El instrumento y estadística descriptiva se muestra en la Tabla 1. Ella indica, el promedio de las respuestas (en la escala 1 a 5) y el porcentaje de respuesta de la categoría “siempre” en cada ítem en el total del estudiantado participante del estudio.

Tabla 1. Ítems y estadística descriptiva del Desempeño Tutores.

De la evaluación del desempeño de los/as tutores, los promedios de todos los ítems están sobre el 4,5; excepto lo relacionado con mantener una comunicación permanente a través de TIC's con los estudiantes (4,1). Considerando aquellos ítems con menor promedio y aquellos con respuestas menores del 70% en la categoría “siempre”, se comprueba que están relacionados al ámbito de la evaluación (si estimula la autoevaluación, la evaluación de pares en los estudiantes y la entrega oportuna de ellas); al desarrollo de habilidades individuales de comunicación en los estudiantes y la participación de todos los integrantes del tutorial (solicitar a los estudiantes respaldar la información) y, por último, a la responsabilidad del tutor en relación al cumplimiento de horarios y puntualidad.

El análisis factorial del instrumento señala la identificación de tres factores, los que explican el 54% de la varianza total: el Factor 1 denominado “Tareas del Tutor” agrupa los ítems 4 – 5 – 6 – 7 – 10 – 12 – 13 – 14 – 20 – 21 – 22 – 23, relacionados con “el hacer”; el Factor 2, “Dominio metodológico/aspecto actitudinal” conformado por los ítems 1 – 2 – 3 – 8 – 9 – 18 – 19, vinculados con “el saber” y “el ser” y el Factor 3, “Habilidades relaciones interpersonales y comunicativas” lo componen los ítems 11 – 15 – 16  y 17 relativas al “saber convivir”.

El instrumento de medida “Evaluación del Desempeño del Tutor” presenta una alta confiabilidad global con un alpha de Cronbach de 0,91 al igual que los tres factores que lo conforman. Dimensión 1: α 0,8673, Dimensión 2: α 0,7154 y Dimensión 3: α 0,8572. Si se elimina de la dimensión 2 el ítem 19 “Demuestra responsabilidad en el proceso tutorial (puntualidad, horarios)” aumenta el alpha de Cronbach a 0,81. Dado el contexto de la Facultad de Medicina, se consideró necesario evaluar este aspecto, por lo que no se eliminó del instrumento.

Las tablas siguientes (2, 3 y 4) señalan por dimensión los ítems que lo conforman, con su respectivo alpha de Cronbach.

Tabla 2. Dimensión “Tareas del Tutor”.

Tabla 3. Dimensión “Dominio metodológico/aspecto actitudinal”.

Tabla 4. Dimensión “Habilidades relaciones interpersonales/comunicativas”.

El análisis confirmatorio agrupa los 23 ítems en tres dimensiones o factores que se distribuyen en: F1 con 12 ítems (52,2%), constituye la de mayor peso; F2 con 7 ítems (30,4%) y F3 con 4 ítems (17,4%).

DISCUSIÓN

En el diseño y validación del instrumento “Evaluación del Desempeño del Tutor” para el contexto de la Facultad de Medicina de la UFRO, se realizó validez de contenido a través del proceso descrito anteriormente y se determinó la consistencia interna de los ítems a través de un análisis factorial confirmatorio, determinando la identificación de tres factores o dimensiones en el instrumento: “Tareas del tutor”, "Dominio metodológico/aspecto actitudinal” y “Habilidades relaciones interpersonales/comunicativas”, en concordancia con lo planteado por Dolmans et al.¹⁷, quienes identifican tres aspectos importantes del tutor para conducir un grupo tutorial: i) la capacidad para conducir a los estudiantes a través del proceso de aprendizaje, ii) el conocimiento específico del tutor y iii) el compromiso del tutor con el aprendizaje del grupo.

Cabe hacer notar que los factores están asociados con un mayor peso al “hacer” del tutor, en segundo lugar con el “el saber” y “el ser” y, por último, con el “saber convivir”, pilares esenciales en el aprendizaje según Delors²⁵, los que pueden ser extrapolados a los aprendizajes que debiera tener un tutor/a como asimismo a las funciones propuestas por Scriven²⁶ para el profesorado: el conocimiento de la materia, las competencias instruccionales, las competencias evaluativas y la profesionalidad.

El instrumento posee una elevada confiabilidad global con un alpha de Cronbach de 0,91^21,23 y aceptable para los tres factores identificados. Cabe hacer notar que estos valores representan el resultado de la aplicación del instrumento a 1.541 estudiantes de la Facultad y pueden variar según la población objeto, ya que la validez y confiabilidad son atributos de los puntajes obtenidos y no del instrumento en sí²⁷.

Contar con un instrumento válido y confiable para evaluar el desempeño del tutor/a en el ABP en grupos pequeños es fundamental, ya que proporcionará insumos al profesorado sobre su práctica educativa, a fin de mejorar los procesos de formación del profesional de la salud. Por ende, contribuirá hacia una comprensión profunda, un conocimiento de la metodología y competencias adecuadas que le permitan desempeñar el rol de tutor, el de mediador y facilitador del aprendizaje de los estudiantes. Dicha práctica, depende de las concepciones explícitas y no explícitas que tengan en relación a los procesos educativos, donde el pensamiento pedagógico del profesorado es el sustrato que influye en su comportamiento en cada una de las fases de la enseñanza²⁸. El grado de convencimiento estaría reflejando la comprensión del sustento filosófico para poder desarrollar las etapas descritas en el ABP y asumir el rol de tutor: si éstas no son comprendidas en profundidad, difícilmente pueden ser llevadas a cabo y cada tutor/a podría actuar bajo sus propias premisas al interior de las aulas.

En consecuencia, la práctica profesional del docente debe ser una práctica intelectual, autónoma y no meramente técnica, de manera que mediante la acción y la reflexión conjunta, la indagación y la experimentación, se vaya desarrollando progresivamente el conocimiento profesional. El conocimiento pedagógico está estrechamente ligado a la acción, siendo un conocimiento práctico; por ello, es fundamental que el docente incorpore en su quehacer la reflexión, valorando su práctica, como parte de su acción formadora^29,30.

CONCLUSIONES

El instrumento posee una validez de contenido y consistencia interna y una alta confiabilidad global. Contar con ello es relevante para explorar el desempeño del tutor/a en el ABP en grupo pequeño, ya que proporcionará insumos al profesorado sobre su práctica educativa, a fin de mejorar los procesos de formación del profesional de la salud.

REFERENCIAS BIBLIOGRÁFICAS

1. Barrows H, Tamblyn R. Problem based learning: an approach to medical education. New York: Springer publishing company, 1980.

2. Venturelli J. Educación Médica: nuevos enfoques, metas y métodos. Washington: Organización Panamericana de la Salud, 2003.

3. Instituto Tecnológico y de Estudios Superiores de Monterrey. El ABP como técnica didáctica. Monterrey: Dirección de Investigación y Desarrollo Educativo, 2004.

4. Díaz F. Enseñanza situada: Vínculo entre la escuela y la vida. México: McGraw Hill, 2005.

5. Barrows H. The tutor functions at the metacognitive level. En Tutorial process. USA: Southern Illinios University School of Medicine Springfield, 1988.

6. Woods D. Problem-based Learning: How to gain the most from PBL. Canadá Hamilton: Griffin Printing Limited, 1994.

7. Dueñas V. El aprendizaje basado en problemas como enfoque pedagógico en la educación en salud. Colomb Med 2001; 32(4): 189-196.

8. Branda L. El aprendizaje basado en problemas. De herejía artificial a res popularis. Revista Educación Médica Barcelona 2009; 12(1): 11-23.

9. Dewey J. Democracia y educación. Una introducción a la filosofía de la educación. Madrid: Morata, 1995.

10. Villegas E. La función del tutor en la estrategia de Aprendizaje Basado en Problemas en la formación médica en la Facultad de Medicina de la Universidad de Antioquia. Iatreia 2012; 25(3): 261-271.

11. Walker A, Leary H. A problem based learning meta analysis: Differences across problem types, implementation types, disciplines, and assessment levels. Interdisciplinary Journal of Problem-based Learning 2009; 3(1): 12-43.

12. Norman G, Schmidt H. Effectiveness of problem-based learning curricula: theory, practice and paper darts. Med Educ 2000; 34(9):721-728.

13. Restrepo B. Aprendizaje Basado en Problemas (ABP): una innovación didáctica para la enseñanza universitaria. Educación y Educadores 2005; 8: 9-19.

14. Dolmans D, Wolfhagen H, Van Der Vleuten C. Thinking about student thinking: Motivational and cognitive processes influencing tutorial groups. Acad Med 1998; 73(10): S22-S24.

15. De Grave W, Dolmans D, Van Der Vleuten C. Student perceptions about the occurrence of critical incidents in tutorial groups. Med Teach 2001; 23(1): 49-54.

16. Hmelo-Silver C. Creating a Learning Space in Problem-based Learning. Interdisciplinary Journal of Problem-based Learning 2013; 7(1): 24-39.

17. Dolmans D, Wolfhagen H, Schmidt H, Van Der Vleuten C. A rating scale for tutor evaluation in a problem-based curriculum: validity and reability. Medical Education 1994; 28(6): 550-558.

18. Petra I, Valle R, Martínez A, Piña B, Rojas J, Morales S. Aprendizaje basado en problemas: validación de un instrumento de evaluación. Anales de la Facultad de Medicina, Universidad Nacional Mayor de San Marcos 2000; 61(3): 175-183.

19. Universidad de Antioquia. Facultad de Medicina. Currículo Médico. Medellín: Universidad de Antioquia, 2004.

20. Dolmans D, Ginns P. A short questionnaire to evaluate the effectiveness of tutors in PBL: validity and realiability. Med Teach 2005; 27(6): 534-538.

21. Norman G, Streiner D. Bioestadística. Madrid: Mosby/Doyma Libros, 1996.

22. Beckman T, Cook D, Mandrekar J. What is the validity evidence for assessments of clinical teaching? J Gen Intern Med 2005; 20(12): 1159-1164.

23. Hernández R, Fernández C, Baptista P. Metodología de la investigación. México: McGraw-Hill Interamericana, 2008.

24. Cronbach LJ. Coefficient alpha and internal structure of tests. Psychometrika 1951;16(3): 297-334.

25. Delors J. La educación encierra un tesoro. Informe a la UNESCO de la Comisión Internacional sobre la Educación para el Siglo XXI. Barcelona: Grupo Santillana, 1996.

26. Scriven M. Duty-based teacher evaluation. Journal of Personnel Evaluation in Education 1988; 1(4): 319-334.

27. Downing S. Validity: on the meaningful interpretation of assessment data. Med Educ 2003; 37(9): 830-837.

28. Gimeno J, Peréz A. Comprender y transformar la enseñanza. Madrid: Morata, 1998.

29. Schön D. La formación de profesionales reflexivos: hacia un nuevo diseño de la enseñanza y el aprendizaje en las profesiones. Barcelona: Paidós. 1992.

30. Giroux H. Los profesores como intelectuales. Hacia una pedagogía crítica del aprendizaje. Barcelona: Paidós/M.E.C, 1997.

Artículo recibido el 04/02/14, Aceptado el 12/05/14.