RESUMEN BIBLIOGRÁFICO

EVALUACIÓN DEL DESEMPEÑO DE LOS ESTUDIANTES
EN UN CURRÍCULO BASADO EN COMPETENCIAS


Autor: Stephen R. Smith, MD, MPH, Richard H. Dollase, EdD, MAT, and Judith A. Boss, PhD, MS
Academic Medicine, Vol.78,
Nº1, páginas 97-107, Enero 2003

Revisor: Dra. Heidi Wagemann Bull, Dpto. Educación Médica, Facultad de Medicina, Universidad de Concepción

La Escuela de Medicina de la Universidad de Brown inició en el año 1989 la planificación de un currículo basado en competencias. Implementado en 1996, el 1er curso se graduó en el 2000, momento en que cada estudiante debía: demostrar maestría de conocimiento médico básico, lograr eficiencia en niveles inicial e intermedio en nueve habilidades claves y sostener un nivel avanzado en la resolución de problemas y tres otras acorde a sus intereses.

Las nueve habilidades en las que se requirió mostrar competencia en la carrera fueron:

I           Comunicación Efectiva
II          Destrezas Clínicas Básicas
III          Utilización de las Ciencias Básicas en la Práctica Médica
IV        Diagnóstico, Manejo y Prevención
V         Aprendizaje de por Vida
VI        Autoconciencia, Autocuidado y Crecimiento Personal
VII        Contexto Social y Comunitario en el Cuidado de la Salud
VIII      Razonamiento Moral y Ética Clínica
IX        Resolución de Problemas

El grado de exigencia dependió del desarrollo profesional de los alumnos, existiendo 3 niveles: Inicio (nivel de habilidad previo a clínica), Intermedio (se logra hacia el final del tercer año de práctica clínica) y Avanzado (logrado a través del internado, práctica ambulatoria y 4 años de electivos). Por ejemplo, en la habilidad III, se demuestra la competencia a nivel inicial a través del trabajo en preclínica al reconocer e identificar problemas de salud; a nivel intermedio al evidenciar un entendimiento concienzudo de los problemas de salud en los lugares clínicos y a nivel avanzado al demostrar comprensión y anticipación de la historia natural y manejo de los problemas crónicos de salud.

El Comité del Currículo Médico determina el número de certificaciones requeridos para demostrar competencia en cada nivel en cada habilidad, siendo variadas las experiencias de aprendizaje para adquirirlas. Existe una base de datos de los programas, disponible en Internet, manteniendo al día el progreso de los alumnos.

El Comité mencionado además confiere el poder de dar certificación en cursos individuales en habilidades específicas para distintos niveles a los comités de evaluación, los que se componen de docentes, estudiantes y administradores.

Ellos revisan periódicamente, asegurando el uso adecuado de métodos de evaluación en cada destreza. Se utilizan múltiples formas de medir las competencias tratando siempre de capturar y evaluar el desempeño en tareas similares a las desarrolladas por los médicos en su práctica diaria. Es válido el uso de medidas tradicionales, como exámenes escritos y en muchas prácticas clínicas la combinación de estos con la medida de desempeño en un OSCE (examen clínico objetivo estructurado). La calificación del curso y certificación de competencia se consideran independientes, en forma que puede aprobarse un curso basado en conocimientos y reprobar la certificación de competencia, o viceversa.

EVALUANDO LAS NUEVE HABILIDADES

Habilidad I: Comunicación Efectiva

Evaluada por medio de observación (directa o en video) de los alumnos en actividades con pacientes, clases tradicionales, presentaciones, tutorías, rondas en hospital, o como integrante de equipos. El observador o calificador es un profesor, un paciente estandarizado o real entrenado, la audiencia, los pares (en caso de algunos cursos electivos), profesores clínicos invitados (en presentaciones en área preclínica). El foco es evaluar la entrevista médica, contando la Universidad de Brown con una lista de chequeo confiable y válida.

En evaluación por pares, profesores asistentes dan a cada estudiante el nombre de 3 compañeros al iniciar el semestre, para una calificación anónima del desempeño de acuerdo a un instructivo que es devuelto en un informe a mitad de semestre. Estas evaluaciones nunca son vistas por el profesor encargado, y no se toman en cuenta en su graduación. Ellas han mostrado un significativo resultado en el cambio de conductas ya que abarcan información acerca de fortalezas y aspectos a desarrollar a futuro, incluyendo nivel de participación, calidad de comentarios, forma de participación en el grupo, entre otros.

A nivel intermedio se evalúa en clínica con un instrumento común elaborado por los encargados. El OSCE es utilizado en especialidades de obstetricia, ginecología y pediatría.

Habilidad II: Destrezas Clínicas Básicas

La competencia a nivel inicial se evalúa en el 2º año en el curso de Introducción a Medicina Clínica por medio de la observación del desempeño al realizar historia clínica, examen físico y procedimientos básicos en pacientes reales y estandarizados. Las listas de chequeo son el método principal de valoración, aunque estudios recientes indican que las escalas de graduación podrían mejorar la validez. Los pacientes estandarizados revisan videos de estudiantes haciendo una estación de OSCE, lo gradúan y discuten su decisión con otros pacientes y entrenadores, aumentando la confiabilidad entre graduadores.

La destreza al hacer procedimientos es evaluada usando sujetos reales o maniquíes. Primero los alumnos aprenden a desarrollarlos en maniquíes al iniciar tercer año, teniendo una guía escrita que indica cada etapa. A nivel intermedio se requiere demostrar eficiencia en 10 procedimientos básicos y ser capaz de describir 10 avanzados. En la práctica clínica la desempeñan bajo supervisión directa de alguien experto, el que luego señala las actividades desarrolladas certificando los procedimientos que fueron hechos satisfactoriamente. En procedimientos diagnósticos más avanzados se espera que los estudiantes sólo interpreten resultados. El promedio global de la calificación de la destreza en la historia hablada, obtenida a través de estaciones del OSCE de 4º año es utilizada para determinar aprobación o reprobación, usando una técnica estandarizada descrita por Hofstee.

Habilidad III: Utilización de las Ciencias Básicas en la Práctica Médica

La evaluación de esta habilidad se enfoca en como un buen estudiante puede utilizar los conocimientos de ciencias básicas en explicar fenómenos clínicos o solucionar problemas. El medio preponderante de evaluarla es el Aprendizaje Basado en Problemas (ABP), existiendo otros exámenes como preguntas de selección múltiple (con viñetas clínicas para evaluar en el nivel inicial), de respuesta corta, pruebas en casa (fundamentado en que se requiere menos memoria y refleja mejor lo que los médicos hacen, es decir, “ir a buscar a libros” cuando enfrentan un problema complejo, atípico o desafío clínico).

En actividades prácticas o presentaciones orales se evalúa la capacidad de relacionar las ciencias básicas en la práctica médica, por ejemplo en anatomía los estudiantes deben investigar un problema clínico relacionado a las estructuras que disecaron para luego explicar la relación clínica quirúrgica.

Habilidad IV: Diagnóstico, Manejo y Prevención

A nivel inicial se adquiere destreza básica de diagnóstico mientras se analizan casos en sesiones de ABP, poniendo énfasis en desarrollar diagnósticos diferenciales. En clínica se tiene la oportunidad de diagnosticar enfermedades y participar en seminarios en el Hospital.  Aquí la evaluación es una aproximación estándar en toda la práctica y cursos electivos, debiendo presentar la información (oral y escrita) de historia y examen físico de un paciente, obtenido bajo la supervisión de un residente, generando una lista de problemas y planes para futuras investigaciones y el manejo, teniendo la respectiva retroalimentación de supervisores. La suma de estas evaluaciones se usa como base para la calificación final, dando mayor peso al desempeño práctico de los alumnos.

Junto a lo descrito se utilizan exámenes:

Orales: por ejemplo en la práctica de cirugía

Escritos: preguntas de los docentes o extraídas del NBME. Un examen de “aspectos claves” en obstetricia y ginecología evalúa destrezas de diagnóstico y manejo.

OSCE con pacientes estandarizados en medicina, obstetricia, ginecología, pediatría. Se juzgan en términos de identificar factores de riesgo y como proporcionan consejos preventivos, especialmente en áreas que requieren un cambio de conducta.

Habilidad V: Aprendizaje de por Vida

A nivel inicial e intermedio se solicitan tareas que requieren investigación, revisión y extractar información de múltiples fuentes y se evalúa en cuanto al éxito del cometido. Esta destreza técnica puede evaluarse a través del ABP y a nivel intermedio en clínica se juzga por medio del tipo de literatura revisada en la preparación de presentación de casos. Como esta habilidad envuelve la internalización de una actitud de aprendizaje de por vida y capacidad de búsqueda de información, los facultativos quienes tienen relación por mayor tiempo con los alumnos se tornan en los más calificados para juzgarla.

A nivel avanzado se reciben créditos de competencia al exhibir la destreza durante procesos de investigación, incluyendo tipo de preguntas, uso de modalidades sofisticadas de búsqueda y organización de datos, usando los resultados de la información en la publicación de un artículo, resumen o póster o presentación de una conferencia.

Habilidad VI: Auto-conciencia, Auto-cuidado y Crecimiento Personal

Existe duda que las formas de evaluación tradicional puedan evaluarla adecuadamente, mas aún muchos facultativos refieren que son capaces de decir con un cierto grado de seguridad cuales alumnos tienen mayor desarrollo en este sentido. Ayudan además la forma de enfrentar la retroalimentación, diferenciando a los que la buscan activamente para aprender de sus errores, de los que reaccionan en forma defensiva; como también el valorar si logran hacer un balance entre su vida y estudio, dando apropiada atención al ejercicio físico, emocional y espiritual. Nuevamente los docentes mejor calificados para juzgar son con quienes interactúan por tiempos mayores, es decir, aquellos consejeros que siguen a los estudiantes durante 4 años. En los 2 últimos años de la carrera son capaces de evaluar cada habilidad del alumno tomando buenas decisiones y tratando con el estrés del proceso de acordar la residencia. Se certifica esta habilidad en los niveles iniciales e intermedio.

Los cursos electivos proporcionan otra oportunidad de ganar competencia en esta habilidad, donde el docente supervisor evalúa la destreza de honestamente reflejar sus reacciones al confrontar situaciones clínicas diarias y usar la información para mejorar las interacciones.

Habilidad VII: Contexto Social y Comunitario en el Cuidado de la Salud

Puede lograrse a través de actividades de aprendizaje en servicios donde alumnos trabajan con individuos en diversas perspectivas y luego evaluados en su capacidad de caracterizar la salud de la comunidad desde un punto de vista epidemiológico e identificar factores, biológicos o no biológicos que la afectan. Se utilizan reportes escritos, presentaciones orales, exhibición de proyectos, participación en sesiones de reflexión, y calificaciones por miembros de la comunidad y supervisores. La mayoría de los alumnos ganan al menos un crédito inicial a través de esta actividad, pero los que juegan un rol de líder en estas organizaciones ganan nivel intermedio.

En clínica se evalúa a nivel intermedio en práctica de medicina familiar, salud comunitaria y electivos que usan proyectos basados en la comunidad. Los docentes califican a través de presentaciones orales usando apoyo computacional, posters y/o haciendo un reportaje de un paciente, enfatizando en la evidencia que han explorado en las dimensiones sociales, culturales, psicológicas, económicas y espirituales.

A nivel avanzado el comité de evaluación designa facultativos para trabajar con alumnos interesados en la búsqueda en este grado. Acá él debe presentar sus actividades en un seminario con miembros de la comunidad y establecer la conceptualización, planificación, implementación y análisis de un proyecto enfocado en la salud de las poblaciones.

Habilidad VIII: Razonamiento Moral y Ética Clínica

A nivel inicial se gana competencia haciendo un curso de ética. En intermedio se aplica un análisis ético en set clínico y se evalúa por medio de “rondas éticas”, en las que un alumno presenta un caso a sus compañeros y docente de bioética, seguido de discusión grupal. Se logra certificación participando en estas reuniones y preparando un escrito de un caso ético.

En el OSCE de 4º año se evalúa la sensibilidad y habilidad de reconocer un tema ético cuando enfrenta el contexto. Los casos se estructuran de forma tal que los estudiantes que no poseen esta cualidad pueden interpretarlos como un sencillo problema biomédico, sin componente ético. Se entrenan pacientes estandarizados para calificar.

El crédito avanzado se obtiene al hacer un proyecto individual o grupal bajo supervisión de un docente. Incluye un estudio en set clínico, tesis con honores, publicación en bioética, o un internado en un Instituto de Bioética. El comité de evaluación de esta habilidad es el responsable de evaluar y aprobar el proyecto para este crédito.

Habilidad IX: Resolución de Problemas

Habilidad que involucra integración de la investigación, datos clínicos y desarrollo de un plan de acción en orden a resolver un problema e implementar un plan de acción. Es necesario demostrar destreza en el juego de muchas demandas, estableciendo prioridades, trabajando eficientemente, negociando, manejando y anticipando obstáculos. Tal resolución de problemas se puede evaluar sólo en acción, al menos en nivel avanzado, con foco en el paciente y manejo colectivo. El docente juzga la capacidad de establecer prioridades, monitorizar pacientes, seguridad en investigaciones, comunicación con pacientes y familiares, preparar para el alta y dejar arreglado para que sigan los servicios comunitarios.

A nivel inicial se valora en ciencias básicas a través de análisis semanales de viñetas clínicas y exámenes escritos, y en intermedio se los sitúa en un caso con responsabilidad de múltiples tareas complejas y luego se ve el éxito en cumplirlas.

Conclusiones:

El currículo basado en competencias implementado por la Facultad de Medicina de la Universidad de Brown logra metas de evaluación orientadas por la definición de las tareas que se espera que los graduados realicen como médicos, incorporando conocimiento, habilidades, destrezas y valorando las competencias. En los cursos el docente usa múltiples medidas de desempeño a través del tiempo para evaluar no sólo lo que los estudiantes conocen, sino también sus habilidades para hacer lo que ellos conocen. El resultado es un currículo que captura mejor el rango completo del significado de un médico competente.

Comentario:

La reforma de evaluación en Educación Médica sugiere el dominio de la competencia como centro de todas las actividades y propone la adopción de modelos de evaluación sobre la certificación de ellas. Competencia es “combinación de destrezas, habilidades y conocimiento necesarios para desempeñar una tarea específica” (U.S. Departamento de Educación, 2001), evaluando su adquisición en términos de progresión, consolidación y certificación. En Medicina constituyen un continuo que se puede resumir en la Pirámide de Miller (Miller GE. “The Assessment of clinical skills/competence/performance”. Academic Medicine (Suplemento) 1990; 65: S63-S7).

La educación basada en resultados constituye un modelo en el cual las decisiones en el currículo se conducen acorde a lo que se espera que los alumnos desarrollen al terminar el curso. El producto define el proceso, es decir los resultados orientan en como es enseñado y evaluado el currículo. Spady (1988) lo define como “una vía de diseño, desarrollo, entrega y documentación de la instrucción en términos de sus metas y resultados deseados” y cuenta con 2 requisitos: los resultados deben estar claramente identificados y conocidos por todas las personas involucradas; y ser ellos los que guíen la toma de decisiones en el currículo, tanto en contenido, organización, estrategias educacionales, métodos de enseñanza, procedimientos de evaluación y medio ambiente educacional.

Consta con ventajas como que los resultados del aprendizaje son basados en el desempeño, existe comunicación de ellos, se enfatiza en una visión integrada de educación médica y desarrollo personal del médico como profesional, se adapta al contexto local, define formas para evaluar y posee un marco aplicable a todas las fases del continuo de la educación.

La evaluación del desempeño del alumno mide no sólo la retención de conocimientos, sino también desarrollo de destrezas, conductas y actitudes posterior al entrenamiento médico, y habilidad para utilizar datos en resolución de problemas. En la planificación de un  programa de este tipo existen múltiples tareas que se listan cronológicamente, incluyendo establecer premisas de evaluación, principios de la educación basada en resultados, definir métodos, clarificar criterio de evaluación, generar una fuerza para esta tarea, hacer un programa de evaluación sistémica y sistemática, y favorecer el flujo de la información.

Pensando en estos principios es que la Universidad de Brown creó un nuevo currículo basado en el desempeño de nueve habilidades, dando como resultado un currículo que capturó mejor el rango completo del significado de ser un médico competente.

Otras Referencias sugeridas:

  1. DANIEL D. et al.  “Assessing Competence in Communication and Interpersonal Skills: The Kalamazoo II Report”. Academic Medicine, 2004; 79: 495-507.

  2. HARDEN R; CROSBY J; DAVIS M. AMEE Education Guide Nº 14: Outcome-based education: Part 1 – An introduction to outcome-based education. Medical Teacher, 1999; 21: 7-14. 

  3. SMITH S, DOLLASE R. AMEE Education Guide Nº 14: Outcome-based education: Part 2 – Planning, implementing and evaluating a competency-based curriculum. Medical Teacher,1999; 21: 15-22. 

  4. VOORHES R. “Competency-Based Learning Models: A Necessary Future”. New Directions For Institutional. New Directions for Institutional Research Nº 110, summer 2001.