Experiencia de la aplicación del ECOE en línea en Facultad de Medicina, UNAM,
durante la emergencia sanitaria por COVID-19.

Rocío García D.^*a, Francisco Javier Fernández P.^*b,
Antonio Cerritos^*c, Mónica Anastasia Ramírez A.^*d

RESUMEN

La pandemia causada por el SARS-CoV-2 del 2019, al trastocar las actividades académicas presenciales favoreció la Educación Remota de Emergencia (ERE) y por consiguiente la evaluación médica en línea. Esta situación representó un reto para la gestión de un Examen Clínico Objetivo Estructurado (ECOE) virtual mediante la creación de las coordinaciones académica, de logística, de capacitación y de informática, cuyas actividades basadas en el uso de plataformas virtuales generó un referente tras aplicar en la Facultad de Medicina (FM) de la Universidad Nacional Autónoma de México (UNAM) el ECOE en línea como parte de una evaluación de altas consecuencias.

Palabras clave: Evaluación médica, Educación remota de emergencia, ECOE en línea, Evaluación de altas consecuencias.

SUMMARY

Experience of the Application of the OSCE online in the Faculty of Medicine, of the UNAM, During the Health Emergency by COVID-19.

The pandemic caused by SARS-CoV-2 of 2019, by disrupting face-to-face academic activities, favored Remote Emergency Education (ERE) and therefore online medical evaluation. This situation represented a challenge for the management of a virtual Objective Structured Clinical Examination (OSCE) through the creation of academic, logistics, training and informatics coordination, whose activities based on the use of virtual platforms generated a reference after applying in the Faculty of Medicine (FM) of the National Autonomous University of Mexico (UNAM) online OSCE as part of a high-consequence evaluation.

Keywords: Medical evaluation, Remote emergency education, Online OSCE, High-consequence evaluation.

La emergencia sanitaria mundial de 2020 afectó la educación profesional y los procesos de evaluación. Así, la FM de la UNAM, en enero de 2021 aplicó el Examen Profesional (EP) a la generación 2014 considerándose para la gestión una opción virtual para preservar la salud de los sustentantes (legalmente sustentante es aquella persona que presenta su examen profesional, en el trabajo se le denominará también examinado) y la del personal participante en la fase práctica mediante el ECOE.

El ECOE es un método para evaluar habilidades, actitudes y conocimientos que no se examinan con formatos de evaluación escritos⁽¹⁾. Es un encuentro clínico mediante la representación ficticia de un paciente con una enfermedad predeterminada expresada en un caso clínico⁽²⁾. Es un método válido, confiable y reproducible que evalúa las competencias objetivamente de forma estructurada y se utiliza en la educación médica desde el pregrado al posgrado⁽³⁾. En esta aplicación del ECOE se siguieron siete de los 12 pasos para el diseño de un ECOE presencial que se trasladó a la virtualidad bajo el concepto de ERE⁽⁴⁾, que implica un cambio temporal en la instrucción a un modo alternativo debido a circunstancias de crisis que conlleva utilizar soluciones remotas que volverán al formato presencial una vez que la emergencia haya disminuido.

El ECOE en el EP debe evaluar seis de las ocho competencias del plan de estudios: 1) Pensamiento crítico, juicio clínico, toma de decisiones y manejo de la información; 2) Comunicación efectiva; 3) Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas en el ejercicio de la medicina; 4) Habilidades clínicas de diagnóstico, pronóstico, tratamiento y rehabilitación; 5) Profesionalismo, aspectos éticos y responsabilidades legales; 6) Salud poblacional y sistema de salud: promoción de la salud y prevención de la enfermedad⁽⁵⁾. Con el resultado, la universidad certifica si el egresado es competente para ejercer la medicina y si cumple con los créditos académicos requeridos.

Se decide aplicar el ECOE en línea para la fase práctica del EP con base en los ensayos de un ECOE formativo mediante Zoom® realizados en junio de 2020, en el que se evaluaron habilidades en la atención a pacientes estandarizados (PE)⁽⁶⁾. Asimismo, se estimó que la gestión mediante coordinaciones mantendría la calidad requerida para esta evaluación de alto impacto (Evaluación de Alto Impacto (EAI) o de altas consecuencias de acuerdo con el Instituto Nacional para la Evaluación de la Educación en México, es cuando los resultados del instrumento tienen consecuencias importantes para las personas o instituciones como en los procesos de admisión o certificación⁽⁷⁾).

La gestión de este ECOE en línea se describe con los apartados: 1. Reto a vencer, 2. Plataforma utilizada, 3. Desarrollo de la Estrategia, 4. Metodología, 5. Discusión y 6. Conclusiones.

RETO A VENCER

En 2021 la FM, se vio en la necesidad de aplicar la fase práctica del EP a 1,088 estudiantes sin poner en riesgo la salud al evitar su desplazamiento al sitio de aplicación. Así, se valoró el uso de una plataforma digital para evaluar simultáneamente a la población; mantener la calidad del ECOE en términos de validez y confiabilidad, identificar a los evaluadores, PE y sustentantes durante el examen en tiempo real.

Un desafío fue organizar la capacitación vía remota para los académicos, evaluadores y PE previo al examen, con la finalidad de garantizar la adecuada aplicación de la evaluación del desempeño a los examinados.

La implementación del ECOE se debía llevar a cabo en dos días, con cuatro turnos, 26 circuitos sincrónicos, conformados por seis estaciones, una duración de 20 minutos y dos horas por turno; seis sustentantes por circuito y en cada turno atender a 156 con 180 evaluadores, 180 pacientes y personal de la Secretaría de Educación Médica (SEM) conformado por personal académico y administrativo que participaron en la gestión del examen.

PLATAFORMA UTILIZADA

La plataforma de videoconferencias idónea para la aplicación del ECOE virtual fue Zoom® por ser un software sencillo de usar, producto de Zoom Video Communications Inc. que comenzó su uso masivo por la pandemia en el teletrabajo y la educación a distancia⁽⁸⁾.

Las ventajas de Zoom® para la implementación del ECOE en línea fueron que se usa en cualquier dispositivo móvil o de escritorio al conectarse a alguna red; es posible generar salas, ver y escuchar en tiempo real a los participantes; grabar las sesiones; usar la pantalla compartida; silenciar el micrófono y apagar video; guardar las conversaciones del chat. El anfitrión cuenta con herramientas para controlar la sesión, permitir accesos, designar a coanfitriones, entre otras. Por otra parte, la UNAM al tener convenio con la empresa, resolvió el requisito legal de que el EP se efectúe “…en los recintos escolares de la Universidad…” como se describe en el Art. 6⁽⁹⁾.

DESARROLLO DE LA ESTRATEGIA

La gestión para la implementación del ECOE se desarrolló bajo dos rubros: determinar los roles y actividades de los participantes en la atención de los circuitos (coordinador general y de circuito) y en su implementación (anfitrión, evaluador y PE).

Tabla 1. Roles definidos para la implementación del ECOE virtual.

El segundo rubro fue gestionar la implementación del ECOE en línea, mediante la definición de cuatro coordinaciones.

Coordinación Académica (CA): liderada por un equipo de médicos especialistas, elaboraron los casos para las seis estaciones clínicas y organizaron los circuitos. Cuenta con el apoyo secretarial de dos personas.

De Logística (CL): responsable de contactar, invitar, confirmar la asistencia de los participantes del ECOE. Mantenerse en comunicación con ellos hasta la conclusión del examen. Asignó a evaluadores y PE a los circuitos y les envío los materiales correspondientes vía correo electrónico.

De Capacitación (CC): para trasladar el ECOE presencial a en línea diseñó e impartió la capacitación a coordinadores, evaluadores, PE y anfitriones en cuanto a la dinámica del ECOE y en el uso de la plataforma de videoconferencias Zoom®. La capacitación se organizó en seis sesiones, con dos horarios y una duración de dos horas.

De Informática (CI): capacitó a anfitriones, PE, coordinadores y evaluadores en el manejo de Zoom®; concentró las direcciones electrónicas para los circuitos (reuniones de Zoom®) y las envió oportunamente a los coordinadores generales y anfitriones; solucionó problemas técnicos durante el examen.

La capacitación a los evaluadores tuvo como propósito que la evaluación del desempeño a los sustentantes fuera objetiva y eficiente por lo que se les preparó para el manejo del sistema evaluador, se ahondó en los elementos orientadores que lo conforman: fecha, circuito, estación, turno, los seis nombres completos de los sustentantes en cada circuito, el uso de las rúbricas clasificadas por el nombre de la competencia a evaluar, la forma en que se despliega la guía de la misma, la verificación de la calificación asignada y en qué caso, de ser necesario, usar el botón de alerta para solicitar ayuda.

Además, el evaluador observaría que el sustentante sólo mantuviera la atención en el paciente, que se encontrara solo en el espacio donde rendiría el examen y que estuviera visible a la cámara en todo momento.

MATERIAL Y MÉTODO

Los estudiantes, al concluir el internado, se inscriben al EP que consta de las fases teórica y práctica. Al aprobar la primera elijen ser examinados para la fase práctica Ante Paciente Real (APR) o con el ECOE.

La organización de este examen siguió siete de los 12 pasos para el diseño del ECOE⁽²⁾ en los que se incluyó la participación de las coordinaciones.

1. Planificación general del examen

1. La CA consideró 1,088 inscritos al ECOE virtual; que la validez y confiabilidad deben ser idénticas a la aplicación presencial para la evaluación de seis competencias definidas.
2. Organizó las estaciones.
3. Seleccionó a los PE.
4. Verificó que las estaciones clínicas evaluaran las seis habilidades.

2. Definición de contenido

1. Consideró el perfil de referencia del programa académico del internado médico.
2. Elaboró una tabla de especificaciones con las enfermedades más frecuentes y las dimensiones de la competencia clínica a demostrar.

3. Especificaciones de la prueba e instrumento de evaluación

1. Estableció seis estaciones de 20 minutos, con dos versiones de estaciones para dos días de evaluación, con casos representativos de padecimientos a abordar por un médico general.
2. Elaboró las rúbricas conformadas por escalas globales para calificar el desempeño clínico.

4. Desarrollo de las estaciones

1. Ajustó el formato de los materiales a utilizar mediante Zoom®.
2. Elaboró las instrucciones que describen las acciones a seguir por los sustentantes en la estación clínica, los resultados de laboratorio y gabinete para el abordaje del caso clínico.
3. La CC preparó a los evaluadores en el uso de los materiales vía Zoom®.
4. Capacitó a PE en cómo representar vía remota el caso clínico.

5. Diseño del ECOE

La claridad y relevancia de las estaciones definidas resultó de la consulta a evaluadores después de la prueba piloto de 2020 sobre: cuáles aspectos del caso clínico permiten mejorar el material para el alumno, la claridad de las guías, el desempeño de los (PE) para ajustar los libretos y si la interacción con el sustentante duró lo suficiente para evaluar su desempeño. Asimismo, se probaron las rúbricas que la CI actualizó en el sistema evaluador.

6. Producción

La CA clasificó los libretos e integró las carpetas digitales por estación con las indicaciones para el examinado, guía del evaluador, rúbrica, estudios de laboratorio y gabinete que entregó a la CL para su envío al PE y evaluadores vía correo electrónico respectivamente.

7. Aplicación del examen

1. En la fecha señalada del ECOE virtual, acudieron a los espacios virtuales asignados los coordinadores generales, de circuito, anfitriones, PE y evaluadores.
2. Una hora antes del inicio del examen, 26 anfitriones abrieron la reunión de Zoom®, recibieron a los respectivos evaluadores y PE, comprobaron su identidad y estación clínica asignada y los ubicó en la sala correspondiente. Recibió 15 minutos antes de la hora de inicio del EP a seis sustentantes que identificó, verificó que sus entornos fueran los solicitados y les dio acceso a la estación clínica donde iniciarían. Corroboró que las estaciones estuvieran completas, avisó vía WhatsApp® al coordinador general e inició el ECOE.
   Transcurridos 20 minutos, el anfitrión movió a los sustentantes a la siguiente estación clínica (Figura 1).
   Ante las eventualidades, el anfitrión buscó darles solución. En ocasiones recurrió al coordinador general, quien concentró los reportes sobre la ausencia de algún paciente, evaluador o sustentante. Además, un académico contactó a evaluadores y PE de reserva en espera de ser solicitada su participación para subsanar cualquier contratiempo.
   La CI contactó a los sustentantes que tuvieron fallas en la conexión y organizó la evaluación de la estación interrumpida al final del examen para que no se afectara el transcurso del circuito.
3. Regulaciones del examen y reglas de conducta. La evaluación tiene dimensiones éticas de racionalidad, lógica, justicia, valores, virtudes y equidad⁽¹⁰⁾; por ello, la CA solicitó a los examinados, pacientes y evaluadores, firmar una carta de confidencialidad ya que el contenido del examen y sus materiales pertenecen a la UNAM. Asimismo, alguna conducta inadecuada durante el ECOE causaría suspensión.

El valor que tienen las coordinaciones en la planificación del ECOE para examinar el desempeño clínico ante la situación de emergencia se estima con la comparación de las aplicaciones presencial y virtual.

Los pasos del ocho al 12 del ECOE no se contemplaron ya que tienen que ver con el análisis estadístico de los resultados, su interpretación y reporte.

Figura 1. Implementación del ECOE virtual. EC: Escenario clínico; S: Sustentante; Ev: Evaluador; Pac: Paciente estandarizado

A continuación, se compara la gestión de las modalidades presencial y virtual del ECOE con respecto a los criterios:

CONCLUSIONES

La aplicación del ECOE virtual a 1088 sustentantes evidenció un impacto en los siguientes aspectos:

• La gestión del ECOE en línea por coordinaciones mantuvo la validez y confiabilidad que se requiere para un examen de altas consecuencias valiéndose de diferentes medios de comunicación y de las tecnologías de la información.
• La función de las coordinaciones en la planificación de un ECOE abre la oportunidad de enriquecer su contenido, organización y capacitación a los participantes.
• La distribución de las actividades entre las coordinaciones favoreció que la CA contara con más tiempo para la adaptación de las estaciones en línea.
• Es necesario evaluar el proceso de gestión en las próximas aplicaciones de ECOE presencial y virtual para contar con la evidencia necesaria para la mejora.
• Una limitación es que no se contó con un instrumento con el cual obtener evidencias de la implementación con la nueva gestión.

RECOMENDACIÓN

El éxito de la aplicación de un ECOE no sólo tiene que ver con el examen propiamente dicho, también requiere de una gestión que fomente la colaboración, organización, capacitación y comunicación con los grupos de trabajo.

REFERENCIAS BIBLIOGRÁFICAS

1. Harden R, Crosby J. AMEE Guide No 20: The good teacher is more than a lecturer - the twelve roles of the teacher. Med Teach. 2000; 22(4): 334-347. Disponible en: https://www.tandfonline.com [Consultado el 1 de marzo de 2022].

2. Martínez-González A, Trejo-Mejía A. ¿Cómo realizar un ECOE? Inv Ed Med. 2018; 7(28): 98-107. Disponible en: http://riem.facmed.unam.mx [Consultado el 10 de enero de 2022].

3. Hytöten H, Näpänkangas R, Karaharju-Suvanto T, et al. Modification of national OSCE due to COVID-19-Implementation and student's feedback. Eur J Dent Educ. 2021;25:679-688. Disponible en: https://helda.helsinki.fi [Consultado el 25 de febrero de 2021].

4. Sánchez M. La educación remota y digital en la UNAM durante la pandemia. Panorama General. Segunda Edición. Ciudad de México: Coordinación de Universidad Abierta, Innovación Educativa y Educación a Distancia, UNAM; 2021. Disponible en: https://cuaieed.unam.mx [Consultado el 26 de febrero de 2022].

5. Facultad de Medicina, UNAM. Plan de Estudios 2010 y Programas Académicos de la Licenciatura de Médico Cirujano. 2009. Disponible en: https://medicina.facmed.unam.mx [Consultado el 30 de marzo de 2021].

6. Rivero-López C, Pompa-Mancilla M, Trejo-Mejía J, Martínez-González A. Examen clínico objetivo estructurado en línea (Web-ECOE): percepción de los pacientes, evaluadores y residentes. Inv Ed Med. 2022; 11(42): 1-10. Disponible en: http://riem.facmed.unam.mx [Consultado el 10 de marzo 2022].

7. Sánchez-Mendiola M, Delgado-Maldonado L. Exámenes de alto impacto: implicaciones educativas. Inv Ed Med. 2017; 6(21): 52-62. Disponible en: http://www.riem.facmed.unam.mx [Consultado el 14 de marzo 2022].

8. Sánchez-Mendiola M, Fortoul van der Goes T. Zoom y la educación en ciencias de la salud: ¿medio o mensaje? Inv Ed Med. 2021; 10(38): 76-88. Disponible en: http://www.riem.facmed.unam.mx [Consultado el 5 de febrero 2022].

9. Universidad Nacional Autónoma de México. Reglamento General. Subdirección de Sistemas de Registro Escolar, 2021. Disponible en: https://www.dgae-siae.unam.mx.

10. Cunill M. García J, Oramas R. Aspectos éticos de la evaluación del aprendizaje en las Ciencias Médicas. Rev Haban Cienc Méd. 2016; 15(6): 1005-1016. Disponible en: http://scielo.sld.cu [Consultado el 18 de marzo 2022].

11. Trejo-Mejía A, Peña J, Soto C, et al. Adaptación de un ECOE presencial a modalidad en línea para un examen de altas consecuencias. Inv Ed Med. 2022; 11(43): 16-35.

12. Khan, F. Williams, M., Napolitano, C. Resident education during COVID-19, virtual mock OSCE’s via zoom: A pilot program. Elsevier Public Health Emergency Collection; 2021: 69. Disponible en: https://www.ncbi.nlm.nih.gov [Consultado el 8 de marzo de 2021].

13. Trejo-Mejía J, Martínez-González A, Méndez-Ramírez I, et al. Evaluación de la competencia clínica con el examen clínico objetivo estructurado en el internado médico de la Universidad Nacional Autónoma de México. Gac. Méd. Méx. 2014; 150: 8-17. Disponible en: http://www.anmm.org.mx [Consultado el 15 enero de 2022].

Artículo recibido el 01/10/21, Aceptado el 18/05/22.