 |
|
INVESTIGACION
|
Utilización del método de Evaluación de
Competencias Clínicas (OSCE) Graciela Torres A.1; Lissette Alid S.1 Eduardo Fasce H. 1 RESUMEN:Introducción:
La
evaluación de competencias clínicas mediante sistemas estructurados
como el OSCE ha tenido una creciente inserción en los pregratos de
Medicina debido a su objetividad y validez. Objetivo: Evaluar la aplicación del OSCE en el módulo de primeros auxilios que se imparte a estudiantes de primer año de Medicina en la Universidad de Concepción. Material y método: Se realizó Primeros Auxilios a 114 alumnos durante el año 2004. La modalidad pedagógica consistió en 10 horas teórico prácticas y actividades prácticas en grupos de 7 a 10 alumnos. La evaluación cognitiva se efectuó a través de un test escrito de respuestas abiertas y la presentación de un trabajo grupal. Las competencias clínicas fueron evaluadas por medio del método OSCE con 7 estaciones que corresponden los a objetivos centrales del programa: ejecución de la maniobra de Heimlich, aplicación de vendaje, inmovilización, punción intramuscular, medición de presión arterial, manejo básico de lesionado en vía pública y reanimación cardiopulmonar Se aplicó una encuesta de opinión en formato Likert de 4 categorías. Resultados: El promedio de la evaluación teórica fue de 6,1 con un rango entre 3.4 y 7.0 (escala de 1 a 7). 57,9% de los estudiantes rindieron entre 6.0 a 6.9. En la evaluación por medio del OSCE se obtuvieron altos rendimientos en todas las estaciones (entre 6,7 y 6,95). En cuanto a opinión de los alumnos el 79 % estima que la metodología estimula la participación activa, el 87 % que desarrolla habilidades y el 84 % que las actividades fueron estimulantes. El 85 % considera que el OSCE que contribuye a mejorar la competencia en los procedimientos el 77 % que es adecuado para evaluar destrezas y habilidades. Conclusiones
El método OSCE puede ser utilizado como un instrumento de evaluación
para determinar destrezas y habilidades en un curso de primeros auxilios
aplicado a estudiantes de primer año de medicina, logrando una alta
aceptación por parte de estudiantes y docentes.
SUMMARY: Introduction: Clinical competencies assessment through structured
systems like OSCE has been inserted in Pre-graduate Medicine because of
its objectivity an validity. Objective:
Assess OSCE application during the first aid module given to first year
Medicine students in the Universidad de Concepción. Method:
First aid module was carried out with 114 students
during 2004. It consisted in 10 theoretical-practical activities in groups
of seven to ten students. Cognitive assessment was made through a written
test of opened questions and a group work. Clinical competencies were
assessed with OSCE method of 7 stations that correspond with the main
academic objectives: Heimlich maneuver performance, dressing application,
immobilization, intramuscular punction, arterial blood measurement, basic
management of an injured person in the street and CPR. An opinion survey
was applied with a categories Likert format. Results:
The average of theorical assessment was 6.1, with a
range between 6.0 and 6.9. Assessment through OSCE obtained high scores in
all stations (between 6.7 and 6.95). Regarding students opinion, 79%
estimated that the methodology stimulated active participation, 87 % that
develops abilities and 84% that activities were stimulating. 85%
considered that OSCE contributed to improve competency in proceedings
and 77% that is appropriate to assess skills and abilities. Conclusions:
OSCE method can be used as an assessment method for
skills and abilities in a first aid module in first year medicine
students, obtaining high acceptance from students and teachers.
INTRODUCCIÓN Uno de las dificultades más recurrentes que ha debido enfrentar la Educación Médica ha sido establecer métodos de evaluación de las competencias clínicas que cumplan con adecuados criterios de validez, objetividad y confiabilidad. Frente a este desafío se ha desarrollado el OSCE (Objective Structured Clinical Examination) (1), método de evaluación de las competencias clínicas en el cual los componentes o desempeños de éstas, son evaluados en forma planificada o estructurada con énfasis en la objetividad del examen (2). Para que el OSCE cumpla con los criterios establecidos, debe haber concordancia entre el programa del curso y el diseño del examen (3). El número de estaciones depende de los objetivos y contenidos a evaluar, de tal modo de garantizar que las competencias a evaluar sean una muestra representativa de cada curso, asignatura o programa. La situación clínica a desarrollar en cada estación requiere un ambiente adecuado, simulando la realidad, y debe disponerse de los recursos físicos y humanos necesarios para resolverlos (4). El OSCE está constituido por estaciones que conforman un circuito. En cada estación el estudiante se enfrenta a una situación que evalúa una competencia clínica y desempeños específicos. Todos los alumnos son evaluados con las mismas situaciones y cada estación debe contar con instrucciones claras y precisas para el estudiante y una pauta de corrección y, cuando corresponde, con una pauta de evaluación por el docente, pauta para el paciente simulado y pauta de evaluación por el paciente simulado (3). Los estudiantes rotan en forma sucesiva a través de las estaciones. En el circuito se contemplan estaciones de descanso intercaladas (5). En
la literatura se consignan una serie de ventajas
(6) y desventajas (7) de esta forma de evaluación. Principales ventajas:
Algunas
de sus desventajas serían:
Dada la importancia que ha adquirido el OSCE en la evaluación en Medicina y la línea de innovaciones en la docencia que ha desarrollado el Departamento de Educación Médica, nos propusimos evaluar los resultados de su aplicación en estudiantes de primer año.
ESTUDIANTES Y METODO El módulo de Primeros Auxilios
está inserto en la asignatura de Orientación a los Estudios Médicos que
se imparte en el primer año de la carrera de Medicina de la Universidad
de Concepción. El presente trabajo corresponde a su aplicación durante
el año 2004 y comprometió a 114 estudiantes. El
módulo de Primeros Auxilios incluye actividades teórico prácticas y prácticas.
Las primeras consisten en 5 horas teóricas, utilizando la metodología
del aprendizaje basado en problemas, además de clases interactivas. Las
actividades prácticas se realizan en grupos de entre 7 y 10 estudiantes
cada uno. Se complementa la metodología con material de apoyo impreso,
plataforma informática en red y la edición de un programa multimedia en
formato CD-Rom elaborado en la unidad de tecnología informática de
nuestro Departamento. Las competencias se evalúan por medio del método OSCE con 7 estaciones que corresponden los a objetivos centrales del programa: ejecución de la maniobra de Heimlich, aplicación de vendaje, inmovilización, punción intramuscular, medición de presión arterial, manejo básico de lesionado en vía pública y reanimación cardiopulmonar. Para cada estación se establece un diseño estandarizado incluyendo instrucciones para los estudiantes y pautas de cotejo. Para el desarrollo de las estaciones se incluyen pacientes estandarizados, modelos y maniquíes. En cada estación participa un mismo evaluador. El proceso se complementa con una evaluación cualitativa realizada en la forma de una encuesta de opinión del tipo Likert de 4 categorías: total acuerdo, parcial acuerdo, parcial desacuerdo y total desacuerdo. La evaluación cognitiva consiste en un test escrito de respuestas abiertas en base a situaciones clínicas y mediante la presentación de un trabajo grupal.
RESULTADOS
En la Tabla 1 se presenta la distribución de las notas obtenidas en el test teórico. El promedio de notas de la evaluación teórica fue de 6,1 (escala de 1 a 7) con un rango entre 3,4 y 7. El 57,9% de los estudiantes obtuvo ponderaciones entre 6.0 y 6,9. Tabla
1 Resultados evaluación teórica
En la Tabla 2 se presentan los promedios de notas obtenidos en las diferentes estaciones del OSCE: la estación que obtuvo mejor calificación fue la maniobra de Heimlich con un promedio de 6,95. La de menor rendimiento fue la medición de presión arterial con 6,7. Tabla
2
La opinión cualitativa de los estudiantes, tanto de la metodología como del OSCE, se detalla en la Tabla 3. El 79 % estima que la metodología estimula la participación activa, el 87 % que permite desarrollar habilidades y el 84 % que las actividades fueron estimulantes. Con relación al OSCE, opinan que contribuye a mejorar la competencia en los procedimientos en un 85 % y que es adecuado para evaluar destrezas y habilidades en un 77 %. Tabla
3
DISCUSIÓN El
OSCE ha tenido una creciente inserción en diferentes disciplinas biomédicas
en virtud a sus características como medio objetivo, válido y confiable
para evaluar competencias clínicas (3,4,8-12). Permite, además, entregar
información adicional para identificar áreas de debilidad en los planes de
estudios y/o métodos de enseñanza,
antecedentes útiles para mejorar la eficacia educativa, incorporando las
rectificaciones correspondientes (9,10). Como queda de manifiesto en los
estudios señalados, las evaluaciones por medio del OSCE permiten una
distribución normal de los promedios de notas obtenidos por los
estudiantes, los que resultan más bajos que cuando se comparan con las
notas obtenidas en las prácticas clínicas, las cuales tienden a obedecer
a criterios más bien arbitrarios, superficiales y carentes de
objetividad. Los resultados de nuestra experiencia no siguen la tendencia antes señalada, destacando una marcada concentración en los niveles más altos de la escala de notas. Podemos atribuir estos resultados a las características de la metodología utilizada, fuertemente orientada al logro de los objetivos, desarrollada en dinámicas de pequeño grupo con asesoría docente personalizada en el logro de cada competencia y con el apoyo de fuentes diversas de información apropiadas para satisfacer los diferentes estilos de aprendizaje. Con el objeto de obviar eventuales sesgos dependientes del evaluador, se realizaron grabaciones en video de algunas estaciones, actividad que permitió otorgar mayor validez al proceso al comprobar coincidencias en la evaluación por pares. La apreciación cualitativa de la aplicación del OSCE se caracterizó por una alta aceptación, tanto por parte de estudiantes como docentes, pero también fue percibida como una experiencia que requiere un esfuerzo considerable en la preparación del material y en el desarrollo de la actividad, aspectos que son coincidentes con otras comunicaciones (12,13). De igual modo, nuestros alumnos reconocieron que el OSCE es una actividad agotadora, pero que no genera estrés, reconociendo su eficacia para evaluar destrezas y habilidades. En estudios orientados a evaluar las actitudes de los estudiantes durante el OSCE se ha reconocido que puede generar altos niveles de ansiedad, la cual va disminuyendo en la medida en que los alumnos progresan en la evaluación (14).
CONCLUSIONES El método OSCE puede ser utilizado como un instrumento de evaluación para determinar destrezas y habilidades en un curso de primeros auxilios aplicado a estudiantes de primer año de medicina, logrando una alta aceptación por parte de estudiantes y docentes. La utilización de opciones de aprendizaje variadas en conjunto con metodología participativa y personalizada, garantiza el logro de las destrezas requeridas permitiendo alcanzar altos niveles de rendimiento. La filmación de videos representa una adecuada opción para otorgar mayor validez y objetividad al proceso de evaluación.
REFERENCIAS
BIBLIOGRÁFICAS 1.
Caraccio C, Englander R. The
Objective Structured Clinical Examination. A Step in the Direction of
Competency- Based Evaluation. Arch Pediatr Adolesc Med 2000; 154:
736-41. 2.
Harden RM. What is an OSCE?.
Medical Teacher 1988; 10:19-22. 3. Triviño X, Vásquez A, Mena A ,et al. Aplicación del Examen
Clínico Objetivo Estructurado
(OSCE) en la evaluación final del internado de Pediatría en 2 escuelas de
Medicina. Rev Med Chile Julio 2002;
130:817-824. 4.
Bustamante M, Carvajal C, Gottlieb B, Contreras J,
Uribe M, Melkonian T et al. Hacia un nuevo instrumento de evaluación en
la Carrera de Medicina. Uso del método OSCE. Rev Méd
Chile 2000; 128: 1039-44. 5.
Sloan D, Donelly M, Schwartz R,
Strodel W. The Objective Structured Clinical Examination. The New Gold
Standard for Evaluating Postgraduate Clinical Performance. Ann Surg 1995;
222: 735-42. 6. Duerson MC, Romrell LJ, Stevens CB. Impacting faculty teaching and student performance nine years experience with the OSCE. Teach Learn Med 2000; 12(4):176-82. 7. One Programs Experience of OSCE vs Written Board Certification Results: A Pilot Study. Am J Physical Med and Rehabilitation 2000; 79:462-467. 8. Troncon LE. Clinical skills assessment: limitations to the introduction of an "OSCE" (Objective Structured Clinical Examination) in a traditional Brazilian medical school. Sao Paulo Med J; 2004,122:12-7. 9.
Tervo RC, Dimitrievich E,
Trujillo AL, Whittle K, Redinius P, Wellman L.
The Objective Structured 10. Hamann C, Volkan K, Fishman MB,
Silvestri RC, Simon SR, Fletcher SW.
How well do 11.Pierre RB, Wierenga A, Barton M,
Branday JM, Christie CD.
Student evaluation of an OSCE in 12. Brosnan M, Evans W, Brosnan E,
Brown G.
Implementing objective structured clinical skills 13. Furlong E, Fox P, Lavin M,
Collins R.
Oncology nursing students' views of a modified OSCE. 14. Allen R, Heard J, Savidge M, Bittengle J, Cantrell
M, Huffmaster T. Surveying students' attitudes
1
Departamento
de Educación Médica, Facultad de Medicina, Universidad de Concepción
|
||||||||||||||||||||||||
