Primera Reunión Académica Soeducsa 2006

“Innovaciones en evaluación del aprendizaje en Ciencias de la Salud" 1

La Sociedad de Educación en Ciencias de la Salud (SOEDUCSA) es una organización de derecho privado, que agrupa a los académicos de las distintas disciplinas de las ciencias de la salud, de universidades estatales y privadas de nuestro país, interesados en perfeccionar y fomentar la educación en ciencias de la salud.

A SOEDUCSA le interesan primordialmente "los aspectos éticos de la educación, asegurar la calidad de la docencia mediante la acreditación, profundizar la investigación educativa, evaluar comprensivamente el aprendizaje y continuar innovando en las metodologías de enseñanza-aprendizaje”.

Una de las estrategias de SOEDUCSA para impulsar el desarrollo de la educación en ciencias de la salud, así como de contribuir con el perfeccionamiento continuo de sus miembros, es la organización de reuniones académicas, en las que se presentan tópicos de actualización, intervenciones pedagógicas e investigaciones educativas realizadas en diversos centros de estudio, que permiten el diálogo constructivo entre los socios.

Durante el año 2006, la organización de la primera reunión estuvo a cargo de la Prof. Zulema Vivanco, directora de la escuela de Fonoaudiología de la Universidad Andrés Bello en coordinación con la Prof. Ilse López, miembro del directorio de Soeducsa y del Dpto. de Educación en Ciencias de la Salud de la Universidad de Chile. El tema de este encuentro fue “Innovaciones en evaluación del aprendizaje en Ciencias de la Salud” y se realizó en la Sede de la Universidad Andrés Bello el día 17 de Abril de 2006.

A continuación se presenta una breve referencia de las comunicaciones presentadas:


“EL USO DE MAPAS CONCEPTUALES COMO HERRAMIENTA DE APRENDIZAJE Y EVALUACIÓN EN LA CARRERA DE MEDICINA”

Dr. Peter Mc Coll, Director Oficina de Educación Médica, Facultad de Medicina, Universidad de Valparaíso.

Los instrumentos de evaluación tradicionales se enfocan principalmente en aprendizaje memorístico.

La innovación con miras hacia la acreditación requiere nuevas formas de evaluar, que promuevan aprendizajes significativos.

Enseñar a un alumno a aprender es, además de un objetivo relevante en sí mismo, un medio para alcanzar los demás objetivos educativos. En virtud de ello y en consonancia con la opinión de numerosos investigadores del tema, vale la pena insistir en la importancia de promover el desarrollo de estrategias para organizar, controlar y mejorar el aprendizaje (1).

El aprendizaje significativo implica la construcción de esquemas mentales, es decir la organización de estructuras cognitivas que representan las relaciones entre conceptos y procesos.

Los mapas conceptuales son estrategias de enseñanza que permiten al aprendiz organizar el nuevo conocimiento a fin de lograr condiciones de aprendizaje significativo.

La expresión "mapa conceptual" corresponde a un tipo particular de esquema, donde se presenta un orden parcial entre los conceptos necesarios para adquirir otros y útil en planificación de secuencias instruccionales y en diagnóstico. Novak y Gowin (1988) indican que los mapas conceptuales "tienen por objeto representar relaciones significativas entre conceptos en forma de proposiciones".  En la caracterización dada por estos autores destaca la idea de jerarquía. Skemp distingue entre conceptos primarios y secundarios, siendo los segundos casos particulares o ejemplos de los primeros y entonces, de menor orden.

Los Mapas Conceptuales ilustran gráficamente las relaciones entre las ideas. Es una red de conceptos. En un mapa conceptual, dos o más conceptos están unidos a través de palabras que describen la relación entre ellos. Gráficamente se reconocen porque entre las líneas que unen los conceptos hay siempre palabras de enlace que los relacionan.

La utilización de MC en el proceso de enseñaza-aprendizaje de las Ciencias de Salud permite:

  • Facilitar la activación de subsensores relevantes (Ausubel)

  • Promover habilidades de razonamiento clínico (Barrows. y Tamblyn)

  • Integrar información a partir de un problema clínico

  • Desarrollar habilidades de estudio autodirigido para la educación médica continua (aprender a aprender)

  • Favorecer la metaevaluación.

Además, constituyen instrumentos valiosos para la evaluación, pues son útiles desde el punto de vista de la metacognición, ayudando a los alumnos a darse cuenta de sus procesos de aprendizaje y a investigar las relaciones cruzadas entre conceptos, lo que constituye para algunos autores, uno de los indicadores más claros de creatividad.

La asignatura de Introducción a la Medicina en el 2° año de la Carrera de Medicina de la Universidad de Valparaíso introdujo en el año 2002, el Mapa Conceptual Interactivo como estrategia de enseñanza y evaluación de los objetivos del programa (2).

Esta innovación requirió modificaciones en la planificación del formato tradicional de asignatura, destacándose la disminución del número de clases expositivas, el aumento de sesiones de discusión grupal y la incorporación de estrategias de comprensión lectora.

Las actividades de enseñanza contemplaron un taller de introducción sobre mapas conceptuales,  sesiones de discusión grupal, visitas domiciliarias, y el diseño y elaboración de un Mapa Conceptual Interactivo de los factores determinantes de salud identificados en una visita domiciliaria, desde la perspectiva del usuario y del equipo del centro de salud correspondiente.

La evaluación de los Mapas Conceptuales consideró los siguientes criterios:

  1. Jerarquización de los conceptos

  2. Cantidad y calidad de concepto

  3. Relación de Significados

Al finalizar cada período lectivo se evalúa sistemáticamente la respuesta de los estudiantes a esta innovación, mediante una encuesta de opinión. Entre los resultados destaca que el 68% de los estudiantes recomienda el uso de los mapas conceptuales interactivos, pues estimula no sólo el aprendizaje significativo, sino también la incorporación de la tecnología, las potencialidades artísticas de los estudiantes y el trabajo en equipo. Por otro lado, el 67% de los estudiantes señala haber alcanzado un nivel aceptable de aprendizaje de los objetivos del programa. Entre las desventajas del método se señala principalmente, el gran tiempo requerido para cumplir con las tareas del programa.

 

 

“LA AUTOEVALUACIÓN EN EL PROCESO FORMADOR” 

Dra. Elsa Rugiero, Facultad de Medicina, Universidad de Santiago.

La autoevaluación es un proceso que se vale de instrumentos para mejorar la calidad de la enseñanza. Estas formas de evaluación favorecen el desarrollo de la actitud crítica y la búsqueda personal del conocimiento. Por otro lado, los trabajos grupales y la coevaluación contribuyen a desarrollar capacidades sociales que permiten la integración de su “saber hacer” profesional a otras áreas y desempeñarse apropiadamente en equipos de trabajo interdisciplinarios. De allí, la importancia de integrar estas prácticas y formas de evaluación al proceso formador (3).

En los últimos doce años, las carreras de la Facultad de Ciencias Médicas de la Universidad de Santiago de Chile, han utilizado, sistemáticamente, la autoevaluación y la coevaluación como parte de la metodología de enseñanza basada en problemas. Estas actividades se realizan en el proceso de cierre de un problema resuelto y su principal objetivo es lograr que el alumno revise el aprendizaje autoconstruido logrado y cuales han sido sus fortalezas y debilidades en el proceso.

La aplicación de la autoevaluación requiere un especial énfasis en la formación docente en las áreas de comunicación: relacionadas con escucha activa, niveles de tolerancia y aceptación de la diversidad y la capacidad para la renovación permanente. Respecto a los alumnos se requiere una  atención especial en: la tendencia a “cuidar su imagen” y preocuparse de que cualquier forma de “evaluación” pueda traducirse en alguna forma de calificación, lo que puede influir para que: más que mirar el proceso como una oportunidad para enriquecer su  experiencia de aprendizaje, lo vean como una oportunidad de “dar una buena imagen de sí mismos”. También en las coevaluaciones o evaluaciones por pares se puede considerar el ser más “blandos” con los otros como una forma de que los otros sean “blandos” con ellos. (RECS, Octubre 2006 Vol. 3 Nº2)

La ausencia de cultura evaluativa dificulta el proceso en la fase inicial. Sin embargo, pese a todas las debilidades de la autoevaluación y la coevaluación, y aunque no existe evidencia del impacto en la atención de pacientes, lo cierto es que produce aprendizajes significativos.

 

“EVALUACIÓN DE LOS APRENDIZAJES POR COMPETENCIAS, UNA PERSPECTIVA DESDE DISTINTAS CARRERAS DE LA SALUD”

Prof. Luz María Pérez, Directora General de Pregrado, Universidad Andrés Bello.

El desarrollo de la Educación en Ciencias de la Salud ha situado el dominio de las competencias en el centro de las actividades académicas. Las competencias representan la combinación de atributos, el conocimiento y su aplicación, las habilidades, destrezas, actitudes y responsabilidades necesarias para desempeñar una tarea específica.

Las competencias se pueden medir en términos de adquisición, progresión y certificación. En la figura 1 se muestra la pirámide propuesta por Miller para evaluar la adquisición progresiva de las competencias clínicas, desde la teórica hacia la práctica reflexiva. En la base se encuentra el conocimiento, es decir, “lo que sé”, incluyendo saberes teóricos y prácticos, luego están las habilidades, que representan “lo que sé hacer y demuestro”, y en la punta las actitudes, que se refiere a” lo que soy o deseo ser”, mi visión y mis valores (4).

                                          Pirámide de Millar
                                          Fuente: Schonhaut L. Programa de Pediatría Ambulatoria:
                                          Desarrollo de competencias para atender integralmente al
                                          niño y su proceso de salud - enfermedad.
                                          Revista de Pediatría; Agosto 2006,3(2): 21

  • Saber: conocimiento cognitivo. Basado en la memoria (recuerda). Se relaciona con el interés técnico.

  • Saber cómo: integra los conocimientos en una situación concreta (integra). Se relaciona con el interés práctico-hermenéutico.

  • Demostrar cómo: aplica sus conocimientos y habilidades en una situación real o simulada (aplica). Interés práctico-hermenéutico.

  • Hacer o ser: evalúa el desempeño real de la práctica profesional (práctica). Se relaciona con el interés reflexivo, crítico.

Las competencias pueden ser diferenciadas de acuerdo a si son genéricas o específicas. Las genéricas son comunes a todas las disciplinas y se pueden clasificar en instrumentales (comunicación), interpersonales (capacidad de trabajar en equipo) y sistémicas (capacidad de adaptación). Las competencias específicas son aquellas que caracterizan una profesión y la distinguen de otras.

La Facultad de Enfermería de la Universidad Andrés Bello posee un laboratorio con equipamiento y recursos de aprendizaje del más alto nivel, a modo de dar respuesta a los requerimientos de formación de los estudiantes.

Este centro permite apoyar a los estudiantes en el desarrollo de habilidades necesarias para el desempeño profesional, a través de actividades que se realizan desde el primer año de la carrera.

El trabajo con situaciones clínicas simuladas permite al estudiante la integración de los conocimientos adquiridos en diversas asignaturas, favoreciendo la seguridad, independencia y dominio de procedimientos.

La malla curricular se organiza en asignaturas cuyos objetivos son el desarrollo de competencias profesionales en las siguientes categorías:

  1. Básicas

  2. Básicas avanzadas

  3. Preclínicas

  4. Clínicas iniciales

  5. Clínicas intermedias

  6. Clínicas finales

Cada  asignatura se planifica con actividades que consideran carga académica presencial y trabajo del estudiante.

La evaluación se realiza de acuerdo a la siguiente estructura:

  Teórica:

  Prueba escrita
  Múltiple elección
  Desarrollo

  Práctica:

  Análisis de casos
  Simulaciones
  Ejecución

  Teórico práctica:

  Laboratorio de simulación
  Campo clínico

La evaluación en laboratorio de simulación tiene la fortaleza de acreditar el desarrollo de todos los niveles de competencias profesionales.

 

 

“EVALUACIÓN DEL APRENDIZAJE, ESTRATEGIAS INNOVADORAS”

Dr. Carlos Brailovsky, Director Centre d´ Évaluation des Sciencies de la Santé (CESSUL), Faculté de Médecine, Université Laval, Québec, Canadá.

La trasformación de los contextos culturales y políticos, así como la modificación de la organización de la distribución de servicios (atención ambulatoria) ha determinado en Canadá y otros países del mundo la redefinición y homogenización de los perfiles de egreso de las carreras de la salud. Para atender las nuevas demandas, además de la modernización de los curriculum es necesaria la renovación de las metodologías de enseñanza y de evaluación, de manera tal, que el proceso de enseñanza-aprendizaje permita al estudiante alcanzar las competencias mínimas de la formación profesional.

La evaluación se entiende como el proceso sistemático y continuo de recogida de información para emitir juicios de valor y la toma de decisiones. En el contexto educativo, permite la certificación de la competencia del educando. Un instrumento de evaluación válido, objetivo y confiable, debe determinar el grado de desarrollo de una competencia, entendiéndose que el aprendizaje sigue un patrón continuo que permite al novato alcanzar el nivel de experto2 con la práctica y la experiencia.


Organización del conocimiento

  • Reducidos: síntomas y/o signos no activan conocimiento anterior. (Novatos)

  • Dispersos: síntomas y signos estimulan lista de diagnósticos. Ausencia de pertinencia e integración.

  • Elaborados: síntomas y signos activan conocimientos pertinentes. Cada nueva información estimula reinterpretación del conjunto.

  • Compilados: reconocimiento de patrones de agrupamiento. (Script de expertos)

El concepto de “Script” fue introducido en la literatura médica por Feltovich y Barrows en 1984 y desde entonces se ha utilizado para describir el conocimiento médico clínico que implica el conocimiento específico de cualquier tópico y la organización cognitiva de éste, que se activa en contextos clínicos.

 SCRIPT
  • Redes conceptuales

  • Tareas particulares

  • Movilizados en block

  • Interpretación de la situación que se traduce en una acción adaptada

De acuerdo a la taxonomía de Bloom, el diagnóstico (clínico) es una actividad de categorización que requiere :

  • Selección

  • Interpretación

  • Integración

Para certificar esta competencia, se ha intentado aplicar diferentes modelos evaluativos:

  Examen escrito

  • Pregunta corta                  

  • Pregunta abierta

  Interpretación
  Análisis
  Razonamiento

  Entrevista oral estructurada 

  Resolución de problemas
  Juicio clínico

  ECOE1                                        

  Destrezas

  Cuestionario de Script           

  Interpreta impacto de nueva
  información sobre decisión
  diagnóstica, investigación
  complementaria y/o
  tratamiento.

                   1ECOE: Examen Clínico Objetivo Estructurado

La evaluación de competencias en las facultades de medicina, tradicionalmente se realiza aplicando, entre otros, pruebas de selección múltiple (SM). Sin embargo, si se aplica SM para evaluar el juicio crítico y el razonamiento clínico, los resultados parecen contradictorios. Los médicos con experiencia se desempeñan peor que los residentes y similar a los estudiantes de acuerdo al tipo de test.

Test de concordancia Script (SCT)

La prueba de concordancia de script (SCT) es un instrumento que determina el razonamiento clínico en un contexto de incertidumbre. Se basa en la comparación de las respuestas proporcionadas por los examinados versus las proporcionadas por los miembros de un panel de la referencia compuesto por médicos experimentados(5).

Su creación se debe a la dificultad de evaluar la toma de decisiones clínicas con exámenes escritos u otros instrumentos habituales.

Una serie de estudios ha demostrado que la prueba del script tiene características psicométricas interesantes, en términos de confiabilidad y validez. En una investigación acerca de la capacidad discriminatoria del SCT basado en la variabilidad de las respuestas del panel de la referencia (6), la variabilidad encontrada es coincidente con la discriminación esperada entre los niveles de la experiencia clínica.

 

El SCT es un acercamiento simple y directo a la organización y uso del conocimiento. Tiene la ventaja de ser relativamente fácil de construir, aplicar y corregir. Puede ser utilizado en la educación médica de pre y post grado, y/o en la educación continua.

El instrumento SCT evalúa:

  • Razonamiento clínico

  • Organización del conocimiento

  • Aplicación eficiente

  • Construcción de perfil comparativo de hipótesis

Es una evaluación estandarizada de problemas clínicos mal definidos: frente a una situación mal definida (problemas profesionales) el experto percibe elementos pertinentes, accede rápidamente a hipótesis alternativas, verifica síntomas y signos y utiliza el conocimiento.

Se construye basándose en:

  • Decisiones múltiples

  • Valores aceptables o no

  • Hipótesis compatibles o no.

Requisitos

Para el diseño de un SCT es necesario evaluar lo pertinente, lo necesario, el elemento crítico: un sólo elemento crítico debe estar presente. No es necesario explorar para verificar la presencia de todos los signos o síntomas. Esto porque, diferentes expertos utilizan diferentes preguntas para resolver el mismo problema.

Modelo de elementos claves:

  1. Más útiles para resolver el problema

  2. Cada ítem necesita reflexión

  3. Ítemes independientes de los otros.

Etapa crítica en la resolución de un problema (critical step) se focaliza en:

  1. Errores frecuentes

  2. Aspecto difícil de identificación y del manejo del problema en la práctica clínica

Valores inaceptables (hallazgo o elemento clínico) determinan:

  1. Rechazo del script activado

  2. Activación de un nuevo script

Grupo de referencia: expertos deben verificar:

  1. Los signos

  2. Las hipótesis pertinentes (diagnóstico diferencial)

  Ejemplo de Script para Sinusitis Aguda (7)

Atributos

Valores
  Condiciones predisponentes

  Ninguno
  Infecciones virales*
  Rinitis alérgica
  Poliposis Nasal

  Localización del dolor

  Sin dolor
  Sensación de presión sobre la maxila
  Dolor infraorbital*

  Duración del dolor

  Agudo*
  Subagudo

  Obstrucción Nasal

  Si*
  No
  Exacerbado cuando la cabeza se inclina

  Rinorrea purulenta

  Si*
  No

  Emanación de pus del meato medio   Si*
  No
  Fiebre

  No
  Subfebril*
  Fiebre leve

  Malestar   Si*
  No
  Palpación y percusión Infraorbital

  Sensibilidad*
  Nada

  Rayos x

  Niveles hidroaéreos
  Opacificación
  Espesamiento del revestimento mucoso*

                    * Valores por defecto
                     Fuente: Scripts and Medical Diagnostic Knowledge: Theory and Applications for Clinical
                     Reasoning Instruction and Research.
Academic Medicine; February 2000, 75(2):184.

Una vez construida la viñeta, las preguntas para evaluar el razonamiento clínico se presentan esquemáticamente como se señala a continuación :

 

  Ud. piensa en ….

  Y encuentra

  Efecto sobre la hipótesis

  Hipótesis

  Nueva información

  Respuesta A

Respuestas :

  1. Hipótesis eliminada

  2. Menos probable

  3. No tiene impacto sobre la hipótesis

  4. Hipótesis más probable

  5. Confirma hipótesis

Los ítemes deben ser independientes y con la finalidad de determinar el impacto de la nueva información sobre la hipótesis.

La puntuación de cada respuesta se determina de acuerdo al impacto prefijado de la nueva información entregada en cada ítem (0-1-2).

       1º etapa diseño de viñetas e ítemes
       2º etapa validación del test por expertos
       3º etapa validación psicométrica

Fortaleza: no requiere consenso de los expertos
Debilidad: no busca información, sino se da.

El test de concordancia Script es una nueva herramienta de evaluación con un gran potencial para asistir a los educadores a enseñar eficientemente y evaluar las habilidades de razonamiento clínico en contextos clínicos auténticos.

 

  2. Persona con un bagaje de conocimientos específicos y organizados, que posee la capacidad de resolver problemas y tomar decisiones

 

REFERENCIAS BIBLIOGRAFICAS

1.      Carranza M, Celaya G. Una estrategia para favorecer la comprensión y el aprendizaje en las ciencias morfológicas. RELIEVE; 2003, 9(2): 139-159.

2.      Mc Coll P, Urrutia M, Benavente F, Bennett C, Fuentes C, Miño M. Evaluación del uso de mapas conceptuales en la enseñanza de Salud Pública en estudiantes de medicina de la Universidad de Valparaíso. Rev Educ Cienc Salud 2005; 2:62.

3.      Rugiero E. La autoevaluación en el proceso formador. Rev Educ Cienc Salud 2006; 3:74-75.

4.      Schonhaut L. Programa de Pediatría Ambulatoria: Desarrollo de competencias para atender integralmente al niño y su proceso de salud - enfermedad. Revista de Pediatría, 2006; 3:21-26.

5.      Charlin B, Roy L, Brailovsky, C & van der Vleuten C. How to build a script concordance test to assess the reflective clinician. Teach Learn Med. 2000; 12:189-195.

6.      Charlin B, Gagnon R, Pelletier J, Coletti Mi, Abi-Rizk G, Nasr C, Sauvé É, van der Vleuten C. Assessment of clinical reasoning in the context of uncertainty: the effect of variability within the reference panel. Med Educ. 2006; 40: 848.

7.      Charlin B, Tardif J, Boshuizen  H. Scripts and Medical Diagnostic Knowledge: Theory and Applications for Clinical Reasoning Instruction and Research. Acad Med. 2000; 75:182-190.

 

 

 

 

 

 

 

 

 

1 Elaborado por Dra. Liliana Ortiz M, Depto. de Educación Médica, Facultad de Medicina, Universidad de Concepción..