TRABAJO ORIGINAL
Percepción de académicos, supervisores de prácticas clínicas,
estudiantes y egresados sobre validez del sistema de evaluación de
competencias específicas utilizado en la carrera de Obstetricia,
Universidad de Antofagasta.
Marco Marrodán G.
Introducción:
Evaluar la competencia es un objetivo largamente perseguido por
los responsables de la formación y educación de profesionales del área
de la salud, por lo engorroso y difícil de alcanzar. Encontrar el
sistema adecuado es el desafío que la carrera de Obstetricia y
Puericultura enfrenta al iniciar el camino hacia el nuevo modelo
pedagógico recientemente implementado por la Universidad de Antofagasta.
SUMMARY
Perception of academics, supervisors of clinical practices, students and
graduates
Introduction:
To evaluate the competence is an objective for long searched by those
responsible for the training and education of professionals of the
health area, due to its complexity and difficulty in achieving. To find
the appropriate system constitutes the challenge that the Obstetrics and
Puericulture Program faces at the start of a new pedagogical model
recently implemented at the Universidad de Antofagasta.
INTRODUCCIÓN La Universidad de Antofagasta implementa en 2003 un modelo pedagógico acorde a las nuevas tendencias y requerimientos nacionales de certificación de la calidad en la enseñanza superior, lo cual no sólo implicó la capacitación del personal docente y la sensibilización del estudiantado, sino que también requirió la reingeniería de todas aquellas estructuras participantes del proceso enseñanza-aprendizaje. El currículum predominante en esta casa de estudios, de tipo tradicional, basado en entrenamiento vocacional, migra hacia la educación para la competencia, entendiendo como Competencia al conjunto de habilidades que debe reunir el profesional egresado de una carrera universitaria1. Sin embargo, el modo de evaluarla no es siempre adecuado, teniendo en cuenta que responde a las exigencias del modelo curricular tradicional, por lo que la subjetividad prima al momento de realizar el proceso evaluativo. Un método de análisis de la competencia clínica tiene que reunir una serie de requisitos indispensables tales como validez, reproducibilidad, practicabilidad, objetividad, relevancia, equilibrio y poder de discriminación. La necesidad de encontrar el sistema adecuado es el desafío que la carrera de Obstetricia enfrenta al iniciar el camino hacia el nuevo modelo pedagógico a consolidarse definitivamente en la Universidad de Antofagasta. Todos los aspectos que dicen relación con la evaluación, se ubican entre los que más conflictos ocasionan a aquéllos que ejercen la docencia en sus diversos niveles1. Esto se hace patente por sobre todo, en el área de la educación superior, puesto que los encargados de enseñar y evaluar son profesionales de sus respectivas áreas que tienen poca o nula preparación en lo que a docencia se refiere. Los cambios que han experimentado los currículos en la actualidad, han apuntado, muchos de ellos, a un sistema de formación basado en competencias, lo que ha traído aparejado el consiguiente problema de la evaluación de estas competencias, es decir el cómo evaluar las competencias. El sistema de evaluación utilizado en la Universidad de Antofagasta, para medir el grado de competencia de los alumnos de Obstetricia que cursan el área de formación profesional, es decir, los últimos tres niveles -de cinco que dura la carrera- tiene varias particularidades, entre ellas, que el porcentaje de exigencia para obtener la nota mínima de aprobación, nota cuatro, es de un 80%2. Por otro lado, el desempeño del estudiante en las actividades de carácter clínico, es evaluado utilizando los mismos instrumentos que hace diez años, los cuales han sido medianamente adaptados con la finalidad de acercarlos a la evaluación en base a las competencias que se plantean en los programas de asignatura, pero sin haber sido sometidos a un cambio organizado, estructurado y ligado a la implementación de un nuevo modelo curricular. En este sentido, persiste por ejemplo, la evaluación utilizando promedios de nota y no niveles de logro, considerando que en una situación evaluativa de tipo promedial, es factible que un estudiante pueda pasar una asignatura manejando sólo los aspectos teóricos o prácticos, ya que el promedio de las notas ayuda a compensar debilidades mientras que, en un sistema de evaluación por módulos, los estudiantes deben demostrar que han aprendido todos los aspectos esenciales de la competencia en el nivel de desarrollo esperado, acorde con unos indicadores de referencia3. Las competencias que define el perfil de egreso de la Carrera de Obstetricia han sido extraídas del listado elaborado por el Colegio de Matronas de Chile AG y un Comité Técnico de Obstetricia y Puericultura, integrado por docentes y autoridades de las escuelas de Obstetricia a lo largo del país, y aprobado por la Comisión Nacional de Acreditación, CNA en el contexto de los procesos de acreditación de carreras de Obstetricia y Puericultura. Cada docente coordinador de asignatura, al momento de elaborar el programa, selecciona de este listado emanado del Colegio de Matronas, aquellas competencias que estima deben ser logradas por los estudiantes al término del curso. Otra característica del sistema es que al elaborar instrumentos de medición, ya sea en base a competencias o no, se ha prescindido en numerosas oportunidades de la opinión y participación de las matronas clínicas, quienes por su parte poseen escasa o nula habilidad en evaluación de competencias. Esto ha producido un “cortocircuito” entre los profesionales clínicos encargados de la supervisión de alumnos y el cuerpo docente del departamento de Obstetricia en cuanto al cómo evaluar al alumno en práctica, y la disparidad de criterios al respecto, encontrándose muchas veces abismantes discrepancias al calificar un procedimiento en un mismo alumno, evaluado simultáneamente por matronas clínicas y matronas docentes. Con respecto al examen de titulación, éste consiste en una presentación oral sobre contenidos previamente especificados en un temario, pertenecientes al área temática que al azar le haya correspondido por sorteo al estudiante. Una vez realizado dicho sorteo, el alumno cuenta con 30 días para preparar su examen y enfrentar a la comisión evaluadora. Debe demostrar, en no más de 30 minutos, el manejo de los contenidos consultados. Eventualmente se puede incluir la resolución de casos clínicos, sin embargo, la evaluación de competencias específicas asistenciales queda trunca si no se evalúan aspectos del ámbito psicomotriz, lo cual se podría lograr, por ejemplo, con un examen clínico objetivo estructurado (ECOE). Experiencias nacionales e internacionales han demostrado que los exámenes orales tienen un bajo coeficiente de confiabilidad, y que estrategias como el ECOE han permitido medir en el alumno las habilidades adquiridas, el conocimiento alcanzado, y apreciar su comportamiento actitudinal. Además, ha logrado medir la capacidad de comunicación en la relación profesional-paciente4,5. En vista de lo expuesto, la carrera de Obstetricia y Puericultura de la Universidad de Antofagasta requiere revisar su actual sistema de evaluación y someterlo al análisis que permita, en primera instancia definirlo y caracterizarlo, para luego identificar sus fortalezas y debilidades. Debe destacarse que en el presente trabajo, utilizaremos el concepto de “validez” como la relación existente entre los procesos finales a evaluar con respecto a los métodos utilizados para ello, es decir, si “se mide lo que se pretende medir”; todo esto desde la exclusiva perspectiva de los involucrados directos en el proceso, es decir, estudiantes, egresados, académicos, supervisores de prácticas clínicas y autoridades del departamento y carrera de Obstetricia de la Universidad de Antofagasta.
MATERIAL Y MÉTODO Esta investigación se inscribe bajo la perspectiva del paradigma cualitativo y pretende explicar, con el método de la Teoría Fundamentada, la problemática del sistema de evaluación de las experiencias profesionales de la Carrera de Obstetricia, desde las percepciones de estudiantes y egresados. El objeto de estudio es la validez del actual sistema de evaluación de la Carrera de Obstetricia, para las competencias consensuadas por el Colegio de Matronas. La muestra seleccionada está integrada en sus distintos colectivos, por:
En todos los grupos se consideró adicionalmente como criterio de inclusión la disponibilidad horaria y el asentimiento verbal, con posterior consentimiento informado firmado, para participar en el estudio. Para abordar los objetivos del trabajo se confeccionaron dimensiones, a partir de las cuales se estructurarían las entrevistas y la clasificación de la información: Dimensiones exploradas i. Sistema de evaluación actual
ii. Modelos educativos basados en competencias
El registro de la información se efectuó en grabaciones de audio, en formatos digitales tipo wav y mp3, las cuales fueron almacenadas en computador personal y luego transcritas en formatos de texto tipo Word para su posterior análisis. Paralelo a la grabación de audio, se realizaron notas de campo que contribuyeron en la interpretación de los discursos emitidos por los entrevistados, toda vez que reflejaron detalles y gestualidad no presente en la grabación sonora. El análisis de la información se centró en lecturas repetidas de los textos transcritos, complementándolo con la lectura simultánea de las notas de campo, para luego identificar y seleccionar las frases o secciones del discurso que poseían relación o hacían alusión a la categoría consultada durante la entrevista, las cuales se codificaron para su posterior uso. Posteriormente se agruparon y estructuraron las frases seleccionadas, realizándose un primer análisis, para luego extraer las unidades de significado mínimas de cada frase, las cuales fueron vaciadas en una matriz, permitiendo la triangulación entre los tres colectivos consultados.
RESULTADOS Las unidades de significado que resultaron relevantes para el estudio, una vez concluido su análisis, fueron ordenadas de acuerdo a las dimensiones y categorías previamente confeccionadas en base a los objetivos del trabajo. A continuación se presentan las expresiones vertidas por los sujetos de estudio, ordenadas por grupo estudiado, dimensiones y categorías, destacando las intervenciones más representativas: Dimensión 1: Sistema de evaluación actual Sistema de evaluación de asignaturas teóricas
Sistema de evaluación de experiencias clínicas
Percepción sobre exigencia de nota mínima de aprobación
Examen de titulación actual
*Los estudiantes de IV y V año se abstuvieron de opinar, ya que no han vivido esta instancia.
Autoevaluación y coevaluación
Dimensión 2: Modelos educativos basados en competencias Conocimiento del modelo curricular por competencias
Competencias más importantes para el profesional matrón/a
Conocimiento de estrategias para evaluación de competencias
Sugerencias para mejorar el actual sistema de evaluación
DISCUSIÓN En lo que respecta a la caracterización del sistema actual de evaluación, los sujetos entrevistados parecen concordar en sus apreciaciones respecto de la falta de coordinación existente entre los académicos del Departamento de Obstetricia, y de éstos a su vez con los supervisores de prácticas. En cuanto a la evaluación de experiencias clínicas, destaca el hecho de que los académicos señalen que los supervisores, debido a su escasa o nula formación en docencia, pueden cometer errores evaluativos o incurrir en falta de objetividad al evaluar. Por su parte los supervisores reconocen estar poco familiarizados con el sistema de evaluación, lo cual revela la necesidad de brindarles la capacitación adecuada o bien realizar reuniones previas a las experiencias clínicas de manera de aclarar todas las dudas que pudieran existir con respecto a la aplicación de pautas de cotejo y otros mecanismos de evaluación. Alumnos y egresados, por su parte, concuerdan en sus percepciones respecto de que los supervisores de prácticas no aplican las pautas de evaluación de manera correcta al momento de emitir una nota, percibiéndose cierta subjetividad en este accionar. La visión que se tiene respecto de la exigencia de un 80% para la obtención de la nota mínima de aprobación es en general negativa, toda vez que estudiantes y egresados concuerdan en que, siendo una exigencia alta que, aunque justificable por el rol profesional que les cabe a futuro, más que favorecer la formación, los perjudica como alumnos, lo cual cobra sentido en lo que concierne a la inserción al mundo laboral, ya que los empleadores en ocasiones consideran la trayectoria de calificaciones que el postulante posee de su paso por la Universidad, siendo mejor evaluado aquel que posee mejores notas, sin considerar los diferentes porcentajes de exigencia que aplican las Universidades para el cálculo de ellas. Respecto de este mismo punto, la otra cara de la moneda, es decir, los encargados de evaluar, parecen coincidir en lo beneficioso de esta alta exigencia, la cual pese a ser un elemento que la bibliografía destaca como desfavorable, los académicos y los supervisores coinciden en percibirlo como necesario y justificable, ya que se traduciría en una mejor calidad profesional de los titulados. Otro aspecto relevante surgido durante este estudio, dice relación con la percepción de la importancia que tiene el proceso de autoevaluación y de co-evaluación en la formación profesional, debido a que es un ejercicio que requiere de madurez, ética y objetividad, y que la gran mayoría de los profesionales en formación no la utilizan de buena manera, como una instancia de crecimiento, si no que tiene una connotación mas de instrumentalización en el sentido de que puede ser usada para mejorar la nota final o bien para perjudicar deliberadamente a un compañero. En este sentido, las opiniones de los estudiantes de V año, los egresados y los evaluadores, concuerdan en que falta la madurez necesaria para emitir un juicio acertado, sin desconocer la importancia superlativa que estos procesos evaluativos comportan, puesto que la vida profesional exige el desarrollo de esta competencia, la cual permite reconocer las fortalezas que deben encauzarse y las debilidades que deben potenciarse. “La autoevaluación pasa a ser un rasgo propio de la conducta profesional, pues se asegura ante la sociedad y la profesión que el graduado está capacitado para decidir si es capaz o no de enfrentar un problema determinado” 1. La autoevaluación y coevaluación son consideradas como procesos necesarios en la formación del alumno, pero se declina su uso amparado en la falta de objetividad y madurez del mismo, por lo cual resultaría no recomendable su aplicación con incidencia en la nota final. Sobre el examen de titulación, se coincide en casi todos los colectivos en la nula aplicabilidad de la estrategia para la medición de competencias. Tal como indica Christiansen, (2004) “la evaluación de competencia debería incluir un insumo multivariado/multidimensional/multimétodo, incluyendo perspectivas múltiples en todos los niveles de desarrollo profesional.” En este sentido, el examen de titulación carece del aspecto procedimental y actitudinal. El problema se agudiza cuando se utiliza un solo caso clínico puesto que es imposible, desde el punto de vista estadístico, medir su coeficiente de confiabilidad, que es prácticamente nulo. Esto se debe al hecho de que la confiabilidad de un examen depende de la varianza del mismo1. Con respecto a la Dimensión 2 (Modelos educativos basados en competencias) y sus respectivas categorías, los sujetos manifiestan poseer ideas vagas de lo que significa un Modelo basado en Competencias, revelando el escaso alcance que la sensibilización y socialización de este modelo, por parte de la Universidad, ha tenido no solo para con los estudiantes, sino que también para con los docentes de esta casa de estudios, siendo aún más patente esta falta de información entre los supervisores de prácticas clínicas. Las autoridades consultadas son coincidentes en señalar que el camino recorrido hasta la fecha, si bien significa un acercamiento a un sistema de evaluación por competencias, aún está lejos de ser lo más óptimo, dado que persisten elementos heredados de un sistema anterior que lo alejan de este objetivo evaluativo, tales como un examen de titulación acotado y un porcentaje de exigencia demasiado alto para la nota mínima de aprobación, instancias que debieran ser modificadas de acuerdo a nuevas tendencias en el ámbito de la educación superior, y muy específicamente en carreras del área de la salud. Las competencias señaladas como más importantes para el profesional Matrón/a difieren entre estudiantes y egresados, académicos y supervisores clínicos, siendo los egresados quienes coinciden en indicar “Gestión” y “Liderazgo” como imprescindibles para el desarrollo profesional, avalado esto probablemente por su incipiente experiencia en el mundo laboral. Las sugerencias más recurrentes apuntan a la unificación de criterios en relación a los sistemas de evaluación, ya sea entre los académicos pertenecientes al Departamento de Obstetricia, así como también de éstos con los Supervisores de prácticas clínicas; a la realización de “pruebas chicas” clases a clase y a la innovación en estrategias evaluativas. En ese sentido, se sugiere como imperativo consensuar y capacitar.
AGRADECIMIENTOS A la Directora del Programa de Magíster en Educación en Ciencias de la Salud de la Universidad de Chile, profesora Teresa Miranda Méndez, por su constante guía, apoyo y relevante contribución al logro de esta investigación. A la Directora del Departamento de Obstetricia de la Universidad de Antofagasta, Sra. Diana Ruiz Fernández, por las facilidades logísticas brindadas para la realización de este estudio. A la presidenta del Colegio de Matronas de Chile, Sede Antofagasta, Sra. Margarita Moreno Vargas por su contribución y disposición a ser parte de la investigación. A los académicos, egresados y alumnos entrevistados por su invaluable y desinteresada colaboración.
REFERENCIAS BIBLIOGRÁFICAS 1. Brailovsky, Carlos. “Educación Médica. Evaluación de las competencias”. Ensayo. 2006. Disponible en http://www.fmv-uba.org.ar/proaps/9.pdf. [Consultado el 10 de agosto de 2007]. 2. Departamento de Obstetricia, Universidad de Antofagasta. “Plan de estudios Carrera de Obstetricia y Puericultura. Universidad de Antofagasta”. Antofagasta, Chile. 1996. 3. Tobón, Sergio. Formación basada en competencias. Pensamiento complejo, diseño curricular y didáctica (2 Ed.). Bogotá, Colombia. 2005. 4. Villalobos E. y Guerrero M. Experiencia en evaluación de competencias clínicas en base a Objective Structured Clinical Examination OSCE. Disponible en http://www.informaticamedica.org/I04/papers/villalobos_56.pdf. Depto. Obstetricia y Puericultura, UDEC, Concepción, Chile. 2004. [Consultado el 12 de agosto de 2007]. 5. Garcés G, Gómez A, Harguindeguy M, Macri E. Examen Clínico Objetivo estructurado: Primera experiencia en Uruguay. Trabajo presentado en la 11ª Conferencia de Ottawa en educación médica, Barcelona, junio 2004. Disponible en: http://www.jornadas.fmed.edu.uy/TODOSposters.doc. [Consultado el 12 de agosto de 2007]. 6. Hawes, G. y Corvalán, O. Aplicación del enfoque de Competencias en la construcción Curricular de la Universidad de Talca, Chile. Artículo. Revista Iberoamericana de Educación, 2006. Disponible en http://www.rieoei.org/1463.htm. [Consultado el 15 de abril de 2008]. 7. Bogoya Maldonado, Daniel. “Trazas y Miradas: Evaluación de competencias”. Universidad Nacional de Colombia. Bogotá, Colombia, 2003. 8. “Plan de Desarrollo Estratégico Para el Departamento de Obstetricia período 2005 – 2010”. Departamento de Obstetricia, Universidad de Antofagasta. Antofagasta, Chile. 2004. 9. Kane, M. T. 1992. “The assessment of clinical competence. Evaluation and the health professions”, 15:163-82. 10. Lillo Ganter R., Miranda Mendez T., López Bravo Ilse., Mandioca Cerda E., Velasco Rayo, C. Módulo “Investigación Educacional: Control de Calidad y Proceso creativo”. (material del Diploma en Docencia en Ciencias Biomédicas. Depto. de Educación en Cs de la Salud. Facultad de Medicina. Universidad de Chile. Escuela de Postgrado, 2004.) 11. Monzó Arévalo, Rosa. “Concepto de competencia en la evaluación educativa”. Publicaciones Cruz O. S.A. 2005. 12. Proyecto Tuning. Madrid, España. mayo 3, 2006. Disponible en: http://ec.europa.eu/education/policies/educ/tuning/tuning_es.html. [Consultado el 12 de agosto de 2007]. 13. Ruiz Olabuénaga, José Ignacio. “Metodología de la investigación cualitativa” 3ª edición. Bilbao, España. Universidad de Deusto. Ed. Artes Gráficas Rontegui, 2003. 14. Schön, Donald A. “La formación de profesionales reflexivos”. Barcelona, España. Ed. Paidós, 1987. 15. Vásquez Navarrete, Mª Luisa; Ferreira Da Silva, Mª Rejane; Mogollón Pérez, Amparo; Fernández de Sanmamed, Mª José; Delgado Gallego Mª Eugenia; Vargas Lorenzo, Infrid. “Introducción a las técnicas cualitativas de investigación aplicadas en salud”. 1ª edición. Barcelona, España. Ed. Serveii de Publicacions Universitat Autònoma de Barcelona, 2006. 16. Cabrera V. Álvaro, Universidad de Chile, Chauriye B. Sara, Irigoin B. María, Oyarzún R. Pablo, Urcelay V. Santiago. “Plataforma 2006. Documento de trabajo n°1. Modelamiento de la reforma del Pregrado.” Vicerrectoría de Asuntos Académicos. Universidad de Chile, 2006.
Artículo recibido el 08/09/09, Aceptado el 20/10/09.
Dirección del autor:
1. Matrón, Docente
Instructor, Magíster en Educación en Ciencias de la Salud. Departamento de
Obstetricia, Facultad
|