 |
|
TRABAJO ORIGINAL
|
Percepción de la aplicación del Test de Concordancia SCRIPT (tcs) como
instrumento de
Justo Bogado S.1, Ilse Lopez B.2 RESUMEN
Introducción: El
Test de Concordancia Script (TCS) es una nueva forma de evaluación
utilizada en Ciencias Médicas. Compara el resultado del razonamiento
clínico del candidato con el de los expertos. Cada caso-problema permite
evaluar rápidamente una hipótesis de diagnóstico relevante y encauzar
apropiadamente estrategias de investigación y tratamiento.
SUMMARY Perception of the implementation of Concordance Script Test (CST) as an assessment tool, by the fifth year students of Urology, Medicina Oriente, Universidad de Chile. Year 2009.
Introduction:
Concordance Script Test (CST) is a new assessment tool used in health
care careers. It compares the results of clinical reasoning of the
examinee with the one obtained by the experts. Each case-problem allows
to assess relevant diagnose hypothesis and to properly lead treatment
and investigation strategies.
INTRODUCCIÓN La renovación de estrategias educativas del proceso de enseñanza-aprendizaje, obliga a emplear nuevos instrumentos de evaluación frente a las competencias requeridas. La capacidad de razonar en contextos de ambigüedad o incertidumbre y resolución de problemas mal definidos es una característica de las competencias profesionales1. La calidad de la anamnesis clínica y del examen físico son fenómenos observables y relativamente fáciles de medir, no así la evaluación del razonamiento clínico, ya que es difícil explicar de qué manera el cerebro puede integrar la información a fin de realizar una tarea eficientemente. El Test de Concordancia Script (TCS) es una nueva forma de evaluación de conocimientos y especialmente del razonamiento clínico. El TCS compara el razonamiento clínico del candidato con el de los expertos. Cada caso-problema moviliza y organiza el conocimiento clínico en redes cognitivas almacenadas (script de enfermedad) del estudiante o del profesional de la salud, que les permite hacer inferencias necesarias para aceptar o descartar hipótesis en el momento de realizar un diagnóstico relevante, para direccionar acertadamente una estrategia de investigación (solicitud de exámenes de laboratorio, de imagen o procedimientos y, finalmente, para indicar el tratamiento adecuado2. Actualmente cobra más relevancia no solo el razonamiento analítico (consciente, controlado) sino también el razonamiento no analítico (inconsciente, automático) ya que éste utiliza experiencias pasadas, reconociendo patrones que son fundamentales para emitir juicios relacionados3. El TCS debe ser un foco de atención en la educación médica teniendo en cuenta que los scripts de enfermedad se desarrollan a partir de la aplicación de conocimientos biomédicos y de las ciencias clínicas en casos reales, de allí la importancia que tiene el entrenamiento temprano en el aprendizaje basado en problemas4. En la Unidad de Urología, Medicina Oriente, Universidad de Chile, desde el año 2001, como proceso de enseñanza-aprendizaje se utiliza la enseñanza en grupos pequeños, aprendizaje basado en problemas, participación de pacientes reales y uso de maniquíes. Congruente con ellos y con los avances evaluativos, desde ese mismo año, se utiliza el Examen Clínico Estructurado y Objetivo (ECOE u OSCE) como instrumento de evaluación de conocimientos, habilidades y destrezas5. Entendiendo que la competencia profesional es una entidad multidimensional y que ningún método único puede medir adecuadamente6, en el año 2009, se complementa el ECOE, con el TCS como un intento de medir la organización de conocimientos o razonamiento clínico en situaciones prácticas escritas necesarias para la toma de decisiones. Se diseñaron tres casos o viñetas de patologías comunes y relevantes de la asignatura con quince supuestos. Un caso correspondió a estrategias de investigación (solicitud de exámenes de laboratorio, de imagen o de procedimientos), otro caso correspondió a diagnósticos y otro a tratamientos, los que cambiaban en función de una nueva información. Para la construcción del TCS, se siguió la metodología aplicada por Charlin et al2. La construcción de la prueba fue realizada por el Coordinador de la asignatura y un Ayudante (Figura 1), siendo revisada y validada por un grupo de diez expertos-staff. Cada uno de los expertos estableció la respuesta de los distintos ítems a través de una escala (+2,+1, 0,-1,-2). La puntuación estaba dada por la distancia que existía entre la respuesta de los estudiantes y la de los expertos.
Figura 1. Ejemplo de Estructura de Script (Caso diagnóstico).
La preocupación por conocer la percepción de los estudiantes de la asignatura de Urología año 2009, respecto a la introducción del TCS como nuevo instrumento de evaluación y, además conocer sus preferencias de herramientas evaluativas en la asignatura, ha motivado la realización del presente estudio.
MATERIAL Y MÉTODO Se realizó una encuesta de opinión a los 39 estudiantes de quinto año Urología, de la Sede Oriente, Universidad de Chile, en 2009 al final de la evaluación de la asignatura. Para evaluar la percepción de los estudiantes respecto a la introducción del TCS como herramienta evaluativa de la reflexión y razonamiento clínico, como complemento del ECOE, se aplicó un instrumento diseñado en formato Likert previamente validado. El cuestionario se propuso medir la percepción de los estudiantes respecto a: la capacitación previa lograda durante el curso para responder la prueba (información, conocimientos, habilidades, y destrezas); el desarrollo mismo de la aplicación de la prueba; grado de aceptación de TCS y otras formas de evaluación. Para la presentación de los datos se utilizó metodología descriptiva.
RESULTADOS Contestaron 29/39 estudiantes. Los 10 que no respondieron no presentan alguna característica especial que los identifique. Respecto a la información que se les entregó acerca del nuevo instrumento de evaluación (TCS) previo a la prueba, la Tabla 1 destaca que el 65.5% de los estudiantes lo consideró “suficiente”, lo que sumado al 6.9% que marcó “óptimo”, se obtiene un 72.4% de opiniones favorables. Tabla 1. Calidad y cantidad de información sobre el TCS entregada antes de la prueba.
En la Tabla 2 se presentan las respuestas respecto a los conocimientos necesarios para responder el test. El 10.3% de los estudiantes consideró tener “total conocimiento” y el 69% “algún conocimiento”. Uno de cada cinco estudiantes consideró no tener conocimientos. Tabla 2. Nivel de conocimientos para responder la prueba.
Otro aspecto que se averiguó fue acerca de las habilidades y destrezas adquiridas para enfrentar los casos del TCS. En la Tabla 3 llama la atención que algo más de un tercio (34.4%) respondió que eran insuficientes o nulos. Tabla 3. Habilidades y destrezas adquiridas para enfrentar el TCS.
El número de casos fue calificado de suficiente por la gran mayoría de los jóvenes (82.8%, Tabla 4). Tabla 4. Número de casos de Test de Concordancia Script utilizados.
En la Tabla 5 se observa el nivel de aceptación del TCS como instrumento de evaluación del razonamiento clínico. Éste fue totalmente aceptado por el 34.4% de los estudiantes, medianamente aceptado por 48.3%, constituyendo ambos 82.7% y, no aceptado, por 17.3%. Tabla 5. Nivel de aceptación del Test de Concordancia Script (TCS).
En la Tabla 6 se presentan las preferencias de los estudiantes para cada uno de los instrumentos de evaluación usados en la asignatura de Urología, de quinto año. Se les mencionó las cuatro formas de evaluación y se les solicitó que marcaran la nota que le pondrían a cada una de ellas, donde 4 era el máximo y 1 el mínimo. Lamentablemente no todos los alumnos pusieron nota a cada instrumento. Al calcular los promedios de cada instrumento se podría afirmar que se diferencian dos grupos: los maniquíes y los TCS, que obtienen 3.12 y 3.10, respectivamente, mientras que los pacientes estandarizados obtuvieron 2.7, y las imágenes y casos en computador (PC) 2.6. También se calculan las medianas que corresponde a la medida de resumen más adecuada, por tratarse de una escala ordinal. En este caso los pacientes estandarizados obtienen un 4 mientras todos los otros instrumentos obtienen un 3.
Tabla 6. Preferencias de
los instrumentos de evaluación.
DISCUSIÓN Este estudio muestra que la percepción de los estudiantes ha sido muy buena respecto a la información recibida previa a la aplicación del Test de Concordancia Script, al igual que los contenidos del mismo. También ha sido muy bien evaluada la adquisición de las habilidades y destrezas durante el paso de la asignatura, para enfrentar los casos del TCS. Los alumnos encontraron que el tiempo asignado para la resolución de cada caso fue suficiente, teniendo en cuenta que fue de cinco minutos, al igual que el resto de las estaciones del ECOE. El número de casos del TCS, de igual manera, fue encontrado adecuado. Debemos destacar que el número de las estaciones fue de veinte en total, incluyendo los casos de TCS (tres casos con quince supuestos), sin embargo, la literatura aconseja utilizar un mayor número de casos7. Para los fines de este estudio estimamos que los casos evaluados fueron suficientes. La buena aceptación de la introducción del TCS como instrumento de evaluación, por parte de los estudiantes, podría atribuirse a que sus funciones cognitivas son las mismas que emplean durante el estudio y la práctica de la medicina, en la cual es necesaria la reflexión y el razonamiento clínico. En cuanto a las preferencias evaluativas de la asignatura por parte de los estudiantes, hay una franca inclinación por los pacientes estandarizados, los maniquíes y el TCS, quizás porque ellos representan casos auténticos y simulados en los cuales deben interpretar datos para tomar decisiones, de igual forma como lo enfrentan los profesionales de la salud. En conclusión, la introducción del Test de Concordancia Script como instrumento de evaluación del conocimiento y su organización, tiene aceptación mayoritaria por parte de los estudiantes que cursaron la asignatura de Urología, Sede Oriente, Universidad de Chile año 2009.
REFERENCIAS BIBLIOGRÁFICAS 1. Johnson E. Expertise and decision under uncertainly: performance and process. In: Gagnon R et al. Assessment in the context of uncertainty: How many members are needed on the panel of reference of a script concordance test? 2. Charlin B, Brailosvky C, Roy L, Goulet F, Van der Vleuten C. The Script Concordance Test: A tool to assess the reflective clinican. Teaching and Learning in Medicine 2000;12(4):189-195. 3. Eva WK. What teacher needs to know about clinical reasoning. Teaching and Learning Medicine 2000;12:189-195. 4. Charlin B, Boshuizen H, Custers E, Feltovich P. Scripts and clinical reasoning. Medical Education 2007;41(12):1178-1184. 5. Bogado J, Lopez I, Mandiola E, Miranda T, Hidalgo F. Assessment of an innovative teaching-learning process, 5 th year’s student in urology, medicine, 2001. In AMEE Conference. Lisboa, 2002. 6. Charlin B, Brailovsky C, Leduc C and Blouin D. The diagnosis Script Questionnaire: A new tool to Assess a Specific Dimension of Clinical Competence. Advances in Health Sciences Education 1998;3(1): 51-58. 7. Gagnon R, Charlin B, Lambret C, Carriére B, Van der Vleuten C. Script Concordance Testing: more cases or more questions?. Adv in Health Sci Educ 2009;14(3): 367-375.
Artículo recibido el 18/03/10, Aceptado el 30/04/10.
Dirección de los autores:
1 Profesor Asistente de Urología, Magíster en Educación y Ciencias de la Salud. Universidad de Chile. 2 Profesora Asociada del Departamento de Educación y Ciencias de la Salud. Universidad de Chile.
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
