Introducción: El proceso de evaluación sigue siendo subjetivo, oportunístico y poco estandarizado, especialmente en educación de postgrado. La Escuela Medicina PUC realiza formación de residentes según modelo de competencias CanMEDS, correspondiendo ser apropiadamente evaluado. Esta evaluación se realiza retrospectivamente mediante una pauta tipo, la cual no fue diseñada para evaluar competencias; permitiendo sólo evaluación superficial y subjetiva, especialmente en procedimientos invasivos. La evaluación de procedimientos invasivos realizados por residentes de Anestesiología PUC es deficiente, no permitiendo realizar evaluaciones formativas y entrega de feedback sistemática, objetiva y estandarizadamente.

Objetivos: Diseñar, aplicar e implementar una nueva pauta de observación directa para evaluación de procedimientos invasivos en residentes de Anestesiología.

Método: 6 etapas: 1) diseño del instrumento de evaluación 2) determinación validez de contenido 3) aplicación plan piloto 4) calificación y standard setting 5) aplicación gran escala 6) determinación parámetros psicométricos. Se comenzó por elección del procedimiento a evaluar, continuando con revisión de literatura en Educación Médica. Con los resultados de búsqueda bibliográfica y opinión de expertos se confeccionó un borrador del instrumento, el cual fue sometido a panel Delphi entre 20 jueces seleccionados. El instrumento definitivo fue sometido a aplicación piloto en centros universitarios chilenos, acompañado de una encuesta de satisfacción aplicada a docentes y residentes involucrados.

Resultados: Se eligió anestesia peridural obstétrica como procedimiento invasivo a evaluar. La revisión bibliográfica sugirió identificar un instrumento ya existente, encontrándose pauta DOPS para evaluación de intubación traqueal, que fue utilizada como base para diseñar el nuevo instrumento. El borrador del instrumento obtuvo alto grado de acuerdo entre expertos del panel Delphi, logrando asegurar validez de contenido. La aplicación piloto fue realizada en 5 centros universitarios chilenos, demostrando que el nuevo instrumento parece ser factible y útil de aplicar. Las encuestas muestran alta satisfacción de docentes y residentes con la pauta, con la percepción que es útil y permite realizar feedback.

Discusión: Preliminarmente, concluimos que es posible adaptar, aplicar e implementar un nuevo instrumento de evaluación de procedimientos invasivos en residentes de Anestesiología; impresionando tener utilidad, pertinencia y factibilidad de ser implementado. La introducción de esta nueva pauta DOPS debería ser aporte significativo para la formación de especialistas, ya que permitiría realizar evaluaciones formativas y feedback de manera objetiva, sistemática y estandarizada. La futura validación de los parámetros psicométricos del instrumento debería ser una contribución a la Educación Médica y Anestesiología.

Palabras clave: Educación Médica, Postgrado, Instrumentos de evaluación, Pautas de observación directa, Procedimientos invasivos.