Introducción: en el Congreso del año 2000 comunicamos nuestra experiencia en el uso de un ensayo en el Proceso de Admisión, destinado a evaluar elementos no cognoscitivos destacando la dificultad existente en el procesamiento de la información derivado de la variabilidad intracorrector.

Metodología: con el propósito de disminuir este variabilidad, se elaboró una nueva pauta de valoración con catorce indicadores (referidos a motivación, intereses, vocación de servicio, coherencia y certidumbre, entre otros), valorados mediante una escala descriptiva, la que define cada rasgo a ser observado a través de diferentes categorías descritas de manera breve y precisa. Además se contempló un ítem donde el evaluador entrega su apreciación global. Con esta pauta, dos correctores revisaron los ensayos correspondientes a 95 postulantes. La concordancia interevaluador fue evaluada con el índice de Kappa.

Resultados: en diez de los catorce ítems se obtiene un valor Kappa significativo (p=0,05) y sólo en dos de ellos no hay significatividad al nivel determinado. En el ítem referido a la Apreciación Global, se obtienen resultados no significativos (Kappa=0,089).

Conclusiones: con el uso de este instrumento de valoración se logró una concordancia promedio de 54,2% entre correctores, superior al comunicado el año 2000. El índice de Kappa mostró concordancia significativa en el 66,7% de los indicadores, sugiriendo la necesidad de modificar la formulación de aquellos en que no hubo concordancia. La falta de concordancia en la Apreciación Global, puede explicarse por ser el único ítem en que no hay una descripción de lo que define cada categoría.