Introducción: Que un estudiante escoja alternativas correctas en pruebas de selección múltiple no demuestra un aprendizaje útil y una respuesta incorrecta no distingue la falta de conocimiento de un conocimiento profundamente erróneo. Por lo tanto, se ha postulado (y demostrado) que se obtendría una mejor estimación del aprendizaje si los estudiantes expresan explícitamente el grado de confianzas en sus respuestas. El construir pruebas de alternativas que incluyan la medición de los grados de confianzas nos llevó a la pregunta que origina este trabajo: ¿cuáles son las características de los ítems que son al mismo tiempo buenos discriminantes y revelen información metacognitiva (de aprendizaje) útil?

Objetivos: Llevar a cabo una clasificación no sesgada (sin hipótesis previas) de los ítems de las pruebas, a partir de la calidad discriminante de las mismas y del grado de confianza de los estudiantes en sus respuestas, mediante un algoritmo estadístico de clustering.

Método: Los datos se obtuvieron de los resultados de las pruebas de Física de las diversas carreras de la salud. Se calculó el promedio de confianza para las respuestas correctas (C) a cada pregunta, y el promedio de confianzas en las respuestas incorrectas (P). El parámetro de confianza se calculó usando la expresión ((C-P)/(C+P), de -1 a 1). La correlación se estimó con el coeficiente de correlación biserial puntual. Los datos se normalizaron y se determinó el número de grupos que mejor modelaron los datos. Este dato se usó con el algoritmo k-means del programa estadístico R para determinar las preguntas que constituían cada grupo. Los resultados se graficaron usando el programa clusplot de R.

Resultados: El procedimiento encontró dos grupos de preguntas. Uno de estos grupos tiene un promedio de coeficientes de correlación significativamente superior y un grado de confianza significativamente mejor. En otras palabras, este grupo de preguntas es capaz de revelar buenos aprendizajes (confianzas bien fundadas) con preguntas claramente discriminantes. En el otro grupo, sin embargo, hay preguntas que discriminan bien pero cuyas respuestas revelan confianzas débiles, o a la inversa. Al revisar estas últimas preguntas, encontramos en ellas algunos aspectos comunes, como un contexto poco familiar en los enunciados, o enunciados que no eran estrictamente claros, o preguntas excesivamente fáciles.

Discusión: Este método no se basa en sesgos previos sino en las tendencias internas propias a los datos. Los resultados muestran que la calidad discriminante de las preguntas y su capacidad para revelar información metacognitiva útil son independientes. Sugieren también que las pruebas contienen un grupo mayoritario de preguntas que permiten discriminar correctamente al tiempo que miden conocimiento bien fundado en la confianza. Sin embargo, estos resultados son preliminares y nos queda extenderlos a una cantidad importante de pruebas. Esperamos sobre estas bases lograr establecer eventualmente un procedimiento simplificado para el análisis de los resultados de las pruebas.

Palabras clave: Metacognición, Alternativas, Clustering.