Construcción y evaluación de validez de contenido de un cuestionario
para evaluar comportamientos socialmente responsables
en docentes de carreras de la salud de una
universidad tradicional de Chile.

Katherinne Sáez P.^*a, Débora Alvarado F.^*b

RESUMEN

Introducción: Para avanzar en la responsabilidad social de las facultades de medicina, se hace necesario abordar los comportamientos socialmente responsables de los distintos actores que integran esta comunidad educativa. Los y las docentes son relevantes al momento de transferir estos comportamientos a sus estudiantes, por lo que se hace necesario definir las características de docentes socialmente responsables.
Objetivos: Evaluar la validez de contenido de un instrumento para medir los comportamientos socialmente responsables en docentes de carreras de salud en la Facultad de Medicina de la Universidad de Concepción.
Material y Método: Mediante un enfoque mixto exploratorio no experimental secuencial, se realizó un análisis de los datos obtenidos en la encuesta del proyecto interno UdeC VRID 216.090.005-1.0 (2016), realizada a 260 estudiantes y 63 docentes de la Facultad de Medicina. Con los datos obtenidos en esta encuesta, se realiza una propuesta de instrumento para evaluar comportamientos socialmente responsables. Para asegurar su validez de contenido, se sometió a juicio de expertos y se calculó la Razón de Validez de Contenido (RVC) y el Índice de Validez de Contenido (IVC).
Resultados: El cuestionario de comportamientos socialmente responsables para docentes de las carreras de la salud, en su primera versión, obtiene un IVC 0,15 y la segunda versión logra un IVC 0,66; por lo que se puede afirmar que tiene validez de contenido.
Conclusiones: El análisis de las percepciones de los estudiantes y docentes, respecto a los comportamientos socialmente responsables en docentes, permitieron construir y aportar evidencias de validez para un instrumento que nos permite evaluar este comportamiento en docentes.

Palabras clave: Responsabilidad social universitaria, Comportamientos socialmente responsables, Docentes.

SUMMARY

Creation and content validity assessment of a questionnaire to evaluate socially responsible behavior in teachers of health careers in a traditional University in Chile.

Introduction: In order to advance in the social responsibility of medical schools, it is necessary to address the socially responsible behaviors of the different actors that conform this educational community. Teachers are relevant when transferring these behaviours to students, so it is necessary to define the characteristics of a socially responsible teacher.
Objectives: To assess the content validity of an instrument to measure the socially responsible behaviors of teachers of health careers in the Faculty of Medicine of the Universidad of Concepción.
Material and Method: Through a mixed exploratory non sequential approach, an analysis of the data obtained in the survey of the internal project UdeC VRID 216.090.005-1.0 (2016), applied to 260 students and 63 teachers of the Faculty of Medicine, was carried out. With the data obtained in this survey, a proposal for an instrument to evaluate socially responsible behavior was made. To ensure its content validity, it was submitted to expert judgement, Content Validity Ratio (CVR) and Content Validity Index (CVI) were calculated.
Results: The first version of the questionnaire on socially responsible behaviour for teachers of health careers obtains a CVI of 0.15 and the second version obtains a CVI of 0.66; therefore, it can be stated that it has content validity.
Conclusions: The analysis of students' and teachers' perceptions, regarding socially responsible teacher's behaviors, allowed us to build and provide evidence of validity for an instrument that allows us to evaluate this behavior in teachers.

Keywords: University social responsibility, Socially responsible behaviors, Teachers.

Cuando las universidades pretenden obtener la acreditación de ‘campus de excelencia’, conviene recordar que tal reconocimiento debería comportar la exhibición plena de su responsabilidad social institucional¹.

Los docentes son actores relevantes en la formación académica y, sin este pilar fundamental, las visiones, misiones y planes de estudio no lograrían concretarse.

El objetivo general de esta investigación es evaluar la validez de contenido de un instrumento para medir los comportamientos socialmente responsables de los docentes de las carreras de la salud en la Facultad de Medicina de la Universidad de Concepción, para lo cual la metodología propuesta es mixta, exploratoria, no experimental y secuencial.

En este estudio se analizan los datos obtenidos en una encuesta aplicada en el contexto del proyecto interno UdeC VRID 216.090.005-1.0 (2016) a 260 estudiantes y 63 docentes de la Facultad de Medicina, obteniéndose 13 dimensiones y 52 ítems, los cuales se utilizaron en la confección del Cuestionario de Comportamientos Socialmente Responsables en docentes de las carreras de la salud en su primera versión. Para evaluar su validez de contenido se envió a juicio de expertos.

Según Nejati et al.², existe un creciente interés en la Responsabilidad Social (RS) de las organizaciones durante las últimas décadas, ya que generan un impacto en su entorno. Por su parte, las Universidades son también organizaciones que generan e intercambian conocimiento, por lo que juegan un papel muy importante en la solución de los problemas del mundo y garantizan un futuro sustentable, impactando en las actuales y futuras generaciones.

En la Universidad de Concepción, casa de estudios donde se desarrolló esta investigación, existe desde el año 2002 un programa de Responsabilidad Social, el que define la RS como: “la capacidad y obligación de cada persona, de responder ante la sociedad por acciones u omisiones, que se traduce en el compromiso personal de cada uno con los demás y se ejerce a través de conductas morales que orientan las actividades individuales y colectivas en un sentido que permitan a todos igualdad de oportunidades para desarrollar sus capacidades”³.

Por su parte, en referencia al área de la salud, la Organización Mundial de la Salud define la Responsabilidad Social de las facultades de Medicina como “la obligación de dirigir sus actividades educativas, investigadoras y de servicio a atender las necesidades prioritarias de su comunidad, región y/o nación que les ha conferido el mandato de servir. Las necesidades prioritarias deben ser identificadas conjuntamente por los gobiernos, las organizaciones que prestan los servicios asistenciales de salud, los profesionales sanitarios y el público”⁴.

MATERIAL Y MÉTODO

Se utilizó una metodología mixta con un diseño exploratorio secuencial, una primera etapa cualitativa seguida de una etapa cuantitativa, para poner a prueba los hallazgos de la primera etapa.

Este estudio cuenta con dos fases, señalándose como secuencial: la primera es cualitativa y contempla el análisis de los datos obtenidos a través de una encuesta que se aplicó a estudiantes de carreras de la salud y docentes de estas mismas, en la cual se preguntó por conductas de un docente socialmente responsable. Con estas respuestas se levantaron las dimensiones e ítems para la elaboración del “Cuestionario de evaluación de comportamientos socialmente responsables en docentes de carreras de la salud”. Una segunda fase, cuantitativa corresponde al proceso de validez de contenido de este cuestionario, mediante el análisis estadístico del juicio de expertos, tras lo cual se elabora la segunda versión del instrumento.

Los participantes del estudio fueron seleccionados según muestreo no probabilístico, por accesibilidad o conveniencia, correspondiendo a 260 estudiantes y 63 docentes de las carreras de la salud de la Facultad de Medicina de la Universidad de Concepción. Estos participaron respondiendo una encuesta que se aplicó en 2016, en el marco de la implementación del proyecto interno UdeC “Comportamiento Socialmente Responsable en la Formación de Médicos: identificación de indicadores y elaboración de cuestionarios de autorreporte para su medición” (VRID 216.090.005-1.0).

Los datos sociodemográficos de los docentes y estudiantes fueron analizados con estadística descriptiva.

De las respuestas a la encuesta se obtuvieron descriptores, tanto de docentes como de estudiantes, analizándose por separado y evaluándose similitudes y comparando las respuestas de ambos grupos. El análisis de contenido permitió elaborar categorías con su respectiva definición y asociar a ellas los distintos descriptores.

Se obtuvo un total de 13 categorías –consideradas como dimensiones– y se analizó la distribución porcentual de los descriptores en cada una de ellas, para identificar los tópicos más importantes a considerar según la muestra, respecto a los comportamientos socialmente responsables de los docentes.

Como parte de la segunda fase de la investigación, se creó la primera versión del instrumento “Cuestionario de evaluación de comportamientos socialmente responsables en docentes de carreras de la salud”, asignándole a cada dimensión descriptores representativos. Esta primera versión del cuestionario se envió a expertos, tanto en la disciplina de Educación Médica como en el tema de RS de la Universidad de Concepción, a quienes se les solicitó que calificaran cada ítem como “esencial”, “útil pero no esencial” o “no necesario”; y que, adicionalmente, entregaran comentarios orientados a modificar dimensiones o ítems, si lo estimaban pertinente. Se obtuvieron 5 respuestas, las que fueron sometidas a análisis.

Como parte del criterio de rigurosidad científica para la validez de contenido, Lawshe propone como indicador el uso de la Razón de la Validez de Contenido (RVC), la cual señala el grado de acuerdo de los jueces acerca de la validez del ítem; y el cálculo del Índice de Validez de Contenido (IVC), el cual se calcula como el promedio de los RVC de los ítems del instrumento. Por lo tanto, se puede interpretar como el grado de acuerdo general que los jueces tienen sobre la validez del instrumento⁵.

Respecto a los/las docentes que participaron de la encuesta (n=63), eran principalmente Médicos/as (n=20) y Tecnólogos/as médicos (n=9). 5 docentes no entregaron este antecedente, y la mayor parte declaró no desempeñarse en el área pública ni en el área privada. Respecto a las horas académicas, el 38% (n=24) se encontraba realizando menos de 22 horas a la semana y un 25,3% (n=16) más de 33 horas a la semana. La mayor parte, un 74,6% (n=47), no participa en actividades de voluntariado y solo el 17,4% (n=11) participa. El 6,34% (n=4) no respondió a la pregunta.

Respecto a los/las estudiantes, la mayor parte pertenecía a la carrera de Medicina 38% (n=99), le siguen Kinesiología con un 14,2% (n=37), Tecnología Médica con un 12,6% (n=33) y el 13,8% (n=36) no respondió a la pregunta. En relación al año que cursaban en el momento de la encuesta, podemos señalar que la mayor parte se encontraba en segundo año, con el 20,3% (n=53) y en cuarto año, con el 19,3% (n=51). La mayor parte no participaba en actividades de voluntariado en el momento de la encuesta, con un 60,3% (n=158); y un 13,8% (n=36) no respondió a la pregunta.

Los descriptores fueron analizados y categorizados en 13 categorías. La Tabla 1 muestra los porcentajes de los descriptores que se asignan a las distintas categorías.

Tabla 1. Distribución de frecuencias de descriptores por categoría.

La categoría referida a “aplicar adecuadas metodologías de enseñanza, aprendizaje y evaluación” obtuvo el 14,9% de los descriptores, sigue la “formación centrada en los valores del humanismo y ética”, con el 13,77% y el menor porcentaje lo obtuvo “el cuidado del medio ambiente” con el 0,61% de los descriptores.

En la Tabla 2 se comparan los descriptores entregados por los docentes y los estudiantes, según las 13 categorías.

Tabla 2. Resumen comparativo: docentes y estudiantes según frecuencias por categoría.

Para docentes, la categoría con mayor proporción de descriptores es la referida a la “formación centrada en los valores del humanismo y la ética”, con el 19,1%; seguida en frecuencia por “la visión social de la enseñanza”, con el 17,5%. Por otro lado, para estudiantes, los más altos porcentajes son para la categoría “aplicar adecuadas metodologías de enseñanza, aprendizaje y evaluación” con el 16,23% y “promover un buen ambiente universitario”, con el 15,9%.

Destaca señalar que la categoría de "cuidado del medio ambiente" obtuvo, tanto para docentes y estudiantes, el menor porcentaje.

Para determinar la validez de contenido de las 13 categorías e ítems desarrollados en la primera versión del “Cuestionario de evaluación de comportamientos socialmente responsables en docentes de carreras de la salud”, este se envió a juicio de expertos. Las respuestas recibidas fueron analizadas según el Índice de Validez de Contenido, obteniéndose un valor de 0,15. Según la evaluación del panel de expertos, se calculó la Razón de Validez de Contenido (RVC) para cada ítem. La Tabla 3 resume el resultado de este análisis. En ella, se pueden apreciar 2 columnas. La primera presenta los RVC de cada ítem y el IVC total del instrumento para su primera versión. En la segunda columna, los ítems con valores menores a 0,6 fueron retirados para lograr un IVC de 0,66; el cual, según criterio de los investigadores participantes, otorgaría una validez de contenido adecuada al instrumento, generando la segunda versión.

Tabla 3. Resultados de evaluación de juicio de expertos: Razón de Validez de Contenido (RVC) e Índice de Validez de Contenido (IVC) para primera y segunda versión del cuestionario.

Los valores más altos de RVC fueron obtenidos por los ítems: “ser congruente con lo enseñado y su desempeño como profesional”, “desarrollar métodos de evaluación educativa acorde a los objetivos de la asignatura” y “entrega retroalimentación durante el proceso de aprendizaje”; los cuales obtuvieron RVC de 1.

Los valores más bajos de RVC son para los siguientes ítems: “participa en investigaciones relacionadas con su disciplina”, “promociona o participa de actividades que fomentan el autocuidado y estilos de vida saludable”, “muestra conductas saludables dentro de la universidad, como por ejemplo subir escaleras, elegir alimentos saludables en la cafetería” y “se muestra crítico respecto a su desempeño docente”, los cuales obtuvieron RVC -0,6.

DISCUSIÓN

Este estudio logra explorar las percepciones de estudiantes y docentes respecto a los comportamientos socialmente responsables en docentes; identificando, categorizando y describiendo la frecuencia de indicadores de estos comportamientos. Al comparar la percepción de estudiantes con la de docentes, respecto a los comportamientos socialmente responsables del docente, se observa que las dimensiones más relevantes para estudiantes y docentes difieren, pero que ambos grupos concuerdan con el puntaje más bajo para el “cuidado del medio ambiente”, lo cual es completamente distinto de los resultados obtenidos por Arango⁶, el cual observa en estudiantes mayor atribución de comportamientos socialmente responsables relacionados con la ecología y medio ambiente. Respecto a diferencias entre docentes y estudiantes, se observa en la dimensión “generar condiciones que faciliten el aprendizaje”, siendo esta relevante para estudiantes y de escasa relevancia para docentes, no encontrándose referente a este punto en la literatura, por lo cual se presenta como un punto para profundizar en futuros estudios.

Uno de los aspectos destacables de los datos obtenidos, se refiere a la visión prosocial. Según Navarro⁷, el desarrollo moral aumentaría con la edad, lo cual concuerda con las diferencias encontradas entre docentes y estudiantes, ya que las categorías con frecuencias más altas de ítems en los docentes son “Formación centrada en los valores del humanismo y la ética”, “Visión social de la enseñanza” y “Promover un buen ambiente universitario”; estas categorías manifiestan ideales altruistas y de beneficio a otros. En contraposición, para los estudiantes las dimensiones más relevantes que vinculan con la RS de docentes dicen relación con “el uso de adecuadas metodologías de enseñanza aprendizaje” y “evaluación y la promoción de un buen ambiente educativo”. Esto nos sugiere que, más que profundizar en comportamientos prosociales, los y las estudiantes esperan que sus docentes cumplan su rol a cabalidad, señalando probables brechas existentes en competencias para la docencia y actitudes favorecedoras de un buen ambiente educativo.

Adicionalmente, este trabajo logra construir, en base de datos de percepción, un instrumento de evaluación de comportamientos socialmente responsables en docentes de las carreras de la salud y analizar la validez de contenido del instrumento construido.

El primer instrumento construido alcanzó un nivel bajo de validez de contenido al ser sometido a juicio de expertos. Al analizar este resultado, debemos considerar que para la elaboración del perfil de conductas socialmente responsables del docente, se les pide a los sujetos más directamente vinculados a la actividad docente que las planteen desde su percepción, para de esta manera contar con elementos emergentes que se complementan con visiones teóricas previamente existentes. El bajo nivel de validez de contenido pudo estar asociado a la elaboración de las categorías y el ordenamiento de los indicadores al interior de esta. Si revisamos los indicadores que obtuvieron los menores RVC, podemos señalar que, desde la teoría, sí corresponden a comportamientos socialmente responsables, pero se dan en menor frecuencia (“participa en investigaciones…”); o bien, se puede atribuir a que representan un nivel muy alto de RS, por lo que no sería exigible al docente (ser en sí mismo un modelo para el autocuidado en sus estudiantes, o mostrarse crítico respecto a su desempeño docente). Ahora, de acuerdo a lo planteado por Pedrosa⁵, si consideramos que la validez de contenido es una condición necesaria, aunque no suficiente para realizar interpretaciones a los puntajes de un test, podemos valorar el IVC final alcanzado como un elemento más a analizar, el que debiera ser complementado con otros métodos, tanto cuantitativos como cualitativos.

Es necesario considerar que el uso del “panel de evaluación de contenido” tiene limitaciones que pueden surgir de la selección de los mismos jueces; o bien, dado que las categorías o dimensiones ya están definidas, se puede dirigir la valoración por parte de estos⁵. Se sugiere que el IVC sea valorado con cierta flexibilidad, ya que considerarlo o no apropiado, dependerá del número de jueces, número de ítems evaluados e incluso de las implicancias prácticas de los instrumentos.

No obstante lo anterior, al lograr IVC no óptimo en el del segundo instrumento, plantea la necesidad de evaluar otras variables que hubieran podido afectar la pertinencia o utilidad de los indicadores incorporados; como por ejemplo, que la representación de docentes hubiese sido menor proporcionalmente a la de estudiantes, o bien, que estos hayan sido principalmente docentes con menos de 22 horas de ejercicio de docencia en la facultad en la cual se realizó el estudio.

Para valorar la real incidencia de estos factores sería necesario profundizar en el análisis de tipo cualitativo.

En el segundo instrumento, las principales dimensiones representadas son cinco: las referentes al compromiso con la labor académica, modelar desde el rol docente, aplicar adecuadas metodologías de enseñanza aprendizaje, visión social de la enseñanza y respeto a las normas institucionales.

Se considera que un aporte importante de este estudio es la generación de un perfil de comportamientos socialmente responsable en docentes de las carreras de la salud desde la perspectiva de estudiantes y del propio docente, comparar las percepciones, y analizar sus diferencias y similitudes; lo cual contribuye a generar nuevos conocimientos, tanto para enriquecer el ámbito de la Responsabilidad Social Universitaria y el de Educación en Ciencias de la Salud.

La versión final del instrumento que se construye es factible de ser perfeccionada en futuros estudios para lograr mayores evidencias de validez mediante métodos también cualitativos y avanzar, además, en el análisis de confiabilidad.

CONCLUSIONES

Respecto al objetivo general de este estudio, el cual fue “evaluar la validez de contenido de un instrumento construido para medir los comportamientos socialmente responsables de docentes de las carreras de la salud”, se logra crear un instrumento para medir estos comportamientos, a partir de las percepciones de estudiantes y docentes, el cual, en su primera versión evaluada por juicio de expertos, muestra una baja validez de contenido, realizándose posteriormente una segunda versión, la cual rescata 21 ítems, con una validez de contenido adecuada, pero que es posible mejorar en futuras investigaciones.

Se puede señalar que los resultados de este estudio aportan mayor conocimiento sobre la percepción que estudiantes y docentes tienen sobre los comportamientos socialmente responsables esperados en docentes que se desempeñan en las carreras de la salud.

El análisis de sus respuestas, en la encuesta, nos refleja las diferencias y semejanzas de sus percepciones, las cuales desembocan en la construcción del instrumento, el cual finaliza con 5 dimensiones representadas de las 13 iniciales en el primer instrumento.

Se ha podido dilucidar que para estudiantes y docentes, los comportamientos socialmente responsables asociados al cuidado del medio ambiente y al autocuidado son menos relevantes, lo que, por una parte, podría representar que, en el momento del estudio, el tema medioambiental no estaba instalado en la agenda pública, como lo está actualmente, sobre todo en las generaciones jóvenes; y que el autocuidado no se considera habitualmente vinculado a la responsabilidad social, a pesar de que, en carreras de la salud, los profesionales modelamos estas conductas en la población, por lo que pareciera ser que, tanto para docentes como para estudiantes, no existe conciencia de este rol.

Respecto a la construcción y validación del instrumento para medir los comportamientos socialmente responsables de docentes de las carreras de la salud, se puede señalar que es posible construir una propuesta en base a la percepción de los actores involucrados. Luego de la evaluación de validez de contenido, se logra una segunda versión, la cual puede ser el punto de partida para futuras investigaciones, que, por ejemplo, analicen las propiedades psicométricas para obtener un instrumento similar más confiable, o bien, realicen nuevos estudios que permitan profundizar en la comprensión de estas percepciones, usando, por ejemplo, otros métodos cualitativos.

Las limitaciones presentadas en este estudio son referidas a la muestra y al desarrollo de la metodología de evaluación por jueces, principalmente en su primera versión.

Se puede señalar que en este estudio se logra la exploración, identificación y categorización de indicadores de percepción de comportamientos socialmente responsables de docentes, de las similitudes y diferencias entre grupos, lo que abre nuevas perspectivas de análisis; como, por ejemplo, la mayor tendencia a la percepción prosocial de la conducta socialmente responsable en docentes, en comparación con estudiantes.

REFERENCIAS BIBLIOGRÁFICAS

1. Boelen C. Responsabilidad social y excelencia. Educ Med. 2009; 12(4): 199-205. Disponible en: http://scielo.isciii.es [Consultado el 5 de enero de 2018].

2. Nejati M, Shafaei A, Salamzadeh Y, Daraei M. Corporate social responsibility and universities: A study of top 10 world universities’ websites. African J Bus Manag. 2011; 5(2): 440-447. Disponible en: http://ssrn.com [Consultado el 12 de agosto de 2017].  

3. Programa de Estudios sobre la Responsabilidad Social Universidad de Concepción. Diplomado en Responsabilidad Social. Descripción del Programa. Disponible en: http://www2.udec.cl/rsu [Consultado el 1 de febrero de 2018].

4. Boelen C, Heck J, World Health Organization. Defining and measuring the social accountability of medical schools. 1995. Disponible en: https://apps.who.int [Consultado el 3 de junio de 2019].

5. Pedrosa I, Suárez-Álvarez J, García-Cueto E. Evidencias sobre la validez de contenido: Avances teóricos y métodos para su estimación. Acción Psicológica. 2014; 10(2): 3-20.

6. Arango O, Clavijo S, Puerta I, Sánchez J. Formación académica, valores, empatía y comportamientos socialmente responsables en estudiantes universitarios. Revista de la Educación Superior. 2014; 43(169): 89-105. Disponible en: https://doi.org/10.1016/j.resu.2015.01.003 [Consultado el 18 de febrero de 2018].

7. Navarro G. Moralidad y Responsabilidad Social: Bases para su desarrollo y educación. 2012. Disponible en: http://www2.udec.cl/rsu [Consultado el 5 de noviembre de 2017].

Artículo recibido el 19/07/19, Aceptado el 13/01/20.