Herramienta de evaluación de procedimientos: Validación y determinación de sus propiedades psicométricas en la realidad anestésica chilena

Delfino Alejandro 1 , Altermatt Fernando 1 , Corvetto Marcia 1 , Echevarría Ghislaine 1

Correspondencia
Filiaciones

Rev Chil Anest Vol. 41 Número 3 pp. 209-218|doi:
PDF|ePub|RIS


Introducción

La evaluación de performance ha aumentado en los últimos años. Diversas herramientas, que genéricamente reciben el nombre de Evaluación en Sitio de Trabajo, han sido desarrolladas. Dentro de ellas, destaca la herramienta Observación Directa de Procedimientos (ODP), de probada validez y confiabilidad en realidades foráneas 1 , no aplicada en nuestro medio.

Objetivo General

Los objetivos de éste estudio fueron crear una versión modificada de ODP adaptada al contexto anestésico chileno y establecer sus propiedades psicométricas.

Material y Métodos

Desarrollo del instrumento Para lograr consenso sobre la estructura y contenido de la nueva ODP, una serie de entrevistas y una encuesta de consenso fue realizada. El objetivo de las entrevistas fue identificar que dominios del ODP original debían ser incluidos en la versión Chilena, procedimiento efectuado hasta alcanzar saturación. Para validar el prototipo resultante del proceso anterior, una encuesta de consenso fue efectuada, calculándose el Índice de Validez Contextual (CVI) y coeficiente Kappa. Para ser incluidos en la versión final, estos debían ser mayores a 0,78 y 0,60, respectivamente Aplicación del instrumento Empleando una modificación de los criterios de Mulcaster 2 , las intubaciones desarrolladas por los residentes de anestesia fueron evaluadas durante 4 meses, una vez al día, dos veces por semana. La determinación de confiabilidad y consistencia interna del nuevo ODP fue establecida mediante teoría de la generalización. Una encuesta de satisfacción fue enviada a todos los participantes.

Resultados

La entrevista sugirió un ODP con 12 dominios, todos los cuales fueron incluidos en la versión final ya que los valores individuales de CVI y del coeficiente kappa estuvieron sobre 0,9 y 0,8, respectivamente. En relación al CVI para la escala global, estos fueron 0,83 y 0,98, empleando la definición universal y promedio, respectivamente. 585 procedimientos fueron evaluados. El coeficiente de generalización fue 0,9, con un Phi-lambda de 0,96. La intubación efectuada por los residentes debe ser evaluada con ODP al menos 6 veces para obtener un coeficiente de generalización de 0,8. Sobre el 70% de los staff considera DOPS como una herramienta útil, mientras que el 80% de los residentes la incorporaría para evaluar otros procedimientos. Ambos estamentos consideran el feedback como la principal debilidad.

Conclusiones

El ODP modificado es una herramienta válida, confiable y práctica para evaluar procedimientos en el contexto anestésico Chileno, permitiendo esto potencialmente mejorar la calidad de la instrucción efectuada. El elevado coeficiente de generalización alcanzado permite poder emplear el instrumento con objetos de evaluaciones sumativas. Mayores esfuerzos se requieren para mejorar la capacidad de feedback de los staff con objeto de obtener los máximos beneficios de la herramienta.

Referencias

  1. Wragg A, Wade W, Fuller G, Cowan G, Mills P. Assessing the performance of specialist registrars. Clin Med 2003; 3 (2): 131-134.

  2. Mulcaster JT, Mills J, Hung OR, MacQuarrie K, Law JA, Pytka S, et al. Laryngoscopic intubation: learning and performance. Anesthesiology 2003; 98 (1): 23-27.

 

Creative Commons License Attribution-NonCommercialRepublish
×

REPUBLISHING TERMS

You may republish this article online or in print under our Creative Commons license. You may not edit or shorten the text, you must attribute the article to Aeon and you must include the author’s name in your republication.

If you have any questions, please email fescuder@hotmail.com

License

Creative Commons License Attribution-NonCommercialCreative Commons Attribution-NonCommercial
Herramienta de evaluación de procedimientos: Validación y determinación de sus propiedades psicométricas en la realidad anestésica chilena