Los Consejos de Especialidades Médicas son cuerpos colegiados formados por destacados profesionales de la Medicina que cultivan una misma disciplina y quienes establecen el proceso de certificación y certificación vigente. El Consejo Mexicano de Reumatología, A.C. (CMR) fue fundado el 10 de febrero de 1975. Actualmente, está formado por 12 consejeros. Desde su inicio, el CMR ha certificado a 730 reumatólogos de adultos y 49 reumatólogos pediatras mediante un examen, el cual consta de una parte teórica y de una práctica. Hasta el año 2012, la evaluación práctica fue llevada a cabo con un paciente real, en la modalidad de caso único.

El examen de certificación de cualquier especialidad médica se considera un examen de altas consecuencias, por lo que los Consejos deben de hacer lo posible porque las herramientas de evaluación se realicen en el marco conceptual técnico apropiado y con profesionalismo educativo1. El examen de caso real o caso único evalúa el desempeño médico en escenarios reales, verifica las capacidades del sustentante para obtener información útil, tomar decisiones apropiadas, integrar conocimientos previos y discutir puntos de vista. Sin embargo, es poco confiable y reproducible2. El examen clínico objetivo estructurado (ECOE) es un instrumento de evaluación altamente objetivo, que permite examinar competencias y un amplio número de habilidades por lo que algunos autores lo consideran el estándar de oro para evaluar las competencias clínicas3-6. Desde 1975, el ECOE ha sido usado en Canadá, Estados Unidos de Norteamérica, Australia y Europa para evaluar habilidades clínicas de pregrado. En México, se emplea desde 1996 como examen sumativo en la Facultad de Medicina de la Universidad Autónoma de México y como la fase práctica del examen profesional de la Licenciatura desde el año 20027. Además, el ECOE ha mostrado también buenos resultados para evaluar a médicos generales8, cirujanos9, pediatras10, reumatólogos11 y habilidades de ultrasonido músculo-esquelético12.

Desde sus orígenes, el CMR ha reconocido que la competencia clínica es un aspecto crucial del entrenamiento de todo futuro reumatólogo. Hace 2 años, el CMR implementó un ECOE para aplicarlo a los aspirantes, como parte de la certificación anual del CMR. El presente trabajo describe dicho proceso y examina la validez (de constructo) y la confiabilidad del ECOE.

El trabajo describe el diseño, el desarrollo y la aplicación de un ECOE para evaluar las habilidades clínicas en el examen de Certificación anual de Reumatología aplicado por el CMR. En años recientes, se ha propuesto que el ECOE es una herramienta más objetiva para evaluar las competencias clínicas, especialmente cuando se compara con otras modalidades, como el caso clínico único. Sin embargo, se reconocen sus limitaciones, por lo que debe de ser sometido a un riguroso escrutinio y a una prueba piloto como un paso previo a su aplicación3.

El ECOE fue diseñado por un grupo colegiado de expertos, quienes aplicaron las recomendaciones internacionales para su desarrollo15, entre las cuales cabe resaltar el establecimiento previo de una tabla de especificaciones, la validación de las estaciones por un grupo de expertos y la aplicación de una prueba piloto. La evaluación del ECOE se realizó con referencia a criterio, ya que se fijó de antemano un estándar, como lo recomienda la tendencia actual de la educación basada en competencias (www.conacem.org).

La validez de constructo del ECOE fue analizada de varias maneras. Por una parte, se correlacionó el desempeño del ECOE con el de la parte teórica del examen de certificación. En la literatura se han descrito correlaciones significativas entre el ECOE y las evaluaciones teóricas con valores que oscilan entre 0,59 y 0,7116-18, si bien existe escasa información en el ámbito reumatológico11,12; un reporte reciente publicado por Kissin et al. describen una correlación de 0,52 (p ≤ 0,001) entre un circuito de n9 estaciones diseñado para evaluar habilidades de ultrasonido musculo-esquelético y su correspondiente parte teórica12; por el contrario, Raj et al. no encontraron una correlación significativa entre los conocimientos teórico y práctico, cuando este último se evaluó mediante 2 estaciones de exploración de mano y rodilla y se aplicó a estudiantes de medicina19. Encontramos una correlación de 0,44 en el año 2013, mientras que no hubo correlación en el año 2014. Lo anterior pudiera estar relacionado a un peor desempeño de los aspirantes en la prueba teórica en el año 2014 y/o por el hecho de que ambas evaluaciones (teórica y práctica) midieron diferente conocimiento. Cabe resaltar que el encontrar una alta correlación entre las 2 evaluaciones indica que se obtiene únicamente una pequeña ganancia de información relativa al conocimiento del aspirante, cuando se aplican ambos instrumentos; una hipótesis plausible es que en situaciones de alta correlación entre ambos, el ECOE explora (al igual que la prueba teórica) «el saber» y el «saber cómo» y se aleja del «demuestra cómo» de la pirámide de Miller20. En relación con este punto, Matsell et al.10 identificaron un elemente clave en la validez de constructo de un ECOE cuando se establece sobre la base de la alta correlación con una evaluación escrita. Desde un punto de vista teórico, el ECOE evalúa una amplia variedad de habilidades/competencias clínicas, por lo que los autores proponen categorizar las estaciones en 4 grandes dominios (conocimiento, solución de problemas, habilidades clínicas y manejo del paciente) y correlacionar las estaciones de cada dominio con la parte teórica correspondiente. Esta propuesta, que tiene un gran fundamento teórico será incluida, en la próxima aplicación del ECOE.

Con respecto a la validez de constructo, también se analizó con el constructo de experiencia; una evaluación válida debiera de mostrar cómo los aspirantes con mayor experiencia tienen mejor desempeño21. Todos los aspirantes tenían una formación similar en años. Sin embargo, el mismo circuito se aplicó a 3 reumatólogos recién certificados, en condiciones similares a las del día del examen. En general, los últimos tuvieron mejores puntuaciones que los aspirantes.

Finalmente, y de manera indirecta, la validez de constructo se analizó en el año 2014 comparando el porcentaje de aprobados en la prueba teórica (y la media de la calificación) en quienes aprobaron o no el ECOE. Nuestros resultados apoyan la validez del instrumento.

Con respecto a la confiabilidad, no se realizó una evaluación de la anterior como tal si bien se han propuesto 3 maneras de aumentar la confiabilidad del ECOE y todas ellas fueron implementadas: diseño de estaciones de corta duración para permitir la evaluación de múltiples situaciones clínicas, evaluación de las estaciones a través de listas de cotejo predeterminadas y la integración de los circuitos con diferentes estaciones, evaluadores y pacientes simulados17. En nuestro caso, los pacientes seleccionados fueron pacientes reales (salvo 2 actores); no obstante, recibieron entrenamiento con libretos diseñados para representar la patología de cada estación y revisados por un grupo de expertos. Todo lo anterior incrementa la confiabilidad del ECOE sin afectar a su validez, como cuando se usan pacientes simulados o actores. Además, 9 de las estaciones se aplicaron en los 2 años consecutivos y mostraron una excelente estabilidad entre los 2 grupos de aspirantes y la consistencia interna entre los reumatólogos certificados en la prueba piloto fue excelente. Finalmente, si bien se encontró una baja correlación interestación, indica que cada estación evaluó habilidades o competencias diferentes y, por tanto, descarta redundancia de nuestro instrumento. Es importante recalcar la necesidad de incluir un número adecuado de estaciones para no afectar la confiabilidad del ECOE3,22. En el único (que tengamos conocimiento) ejercicio similar en nuestra especialidad el circuito estuvo constituido por 12 estaciones11.

Probablemente, uno de los mayores beneficios de un ECOE (y de otras evaluaciones similares) es la posibilidad de identificar deficiencias en la formación de los residentes y, eventualmente, modificar el currículo. Para ello es imprescindible contar con una herramienta de evaluación óptima. Si bien es cierto que el desempeño de nuestro instrumento fue adecuado, no debemos olvidar que el ECOE es finalmente una aproximación a los problemas reales pero no un encuentro médico-paciente real. Nuestra experiencia se limita a 2 años, mientras que se recomienda que todo instrumento sea utilizado por 3 a 5 años consecutivos, lo que permite una adecuada calibración del mismo. Además, el ECOE no se reprodujo en su totalidad en los años consecutivos. Con respecto a la evaluación de las estaciones, no se aplicó ningún método científico para establecer la puntuación aprobatoria para cada estación23, sino que se establecieron unos criterios previos. El ECOE aplicado a los reumatólogos certificados (prueba piloto) se desarrolló en un día diferente del ECOE aplicado a los aspirantes, si bien se realizó un esfuerzo por reproducir las condiciones de la evaluación final. La implementación del ECOE requirió de recursos financieros y humanos; realizamos el ejercicio de definir los costos y estos ascendieron a 120.000 pesos (alrededor de 9.200 dólares), cifra que no es excesiva pero sí mucho mayor a lo habitualmente invertido en la evaluación práctica de los residentes y pudiera afectar a su factibilidad a largo plazo.

En conclusión, el ECOE diseñado por el CMR mostró adecuadas validez de constructo y confiabilidad, por lo cual puede ser integrado como un instrumento de evaluación de las competencias clínicas en el examen de Certificación como reumatólogo. Los Consejos de Certificación tienen la responsabilidad social y ante la comunidad médica de documentar que un especialista es competente para ejercer su práctica. Es por ello necesario que incorporen rigor, calidad metodológica y trasparencia a sus procesos de certificación. De manera paralela, la sociedad debe de exigirles una mayor profesionalización. El esfuerzo conjunto de la sociedad, la comunidad médica, los pacientes y las autoridades competentes debe de tener un objetivo común, contribuir a incrementar la calidad de la atención médica que recibe nuestra población.

Los autores declaran no tener ningún conflicto de intereses.