El Consejo Mexicano de Reumatología certifica anualmente reumatólogos mediante una prueba teórica y un examen clínico objetivo estructurado (ECOE). Desde el año 2015, se evalúan las habilidades de comunicación (HC) de los candidatos. Los objetivos fueron comparar las HC evaluadas por el paciente (HCP) y por el médico (HCM) y correlacionarlas con el desempeño de los candidatos en el ECOE.
Material y métodosDurante los años 2015, 2016 y 2017, se evaluaron las HC en las estaciones dinámicas, mediante una escala de Likert aplicada a 8 áreas. Pacientes y evaluadores fueron entrenados cada año para calificar a los aspirantes, lo cual se realizó el día del ECOE, de manera ciega, por ambos. Se calcularon coeficientes de correlación de Pearson.
ResultadosEn general, a lo largo de los 3años, los candidatos obtuvieron puntajes altos en las HC. Los pacientes puntuaron mejor a los candidatos que los evaluadores médicos. Las HCP y las HCM correlacionaron entre sí (de leve a moderado) en la mayoría de las estaciones. El puntaje de las HC de cada candidato correlacionó con su desempeño en la estación correspondiente; se encontraron mejores correlaciones con las HCP. El promedio de las HC de cada candidato correlacionó con el desempeño global en el ECOE, pero no así con la prueba teórica (salvo en el año 2017, cuando hubo una correlación baja).
ConclusionesLas HC evaluadas durante un examen de certificación en Reumatología correlacionan con el desempeño de cada candidato en cada estación y en el ECOE global.
The Mexican Accreditation Council for Rheumatology annually certifies trainees in Rheumatology using a multiple-choice test and an objective structured clinical examination (OSCE). Since 2015, candidate's communication skills (CS) have been rated by both patients and by physician examiners and correlated with results on the OSCE. This study compared the CS from candidates to annual accreditation in Rheumatology as rated by patients and by physician examiners, and assessed whether these correlated with candidate's performance in the OSCE.
Material and methodsFrom 2015 to 2017, 8areas of CS were evaluated using a Likert scale, in each OSCE station that involved a patient. Both patient and physician evaluators were trained annually and their evaluations were performed blindly. The associations were calculated using the Pearson correlation coefficient.
ResultsIn general, candidates were given high CS scores; the scores from patients of the candidate's CS were better than those of physician examiners; within the majority of the stations, both scores were found to correlate moderately. In addition, the scoring of CS correlated with trainee performance at the corresponding OSCE station. Interestingly, better correlations were found when the skills were rated by the patients compared to physician scores. The average CS score was correlated with the overall OSCE performance for each trainee, but not with the multiple-choice test, except in the 2017 accreditation process, when a weak correlation was found.
ConclusionsCS assessed during a national accreditation process correlated with the candidate's performance at the station level and with the overall OSCE.
Los consejos de certificación de las especialidades médicas se comprometen con la sociedad para garantizar que los especialistas certificados cuentan con las habilidades y competencias necesarias para ejercer su profesión. Lo anterior implica desarrollar y aplicar herramientas de evaluación, establecer los puntos de corte que determinarán (o no) la acreditación y, en definitiva, tomar decisiones de crucial relevancia para los aspirantes, las autoridades de salud y educativas y la sociedad en general1-3.
El Consejo Mexicano de Reumatología (CMR) tiene la función de certificar anualmente a todos los candidatos quienes han completado su formación en Reumatología en alguno de los centros nacionales acreditados para tal efecto. El proceso de certificación implica una evaluación escrita fundamentada en casos clínicos y una evaluación práctica. Hasta el año 2012, esta última se sustentaba en «el caso largo» con paciente real, ampliamente reconocido por su utilidad en la evaluación formativa, pero poco recomendado para evaluar competencias de «altas consecuencias»4,5. Por tal motivo y a partir del año 2013, el CMR implementó un examen clínico objetico estructurado (ECOE) para evaluar las habilidades clínicas en el examen de certificación anual. A lo largo de los años, el ECOE ha mostrado un adecuado desempeño6,7.
El ECOE consiste en un circuito de estaciones, algunas de las cuales incluyen a pacientes reales y que se conocen por tal motivo como estaciones dinámicas8. A cada estación (estática o dinámica) se le asigna un reumatólogo (evaluador) quien evalúa a los candidatos mediante una lista de cotejo y una escala de desempeño general. Desde el año 2015, en las estaciones dinámicas se aplica un instrumento adicional de evaluación, diseñado y adaptado para determinar las habilidades de comunicación (HC) de los candidatos con el paciente.
Las HC (efectivas) impactan en la satisfacción del paciente9 y en sus desenlaces10,11. A pesar de ello, en muchos países el entrenamiento formal en HC no forma parte del currículo académico y es excepcional una vez completada la educación de pregrado; al igual que con otras competencias clínicas, las HC decaen con el tiempo y la falta de práctica12. Adicionalmente, el modelo de enseñanza y las técnicas de aprendizaje aplicadas a las HC se asientan en el modelo clásico de maestro-aprendiz en el cual la enseñanza carece de planificación, estructura y objetivos definidos. En nuestro trabajo clínico habitual, es frecuente enfrentar situaciones en las que la comunicación con el paciente y su entorno es compleja; el residente en formación a menudo está solo, no es observado por un especialista con mayor experiencia por lo cual no existe una adecuada retroalimentación. Un tema que ha sido motivo de debate en el área de las HC es quién debiera evaluar dichas habilidades, el paciente o el examinador. De manera interesante, se ha demostrado que los pacientes estandarizados pueden evaluar de manera eficiente las HC de residentes y especialistas13,14.
En el presente trabajo, reportamos la experiencia del CMR relativa a la evaluación de las HC de los candidatos a la certificación en Reumatología de los años 2015, 2016 y 2017. Los objetivos específicos fueron:
- 1.
Describir y comparar las HC de los candidatos a la certificación en Reumatología evaluadas por el paciente y por el médico.
- 2.
Correlacionar las HC de los candidatos con su desempeño en el ECOE.
En nuestro país contamos con 16 centros certificados para la formación de especialistas en Reumatología. Todos los candidatos a la certificación completaron cuando menos 4 años de formación y contaron con una carta de recomendación de sus respectivos profesores de los cursos impartidos en los centros de formación. En cada año, el examen de certificación se desarrolló en 2 días consecutivos; en el primer día se aplicó el ECOE y en el segundo, la prueba teórica. Ambas pruebas se desarrollaron por comités específicamente designados y siguieron un riguroso proceso descrito de forma previa6,7.
En la tabla 1 se describe, por cada año (2015, 2016 y 2017), el número de aspirantes, el número de reactivos de la prueba teórica, el número de estaciones totales y de estaciones dinámicas (en las cuales se evalúan las HC de los candidatos).
Características del examen de certificación del CMR y número de aspirantes para cada año
| Certificación 2015 | Certificación 2016 | Certificación 2017 | |
|---|---|---|---|
| N.° de aspirantes | 43 | 37 | 38 |
| N.° de reactivos en la PT | 222 | 200 | 300 |
| N.° de estaciones totales | 15 | 15 | 17 |
| N.° de estaciones dinámicas | 11 | 11 | 12a |
Las HC se evaluaron en cada una de las estaciones dinámicas del circuito correspondiente a cada año.
Se adaptaron 2formatos similares para las HC, uno dirigido al paciente y otro al evaluador. El contenido de ambos fue idéntico y únicamente cambió la redacción. Cada formato incluyó una única escala de Likert, de 1=insatisfactorio a 9=superior, mediante la cual se evaluaron 8 áreas de las HC del aspirante (tabla 2 y Anexo. Material suplementario).
Habilidades de comunicación del aspirante evaluadas durante el examen de certificación
| 1 | Saludo y presentación con el paciente |
| 2 | Explicación al paciente de lo que el aspirante realizará durante el encuentro |
| 3 | Comprensión por parte del paciente de la explicación del aspirante |
| 4 | Percepción (del paciente) acerca del interés del aspirante sobre lo que le comenta |
| 5 | Contacto visual del aspirante con el paciente |
| 6 | Empatía del aspirante con el paciente |
| 7 | Cuidado (del aspirante) al realizar la exploración/procedimiento |
| 8 | El aspirante identifica que el paciente siente dolor durante la exploración/procedimiento |
Todos los pacientes fueron entrenados durante una sesión ex profeso para aplicar el formato y calificar a cada aspirante. De igual modo, todos los evaluadores fueron entrenados. La evaluación de cada aspirante se realizó el día del examen práctico, inmediatamente después de la participación de cada aspirante y de manera independiente (ciega) por el paciente y el evaluador; cada uno asignó una única puntuación (del 1 al 9) a cada aspirante.
De manera adicional, cada evaluador asignado a una estación cuenta con 2instrumentos, una lista de cotejo y una escala de desempeño global de la estación; al terminar el encuentro con cada candidato, el evaluador asigna una calificación a cada instrumento. La calificación de la estación viene determinada exclusivamente por la puntuación del candidato en la lista de cotejo7.
Análisis estadísticoSe aplicó estadística descriptiva y t de Student. A cada candidato se le asignó una calificación para la prueba escrita y una para el ECOE (global), promediando la calificación de todas las estaciones integrantes para ese año.
Se correlacionaron las HC del candidato, evaluadas por el paciente y por el examinador mediante el coeficiente de Pearson. Así mismo, se correlacionaron las HC con el desempeño en cada estación, en el ECOE y en la prueba teórica.
Los análisis se realizaron usando el paquete estadístico SPSS/PC (v. 20; Chicago, IL, EE. UU.).
ResultadosPuntaje de las habilidades de comunicación, por el evaluador y por el pacienteEn general, y de manera consistente a través de los 3años, los candidatos obtuvieron puntajes altos en las HC. En la mayoría de las estaciones, los pacientes puntuaron más alto a los candidatos que los evaluadores, como se muestra en la tabla 3, la cual resume los datos del ECOE 2015.
Correlación del puntaje de las HC de los candidatos, obtenido por el evaluador y por el paciente, durante el ECOE 2015
| Estacionesa | (Media±DE) Puntaje HC del evaluadorb | (Media±DE) Puntaje HC del pacienteb | rc | p |
|---|---|---|---|---|
| N.° 2 | 6,1±1,6 | 8,0±0,5 | 0,22 | 0,05 |
| N.° 3 | 5,6±1 | 7±1 | 0,05 | NS |
| N.° 5 | 7,5±1,2 | 6,9±1,4 | 0,15 | NS |
| N.° 6 | 7,6±0,9 | 5,8±0,6 | 0,12 | NS |
| N.° 8 | 7,1±1,2 | 7,6±1 | 0,7 | ≤0,001 |
| N.° 9 | 7,2±1,1 | 7,5±1 | 0,6 | ≤0,001 |
| N.° 10 | 8,4±3,2 | 8,6±0,5 | 0,01 | NS |
| N.° 11 | 7,8±0,8 | 7,8±1 | 0,62 | ≤0,001 |
| N.° 13 | 6,2±1,4 | 6,5±0,9 | 0,43 | ≤0,001 |
| N.° 14 | 7,0±1,6 | 7,9±1,4 | 0,59 | ≤0,001 |
| N.° 15 | 7,3±0,5 | 6,8±1,4 | 0,29 | 0,05 |
En el año 2015, existió una correlación de leve a moderada, pero significativa, entre la evaluación de las HC realizada por el paciente y la del evaluador, en la mayoría de las estaciones (tabla 3); en los años posteriores, se presentó una correlación moderada entre ambas evaluaciones en el 40-50% de las estaciones.
Impacto de las habilidades de comunicación en el desempeño de las estacionesEn general, el puntaje de las HC obtenido por cada candidato correlacionó con el desempeño del candidato en la estación, a lo largo de los 3años. De manera interesante, se encontraron correlaciones más frecuentemente positivas y más altas cuando las HC fueron calificadas por el paciente que cuando fueron calificadas por el evaluador, como se muestra en la tabla 4, la cual resume los datos del año 2017.
Correlación entre las HC evaluadas por el paciente y por el evaluador y el desempeño del candidato en la estación (año 2017)
| Estación/categoría de enfermedad | Competencias evaluadas | HCa/DCc r (p) | HCb/DCc r (p) |
|---|---|---|---|
| Gota | Solución de problemas Prescripción | 0,602 (<0,001) | 0,399 (<0,01) |
| Artritis reumatoide | Solución de problemas Prescripción | 0,503 (<0,001) | 0,117 (0,10) |
| Lumbalgia | Historia clínica | 0,542 (<0,001) | 0,127 (0,10) |
| Artritis reumatoide | Examen clínico | 0,360 (<0,01) | 0,025 (0,4) |
| Artritis reumatoide | Historia clínica | 0,530 (<0,001) | −0,047 (0,4) |
| Gota | Historia clínica | 0,515 (<0,001) | 0,363 (<0,01) |
| Partes blandas | Examen clínico | 0,291 (<0,01) | 0,162 (0,06) |
| Espondiloartritis | Examen clínico | 0,038 (0,4) | 0,119 (0,1) |
| Síndrome de anticuerpos antifosfolípidos | Solución de problemas | 0,760 (<0,001) | 0,407 (<0,001) |
| Síndrome de Sjögren | Historia clínica | 0,271 (<0,01) | 0,118 (0,1) |
| Miopatía inflamatoria | Examen clínico | 0,471 (<0,001) | 0,330 (<0,01) |
| Esclerodermia | Historia clínica | 0,790 (<0,001) | 0,274 (<0,01) |
DC: desempeño del candidato.
El promedio de las HC de cada candidato (evaluadas por el paciente o por el examinador) correlacionó con el desempeño global en el ECOE del candidato (en especial para los años 2015 y 2017), pero no así con la prueba teórica, salvo en el año 2017, cuando sí hubo una correlación, aunque notablemente menor que la que tuvo con el ECOE. La tabla 5 resume los datos de todos los años.
Correlación (y valor de p) entre el promedio de las HC de cada candidato (evaluadas por el examinador) y la prueba teórica (PT) y entre el promedio de las HC de cada candidato y el puntaje total del ECOE
| Certificación | HC/PT | HC/ECOE |
|---|---|---|
| 2015 | r=0,22 (p=0,10) | r=0,47 (p=0,042) |
| 2016 | r=0,18 (p=0,32) | r=0,32 (p=0,06) |
| 2017 | r=0,38 (p=0,01) | r=0,67 (p<0,001) |
El CMR tiene el compromiso con la sociedad mexicana de garantizar que los especialistas certificados cuentan con los conocimientos, habilidades y competencias para atender los problemas de salud propios de nuestra especialidad. Para ello, el CMR desarrolla y aplica instrumentos de evaluación que permiten identificar eventuales deficiencias en la formación de nuestros especialistas; la información derivada del análisis de las evaluaciones es compartida anualmente con los profesores encargados de los cursos de formación y, de manera conjunta, se proponen estrategias encaminadas a mejorar las áreas subóptimas y, por ende, la calidad de nuestros especialistas.
El presente trabajo evalúa las HC de los candidatos a la certificación en Reumatología a lo largo de 3 años consecutivos. Las HC constituyen una competencia fundamental para establecer una comunicación entre el médico y el paciente que favorezca una relación sólida, efectiva y duradera entre ambos. Los beneficios de una relación con tales características se extienden, además, a la familia del paciente y a otras redes de apoyo que integran los sistemas de salud10. En las últimas décadas, se han desarrollado consensos internacionales en el área de la comunicación médico-paciente11, así como guías para ser aplicadas en las escuelas de medicina12 y para servir de referencias para la práctica profesional13, todo lo cual enfatiza la importancia de este tema.
En general, los aspirantes al examen de certificación en Reumatología tuvieron un buen desempeño en las HC con los pacientes; sin embargo, este no fue homogéneo, como es esperable y se ha descrito en otras poblaciones14. Los pacientes calificaron mejor a los aspirantes que los examinadores y ambas evaluaciones presentaron correlaciones significativas (bajas y moderadas) entre sí en más de la mitad de las estaciones del ECOE. Las HC correlacionaron con el desempeño de los candidatos en las estaciones, con el desempeño global en el ECOE, pero no así con la prueba teórica (salvo en el año 2017). En la literatura existe evidencia de que las HC eficientes correlacionan con la competencia clínica de los evaluados10,15,16 y que el desempeño general de los médicos mejora tras un entrenamiento dirigido a las HC17,18; de hecho, existen intervenciones educativas que han mejorado la confianza en las HC de quienes han completado el programa incluso meses después de haber participado10. Más relevante aún, las HC eficientes se han asociado con desenlaces deseados para los pacientes, como son un mejor apego al tratamiento farmacológico y a la dieta, mejor control de dolor y mayor bienestar físico, funcional y psicológico9,19-23. Finalmente y en el marco médico-legal que se aplica cuando los pacientes presentan complicaciones o desenlaces no deseables, la comunicación temprana y sincera con los pacientes ha demostrado ser crucial24-28. Es importante matizar que el ECOE ha mostrado tener un buen desempeño para evaluar las HC e identificar déficits específicos28, aunado a su adecuado desempeño en los procesos de certificación5,6.
Una pregunta relevante sobre las HC es ¿quién debiera evaluarlas, el paciente o un médico externo? De manera interesante e intuitiva, encontramos una mejor correlación con el desempeño de los aspirantes en las estaciones (y con el ECOE) cuando las HC fueron evaluadas por el paciente. Las mejores correlaciones se obtuvieron en el último año, lo cual pudiera indicar un cierto grado de aprendizaje de los pacientes (y de todos los integrantes del ECOE en general), quienes son entrenados año con año para calificar a los aspirantes. Cabe resaltar que el desempeño de los candidatos se estableció por el evaluador, mediante lista de cotejo. Nuestros resultados confirman estudios publicados en los cuales los pacientes estandarizados evalúan adecuadamente las HC de los residentes de cirugía con diferentes años de entrenamiento16,17,24,25.
El presente trabajo tiene ciertas limitaciones. Se evaluaron las HC mediante un instrumento adaptado, que incluía una escala de Likert la cual se aplicaba de manera conjunta a 8 dominios; dicho instrumento no fue sometido a un proceso de validación, si bien ambos usuarios (paciente y evaluador) fueron entrenados en su aplicación, además, el ECOE ha mostrado ser una herramienta adecuada para evaluar HC17. En cada certificación, se aplicaron 2 ECOE consecutivos debido a la limitación en el número de consultorios, lo cual pudo haber afectado a la reproducibilidad de los resultados29; no obstante, el espacio físico, los pacientes y los evaluadores fueron los mismos en ambos circuitos. Finalmente, la validez y reproducibilidad de los resultados de un ECOE están determinadas por su longitud, es decir, por el número de estaciones incluidas. A lo largo de los 3años, se incluyeron un máximo de 12 estaciones dinámicas y los resultados obtenidos pudieran no ser lo suficientemente sólidos como para tomar decisiones, en especial, si estas tienen altas consecuencias30.
En la actualidad, los médicos no son actores independientes en el cuidado de la salud, sino que fungen más bien como líderes o integrantes de equipos multidisciplinarios3; para ello, deben adquirir y perfeccionar ciertos atributos profesionales, a la cabeza de los cuales se sitúan las HC. Nuestro trabajo sienta las bases para una propuesta concreta: integrar a la residencia en Reumatología una educación formal, continuada y dirigida a las HC. Cabe resaltar que el aprendizaje de las HC se favorece en el entorno contextual de la práctica diaria, con una adecuada retroalimentación31,32 y un ambiente que exija a los involucrados tiempo protegido para la enseñanza18,33,34.
Somos lo que hacemos de manera repetida. La excelencia no es un acto, sino un hábito (Aristóteles, 400 a. C.).
Responsabilidades éticasProtección de personas y animalesLos autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.
Confidencialidad de los datosLos autores declaran que en este artículo no aparecen datos de pacientes.
Derecho a la privacidad y consentimiento informadoLos autores declaran que en este artículo no aparecen datos de pacientes.
Conflicto de interesesNinguno de los autores tiene relación financiera alguna que pudiera dar lugar a un conflicto de intereses en relación con el artículo.
