Reumatología Clínica (English Edition) Reumatología Clínica (English Edition)
Reumatol Clin 2018;14:137-41 - Vol. 14 Num.3 DOI: 10.1016/j.reumae.2016.11.008
Original Article
The Method Used to Set the Pass Mark in an Objective Structured Clinical Examination Defines the Performance of Candidates for Certification as Rheumatologists
El método para establecer el punto de corte en el examen clínico objetivo estructurado define el desempeño de los candidatos a la certificación como reumatólogo
Virginia Pascual-Ramos, , Ana Guilaisne Bernard-Medina, Diana Elsa Flores-Alvarado, Margarita Portela-Hernández, María del Rocío Maldonado-Velázquez, Luis Javier Jara-Quezada, Luis Manuel Amezcua-Guerra, Nadina E. Rubio-Judith López-Zepeda, Everardo Álvarez-Hernandez, Miguel Ángel Saavedra, César Alejandro Arce-Salinas, Consejo Mexicano de Reumatología (CMR)
Consejo Mexicano de Reumatología, Mexico City, Mexico
Received 11 July 2016, Accepted 25 November 2016
Abstract
Background

The Mexican Accreditation Council for Rheumatology certifies trainees (TR) on an annual basis using both a multiple-choice question (MCQ) test and an objective structured clinical examination (OSCE). For 2013 and 2014, the OSCE pass mark (PM) was set by criterion referencing as ≥6 (CPM), whereas overall rating of borderline performance method (BPM) was added for 2015 and 2016 accreditations. We compared OSCE TR performance according to CPM and BPM, and examined whether correlations between MCQ and OSCE were affected by PM.

Methods

Forty-three (2015) and 37 (2016) candidates underwent both tests. Altogether, OSCE were integrated by 15 validated stations; one evaluator per station scored TR performance according to a station-tailored check-list and a Likert scale (fail, borderline, above range) of overall performance. A composite OSCE score was derived for each candidate. Appropriate statistics were used.

Results

Mean (±standard derivation [SD]) MCQ test scores were 6.6±0.6 (2015) and 6.4±0.6 (2016) with 5 candidates receiving a failing score each year. Mean (±SD) OSCE scores were 7.4±0.6 (2015) and 7.3±0.6 (2016); no candidate received a failing CPM score in either 2015 or 2016 OSCE, although 21 (49%) and 19 (51%) TR, respectively, received a failing BPM score (calculated as 7.3 and 7.4, respectively). Stations for BPM ranged from 4.5 to 9.5; overall, candidates showed better performance in CPM.

In all, MCQ correlated with composite OSCE, r=0.67 (2015) and r=0.53 (2016); P.001. Trainees with a passing BPM score in OSCE had higher MCQ scores than those with a failing score.

Conclusions

Overall, OSCE-PM selection impacted candidates’ performance but had a limited affect on correlation between clinical and practical examinations.

Resumen
Antecedentes

El Consejo Mexicano de Reumatología certifica candidatos mediante una evaluación teórica (ET) y un examen clínico objetivo estructurado (ECOE). En 2013 y 2014, el punto de corte para acreditar el ECOE se estableció por criterio (PC ≥6); a partir del 2015, también se estableció por el método del desempeño limítrofe (PDL). Se comparó el desempeño de los candidatos con ambos puntos de corte y examinó su impacto en la correlación entre la ET y el ECOE.

Material y métodos

En 2015 y 2016, respectivamente, 43 y 37 candidatos aplicaron; ambos ECOE se integraron con 15 estaciones; un evaluador por estación calificó la lista de cotejo y el desempeño global del candidato mediante una escala de Likert (inferior, limítrofe y superior). A cada candidato se le asignó una calificación global del ECOE.

Resultados

El promedio (±DE) de la ET fue de 6,6 (±0,6) en el 2015 y de 6,4 (±0,6) en el 2016; 5 candidatos/año no acreditaron. El promedio (±DE) del ECOE fue de 7,4 (±0,6) y 7,3 (±0,6), respectivamente; todos acreditaron de acuerdo con el PC, mientras que 21 (49%) y 19 (51%) no lo hicieron de acuerdo con el PDL (7,3 en 2015 y 7,4 en 2016). Los PDL para cada estación variaron.

La ET correlacionó con el ECOE. Los candidatos con ECOE acreditado (por PDL) calificaron mejor en la ET que su contraparte.

Conclusiones

El método para establecer el punto de corte del ECOE afecta al desempeño de los candidatos a una certificación, pero no impacta a la correlación entre la ET y el ECOE.

Keywords
Education-based competence, Accreditation
Palabras clave
Competencias basadas en educación, Certificación
Reumatol Clin 2018;14:137-41 - Vol. 14 Num.3 DOI: 10.1016/j.reumae.2016.11.008
Cookies Policy
x
To improve our services and products, we use cookies (own or third parties authorized) to show advertising related to client preferences through the analyses of navigation customer behavior. Continuing navigation will be considered as acceptance of this use. You can change the settings or obtain more information by clicking here.