Published December 1, 2017 | Version v1
Publication Open

Peer feedback for examiner quality assurance on MRCGP International South Asia: a mixed methods study

Creators

  • 1. University of Kelaniya
  • 2. Aga Khan University Hospital
  • 3. Keele University

Description

The International Membership Examination (MRCGP[INT]) of the Royal College of General Practitioners UK is a unique collaboration between four South Asian countries with diverse cultures, epidemiology, clinical facilities and resources. In this setting good quality assurance is imperative to achieve acceptable standards of inter rater reliability. This study aims to explore the process of peer feedback for examiner quality assurance with regard to factors affecting the implementation and acceptance of the method. A sequential mixed methods approach was used based on focus group discussions with examiners (n = 12) and clinical examination convenors who acted as peer reviewers (n = 4). A questionnaire based on emerging themes and literature review was then completed by 20 examiners at the subsequent OSCE exam. Qualitative data were analysed using an iterative reflexive process. Quantitative data were integrated by interpretive analysis looking for convergence, complementarity or dissonance. The qualitative data helped understand the issues and informed the process of developing the questionnaire. The quantitative data allowed for further refining of issues, wider sampling of examiners and giving voice to different perspectives. Examiners stated specifically that peer feedback gave an opportunity for discussion, standardisation of judgments and improved discriminatory abilities. Interpersonal dynamics, hierarchy and perception of validity of feedback were major factors influencing acceptance of feedback. Examiners desired increased transparency, accountability and the opportunity for equal partnership within the process. The process was stressful for examiners and reviewers; however acceptance increased with increasing exposure to receiving feedback. The process could be refined to improve acceptability through scrupulous attention to training and selection of those giving feedback to improve the perceived validity of feedback and improved reviewer feedback skills to enable better interpersonal dynamics and a more equitable feedback process. It is important to highlight the role of quality assurance and peer feedback as a tool for continuous improvement and maintenance of standards to examiners during training. Examiner quality assurance using peer feedback was generally a successful and accepted process. The findings highlight areas for improvement and guide the path towards a model of feedback that is responsive to examiner views and cultural sensibilities.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

امتحان العضوية الدولية (MRCGP[INT]) للكلية الملكية للممارسين العامين في المملكة المتحدة هو تعاون فريد من نوعه بين أربع دول في جنوب آسيا ذات ثقافات وعلم أوبئة ومرافق وموارد سريرية متنوعة. في هذا الإطار، يعد ضمان الجودة الجيدة أمرًا ضروريًا لتحقيق معايير مقبولة للموثوقية بين المقيّمين. تهدف هذه الدراسة إلى استكشاف عملية ملاحظات الأقران لضمان جودة الفاحص فيما يتعلق بالعوامل التي تؤثر على تنفيذ الطريقة وقبولها. تم استخدام نهج الأساليب المختلطة المتسلسلة بناءً على مناقشات مجموعة التركيز مع الفاحصين (العدد = 12) ومنظمي الفحص السريري الذين عملوا كمراجعين أقران (العدد = 4). ثم أكمل 20 فاحصًا استبيانًا يعتمد على الموضوعات الناشئة ومراجعة الأدبيات في امتحان منظمة الأمن والتعاون في أوروبا اللاحق. تم تحليل البيانات النوعية باستخدام عملية انعكاسية تكرارية. تم دمج البيانات الكمية من خلال التحليل التفسيري الذي يبحث عن التقارب أو التكامل أو التنافر. ساعدت البيانات النوعية في فهم القضايا وإبلاغ عملية تطوير الاستبيان. سمحت البيانات الكمية بمزيد من الصقل للقضايا، وأخذ عينات أوسع من الفاحصين وإعطاء صوت لوجهات نظر مختلفة. ذكر الفاحصون على وجه التحديد أن ملاحظات الأقران أعطت فرصة للمناقشة وتوحيد الأحكام وتحسين القدرات التمييزية. كانت الديناميكيات الشخصية والتسلسل الهرمي وتصور صحة التغذية الراجعة من العوامل الرئيسية التي تؤثر على قبول التغذية الراجعة. رغب الممتحنون في زيادة الشفافية والمساءلة وفرصة الشراكة المتساوية داخل العملية. كانت العملية مرهقة للفاحصين والمراجعين ؛ ومع ذلك زاد القبول مع زيادة التعرض لتلقي الملاحظات. يمكن تحسين العملية لتحسين المقبولية من خلال الاهتمام الدقيق بتدريب واختيار أولئك الذين يقدمون التغذية الراجعة لتحسين الصلاحية المتصورة للتغذية الراجعة وتحسين مهارات التغذية الراجعة للمراجعين لتمكين ديناميكيات أفضل بين الأشخاص وعملية تغذية راجعة أكثر إنصافًا. من المهم تسليط الضوء على دور ضمان الجودة وتعليقات الأقران كأداة للتحسين المستمر والحفاظ على المعايير للممتحنين أثناء التدريب. كان ضمان جودة الفاحص باستخدام ملاحظات الأقران عملية ناجحة ومقبولة بشكل عام. تسلط النتائج الضوء على مجالات التحسين وتوجه المسار نحو نموذج للتغذية الراجعة يستجيب لآراء الفاحص والحساسيات الثقافية.

Translated Description (French)

L'International Membership Examination (MRCGP[INT]) du Royal College of General Practitioners UK est une collaboration unique entre quatre pays d'Asie du Sud aux cultures, à l'épidémiologie, aux installations cliniques et aux ressources diverses. Dans ce contexte, une bonne assurance qualité est impérative pour atteindre des normes acceptables de fiabilité entre évaluateurs. Cette étude vise à explorer le processus de retour d'information par les pairs pour l'assurance qualité des examinateurs en ce qui concerne les facteurs affectant la mise en œuvre et l'acceptation de la méthode. Une approche séquentielle de méthodes mixtes a été utilisée sur la base de discussions de groupe avec des examinateurs (n = 12) et des organisateurs d'examens cliniques qui ont agi en tant qu'examinateurs pairs (n = 4). Un questionnaire basé sur des thèmes émergents et une revue de la littérature a ensuite été rempli par 20 examinateurs lors de l'examen ultérieur de l'OSCE. Les données qualitatives ont été analysées à l'aide d'un processus réflexif itératif. Les données quantitatives ont été intégrées par analyse interprétative à la recherche de convergence, de complémentarité ou de dissonance. Les données qualitatives ont aidé à comprendre les problèmes et ont éclairé le processus d'élaboration du questionnaire. Les données quantitatives ont permis d'affiner davantage les problèmes, d'élargir l'échantillonnage des examinateurs et de donner la parole à différentes perspectives. Les examinateurs ont déclaré spécifiquement que les commentaires des pairs donnaient l'occasion de discuter, de normaliser les jugements et d'améliorer les capacités discriminatoires. La dynamique interpersonnelle, la hiérarchie et la perception de la validité du feedback ont été des facteurs majeurs influençant l'acceptation du feedback. Les examinateurs souhaitaient plus de transparence, de responsabilité et la possibilité d'un partenariat égal dans le processus. Le processus a été stressant pour les examinateurs et les évaluateurs ; cependant, l'acceptation a augmenté avec l'exposition croissante à la réception de commentaires. Le processus pourrait être affiné pour améliorer l'acceptabilité grâce à une attention scrupuleuse à la formation et à la sélection de ceux qui donnent du feedback pour améliorer la validité perçue du feedback et améliorer les compétences des évaluateurs en matière de feedback pour permettre une meilleure dynamique interpersonnelle et un processus de feedback plus équitable. Il est important de souligner le rôle de l'assurance qualité et de la rétroaction des pairs en tant qu'outil d'amélioration continue et de maintien des normes pour les examinateurs pendant la formation. L'assurance qualité des examinateurs à l'aide de la rétroaction des pairs a généralement été un processus réussi et accepté. Les résultats mettent en évidence les domaines à améliorer et guident la voie vers un modèle de rétroaction qui répond aux points de vue des examinateurs et aux sensibilités culturelles.

Translated Description (Spanish)

El Examen Internacional de Membresía (MRCGP[INT]) del Royal College of General Practitioners del Reino Unido es una colaboración única entre cuatro países del sur de Asia con diversas culturas, epidemiología, instalaciones clínicas y recursos. En este contexto, es imperativo garantizar una buena calidad para lograr estándares aceptables de confiabilidad entre evaluadores. Este estudio tiene como objetivo explorar el proceso de retroalimentación entre pares para el aseguramiento de la calidad del examinador con respecto a los factores que afectan la implementación y aceptación del método. Se utilizó un enfoque de métodos mixtos secuenciales basado en discusiones de grupos focales con examinadores (n = 12) y coordinadores de exámenes clínicos que actuaron como revisores por pares (n = 4). Luego, 20 examinadores completaron un cuestionario basado en temas emergentes y revisión de la literatura en el examen posterior de la OSCE. Los datos cualitativos se analizaron mediante un proceso reflexivo iterativo. Los datos cuantitativos se integraron mediante análisis interpretativo buscando convergencia, complementariedad o disonancia. Los datos cualitativos ayudaron a comprender los problemas e informaron el proceso de desarrollo del cuestionario. Los datos cuantitativos permitieron refinar aún más los problemas, ampliar el muestreo de examinadores y dar voz a diferentes perspectivas. Los examinadores afirmaron específicamente que la retroalimentación de los compañeros brindó la oportunidad de debatir, estandarizar los juicios y mejorar las habilidades discriminatorias. La dinámica interpersonal, la jerarquía y la percepción de validez de la retroalimentación fueron los principales factores que influyeron en la aceptación de la retroalimentación. Los examinadores deseaban una mayor transparencia, responsabilidad y la oportunidad de una asociación equitativa dentro del proceso. El proceso fue estresante para los examinadores y revisores; sin embargo, la aceptación aumentó con el aumento de la exposición a recibir comentarios. El proceso podría refinarse para mejorar la aceptabilidad a través de una atención escrupulosa a la capacitación y la selección de aquellos que brindan retroalimentación para mejorar la validez percibida de la retroalimentación y mejorar las habilidades de retroalimentación del revisor para permitir una mejor dinámica interpersonal y un proceso de retroalimentación más equitativo. Es importante resaltar el papel de la garantía de calidad y la retroalimentación entre pares como una herramienta para la mejora continua y el mantenimiento de los estándares para los examinadores durante la capacitación. El aseguramiento de la calidad del examinador utilizando la retroalimentación de los compañeros fue generalmente un proceso exitoso y aceptado. Los hallazgos destacan áreas de mejora y guían el camino hacia un modelo de retroalimentación que responda a las opiniones y sensibilidades culturales del examinador.

Files

s12909-017-1090-1.pdf

Files (393.3 kB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:bcae612aecf6f9e0142a29e5f5e042df
393.3 kB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
ملاحظات الأقران لضمان جودة الفاحص على MRCGP International جنوب آسيا: دراسة طرق مختلطة
Translated title (French)
Commentaires des pairs pour l'assurance qualité des examinateurs sur MRCGP International South Asia : une étude sur les méthodes mixtes
Translated title (Spanish)
Comentarios de pares para el aseguramiento de la calidad del examinador en MRCGP International South Asia: un estudio de métodos mixtos

Identifiers

Other
https://openalex.org/W2772138737
DOI
10.1186/s12909-017-1090-1

Is supplement to
https://openalex.org/W4243878060 (Other)
https://openalex.org/W3208334015 (Other)
https://openalex.org/W2767403522 (Other)
https://openalex.org/W2766249179 (Other)
https://openalex.org/W2258133373 (Other)
https://openalex.org/W2255937062 (Other)
https://openalex.org/W2225059996 (Other)
https://openalex.org/W1974328274 (Other)
https://openalex.org/W1515826403 (Other)
https://openalex.org/W1509473192 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Pakistan

References

  • https://openalex.org/W100496377
  • https://openalex.org/W1595956850
  • https://openalex.org/W1954122218
  • https://openalex.org/W2022212199
  • https://openalex.org/W2030652557
  • https://openalex.org/W2050431232
  • https://openalex.org/W2051654635
  • https://openalex.org/W2054103341
  • https://openalex.org/W2070457505
  • https://openalex.org/W2087326641
  • https://openalex.org/W2112184147
  • https://openalex.org/W2114141892
  • https://openalex.org/W2115715924
  • https://openalex.org/W2133535394
  • https://openalex.org/W2139001711
  • https://openalex.org/W2140699533
  • https://openalex.org/W2144376265
  • https://openalex.org/W2158146709
  • https://openalex.org/W2158642891
  • https://openalex.org/W2170783266
  • https://openalex.org/W2486698180
  • https://openalex.org/W2524677914
  • https://openalex.org/W2913255424
  • https://openalex.org/W47778786