Published February 20, 2020 | Version v1
Publication Open

Evaluation of the Effect of Items' Format and Type on Psychometric Properties of Sixth Year Pharmacy Students Clinical Clerkship Assessment Items

Creators

  • 1. University of Jordan

Description

Abstract Background Examinations are the traditional assessment tools. In addition to measurement of learning, exams are used to guide the improvement of academic programs. The current study attempted to evaluate the quality of assessment items of sixth year clinical clerkships examinations as a function of assessment items format and type/structure and to assess the effect of the number of response choices on the characteristics of MCQs as assessment items . Methods. A total of 173 assessment items used in the examinations of sixth year clinical clerkships of a PharmD program were included. Items were classified as case based or noncase based and as MCQs or open-ended. The psychometric characteristics of the items were studied as a function of the Bloom's levels addressed, item format, and number of choices in MCQs. Results . Items addressing analysis skills were more difficult. No differences were found between case based and noncase based items in terms of their difficulty, with a slightly better discrimination in the latter . Open-ended items were easier, yet more discriminative. MCQs with higher number of options were easier and more discriminative. Open-ended questions were significantly easier and more discriminative in comparison to MCQs as case based items while they were more difficult and more discriminative as noncase based items. Conclusion. Item formats, structure, and number of options in MCQs significantly affected the psychometric properties of the studied items. Noncase based items and open-ended items were easier and more discriminative than case based items and MCQs, respectively. Examination items should be prepared considering the above characteristics to improve their psychometric properties and maximize their usefulness.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

امتحانات الخلفية المجردة هي أدوات التقييم التقليدية. بالإضافة إلى قياس التعلم، يتم استخدام الامتحانات لتوجيه تحسين البرامج الأكاديمية. حاولت الدراسة الحالية تقييم جودة عناصر التقييم في امتحانات الكتبة السريرية للسنة السادسة كدالة لتنسيق عناصر التقييم ونوعها/هيكلها وتقييم تأثير عدد خيارات الاستجابة على خصائص أسئلة MCQs كعناصر تقييم. الأساليب. تم تضمين ما مجموعه 173 مادة تقييم مستخدمة في امتحانات الكتبة السريرية للسنة السادسة لبرنامج دكتور صيدلة. تم تصنيف العناصر على أنها قائمة على الحالة أو غير قائمة على الحالة وعلى أنها أسئلة متعددة الإجابات أو مفتوحة. تمت دراسة الخصائص النفسية للعناصر كدالة لمستويات بلوم التي تم تناولها، وتنسيق العنصر، وعدد الخيارات في أسئلة MCQs. النتائج . كانت العناصر التي تتناول مهارات التحليل أكثر صعوبة. لم يتم العثور على اختلافات بين العناصر القائمة على الحالة وغير القائمة على الحالة من حيث صعوبتها، مع تمييز أفضل قليلاً في الأخيرة . كانت البنود المفتوحة أسهل، ولكنها أكثر تمييزًا. كانت أسئلة MCQ التي تحتوي على عدد أكبر من الخيارات أسهل وأكثر تمييزًا. كانت الأسئلة المفتوحة أسهل بكثير وأكثر تمييزًا بالمقارنة مع أسئلة MCQs كعناصر قائمة على الحالة بينما كانت أكثر صعوبة وأكثر تمييزًا كعناصر غير قائمة على الحالة. الخاتمة. أثرت تنسيقات العناصر وهيكلها وعدد الخيارات في أسئلة MCQs بشكل كبير على الخصائص النفسية للعناصر المدروسة. كانت العناصر غير المستندة إلى الحالة والعناصر المفتوحة أسهل وأكثر تمييزًا من العناصر المستندة إلى الحالة و أسئلة متعددة الإجابات، على التوالي. يجب إعداد عناصر الفحص مع مراعاة الخصائص المذكورة أعلاه لتحسين خصائصها النفسية وتعظيم فائدتها.

Translated Description (French)

Résumé Contexte Les examens sont les outils d'évaluation traditionnels. En plus de la mesure de l'apprentissage, les examens sont utilisés pour guider l'amélioration des programmes académiques. La présente étude a tenté d'évaluer la qualité des éléments d'évaluation des examens de stage clinique de sixième année en fonction du format et du type/de la structure des éléments d'évaluation et d'évaluer l'effet du nombre de choix de réponse sur les caractéristiques des QCM en tant qu'éléments d'évaluation. Méthodes. Un total de 173 éléments d'évaluation utilisés dans les examens des stages cliniques de sixième année d'un programme PharmD ont été inclus. Les articles ont été classés en fonction du cas ou non et en tant que QCM ou à durée indéterminée. Les caractéristiques psychométriques des items ont été étudiées en fonction des niveaux d'adressage de Bloom, du format des items et du nombre de choix dans les QCM. Résultats . Les éléments abordant les compétences d'analyse étaient plus difficiles. Aucune différence n'a été trouvée entre les éléments basés sur le cas et les éléments non basés sur le cas en termes de difficulté, avec une discrimination légèrement meilleure dans ce dernier . Les articles ouverts étaient plus faciles, mais plus discriminants. Les QCM avec un plus grand nombre d'options étaient plus faciles et plus discriminatoires. Les questions ouvertes étaient nettement plus faciles et plus discriminatoires par rapport aux QCM en tant qu'éléments basés sur des cas alors qu'elles étaient plus difficiles et plus discriminatoires en tant qu'éléments non basés sur des cas. Conclusion. Les formats d'éléments, la structure et le nombre d'options dans les QCM ont affecté de manière significative les propriétés psychométriques des éléments étudiés. Les éléments non basés sur des cas et les éléments ouverts étaient plus faciles et plus discriminatoires que les éléments basés sur des cas et les QCM, respectivement. Les éléments d'examen doivent être préparés en tenant compte des caractéristiques ci-dessus pour améliorer leurs propriétés psychométriques et maximiser leur utilité.

Translated Description (Spanish)

Los exámenes de antecedentes abstractos son las herramientas de evaluación tradicionales. Además de la medición del aprendizaje, los exámenes se utilizan para guiar la mejora de los programas académicos. El estudio actual intentó evaluar la calidad de los elementos de evaluación de los exámenes de pasantías clínicas de sexto año en función del formato y el tipo/estructura de los elementos de evaluación, y evaluar el efecto del número de opciones de respuesta en las características de las preguntas de opción múltiple como elementos de evaluación. Métodos. Se incluyeron un total de 173 ítems de evaluación utilizados en los exámenes de pasantías clínicas de sexto año de un programa de PharmD. Los elementos se clasificaron como basados en casos o no basados en casos y como preguntas de opción múltiple o abiertas. Las características psicométricas de los artículos se estudiaron en función de los niveles de Bloom abordados, el formato del artículo y el número de opciones en las preguntas de opción múltiple. Resultados . Los elementos que abordan las habilidades de análisis fueron más difíciles. No se encontraron diferencias entre los elementos basados en casos y los no basados en casos en términos de su dificultad, con una discriminación ligeramente mejor en este último . Los elementos abiertos eran más fáciles, pero más discriminatorios. Las preguntas de opción múltiple con un mayor número de opciones fueron más fáciles y discriminatorias. Las preguntas abiertas fueron significativamente más fáciles y discriminatorias en comparación con las preguntas de opción múltiple como elementos basados en casos, mientras que fueron más difíciles y discriminatorias como elementos no basados en casos. Conclusión. Los formatos de los ítems, la estructura y el número de opciones en las preguntas de opción múltiple afectaron significativamente las propiedades psicométricas de los ítems estudiados. Los elementos no basados en casos y los elementos abiertos fueron más fáciles y más discriminatorios que los elementos basados en casos y las preguntas de opción múltiple, respectivamente. Los elementos de examen deben prepararse teniendo en cuenta las características anteriores para mejorar sus propiedades psicométricas y maximizar su utilidad.

Files

v2.pdf.pdf

Files (200.3 kB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:3a70d8524394a0c980ab0a4e4513104b
200.3 kB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
تقييم تأثير تنسيق العناصر ونوعها على الخصائص النفسية لطلاب الصف السادس الصيدلة عناصر التقييم الإكلينيكي الإكلينيكي
Translated title (French)
Évaluation de l'effet du format et du type des éléments sur les propriétés psychométriques des étudiants en pharmacie de sixième année Éléments d'évaluation des stages cliniques
Translated title (Spanish)
Evaluación del efecto del formato y tipo de los ítems en las propiedades psicométricas de los estudiantes de sexto año de farmacia ítems de evaluación de la pasantía clínica

Identifiers

Other
https://openalex.org/W4243917611
DOI
10.21203/rs.2.17768/v2

Is supplement to
https://openalex.org/W4256468707 (Other)
https://openalex.org/W4243917611 (Other)
https://openalex.org/W4236651747 (Other)
https://openalex.org/W3035275798 (Other)
https://openalex.org/W2899084033 (Other)
https://openalex.org/W2795370797 (Other)
https://openalex.org/W2748952813 (Other)
https://openalex.org/W2127055020 (Other)
https://openalex.org/W2125365924 (Other)
https://openalex.org/W209674921 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Jordan

References

  • https://openalex.org/W1964142276
  • https://openalex.org/W1966354121
  • https://openalex.org/W1985957107
  • https://openalex.org/W1986478051
  • https://openalex.org/W2020750780
  • https://openalex.org/W2052874614
  • https://openalex.org/W2066224132
  • https://openalex.org/W2072218790
  • https://openalex.org/W207416238
  • https://openalex.org/W2075462556
  • https://openalex.org/W2135585801
  • https://openalex.org/W2141521353
  • https://openalex.org/W2170435532
  • https://openalex.org/W2183993082
  • https://openalex.org/W2907677267