Published December 12, 2022 | Version v1
Publication Open

The effect of access to electronic resources during examination on medical and dental students scores in summative assessment: quasi experimental study

Creators

  • 1. Gulf Medical University
  • 2. Suez Canal University
  • 3. Thumbay Group (United Arab Emirates)

Description

Abstract Background Access to electronic (E) resources has become an indispensable requirement in medical education and practice. Objective Our objective was to assess the effect of E-resources access during examination on end-course-exam scores of medical and dental students. Methods A quasi-experimental study which included two cohorts of medical ( n = 106 & 85) and three cohorts of dental students ( n = 66, 64 and 69) who took end-course- exams. Each exam was composed of two- parts (Part I and II), that encompassed equal number of questions and duration. Access to E-resources was allowed in part-II only. Items Difficulty Index (DI), Discrimination Index, (DisI), Point Biserial, (PBS) and cognitive level were determined. Results The study included 390 students. The proportion of items at various levels of DI, DisI, and PBS and the average values for item DI, DisI in both parts of each exam were comparable. The average scores in part-II were significantly higher than part-I ( P < 0.001, < 0.001 and 0.04) and lower-order cognitive-level items scores were higher in three exams ( P < 0.0001, 0.0001, 0.0001). Higher- order cognitive level items scores were comparable between part I and II in all courses. The significant factor for change in marks were questions cognitive level and type of the course. Conclusion Access to E-resources during examination does not make a significant difference in scores of higher-order cognitive level items. Question cognitive level and course type were the significant factors for the change in exam scores when accessing E-resources. Time-restricted E-resources accessed tests that examine higher cognitive level item had no significant academic integrity drawback.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

أصبح الوصول إلى الموارد الإلكترونية شرطًا لا غنى عنه في التعليم والممارسة الطبية. الهدف كان هدفنا هو تقييم تأثير الوصول إلى الموارد الإلكترونية أثناء الفحص على درجات الامتحان النهائي لطلاب الطب وطب الأسنان. الأساليب دراسة شبه تجريبية شملت مجموعتين من الأطباء ( العدد = 106 و 85) وثلاث مجموعات من طلاب طب الأسنان ( العدد = 66 و 64 و 69) الذين خضعوا لامتحانات نهاية الدورة. تألف كل امتحان من جزأين (الجزء الأول والثاني)، وشمل عددًا متساويًا من الأسئلة والمدة. تم السماح بالوصول إلى الموارد الإلكترونية في الجزء الثاني فقط. تم تحديد مؤشر صعوبة العناصر (DI) ومؤشر التمييز (DisI) ونقطة ثنائية التسلسل (PBS) والمستوى المعرفي. النتائج شملت الدراسة 390 طالباً. كانت نسبة العناصر على مستويات مختلفة من DI و DisI و PBS ومتوسط القيم للعنصر DI و DisI في كلا الجزأين من كل اختبار قابلة للمقارنة. كان متوسط الدرجات في الجزء الثاني أعلى بكثير من الجزء الأول ( P < 0.001 و < 0.001 و 0.04) وكانت درجات العناصر ذات المستوى المعرفي الأدنى أعلى في ثلاثة اختبارات ( P < 0.0001 و 0.0001 و 0.0001). كانت درجات عناصر المستوى المعرفي الأعلى قابلة للمقارنة بين الجزء الأول والثاني في جميع الدورات. كان العامل المهم للتغيير في العلامات هو المستوى المعرفي للأسئلة ونوع الدورة. لا يُحدث الوصول إلى الموارد الإلكترونية أثناء الفحص فرقًا كبيرًا في درجات عناصر المستوى المعرفي الأعلى. كان المستوى المعرفي للسؤال ونوع الدورة هما العاملان المهمان للتغيير في درجات الاختبار عند الوصول إلى الموارد الإلكترونية. لم يكن للاختبارات التي تم الوصول إليها من خلال الموارد الإلكترونية المقيدة بالوقت والتي تفحص عنصر المستوى المعرفي الأعلى أي عيب كبير في النزاهة الأكاديمية.

Translated Description (French)

Résumé Contexte L'accès aux ressources électroniques (E) est devenu une exigence indispensable dans la formation et la pratique médicales. Objectif Notre objectif était d'évaluer l'effet de l'accès aux ressources électroniques pendant l'examen sur les scores d'examen de fin de cours des étudiants en médecine et en médecine dentaire. Méthodes Une étude quasi-expérimentale qui comprenait deux cohortes d'étudiants en médecine ( n = 106 et 85) et trois cohortes d'étudiants en médecine dentaire ( n = 66, 64 et 69) qui ont passé des examens de fin de cours. Chaque examen était composé de deux parties (Partie I et II), qui englobaient un nombre égal de questions et une durée égale. L'accès aux ressources électroniques n'était autorisé que dans la partie II. L'indice de difficulté des items (DI), l'indice de discrimination (DisI), le point bisérial (PBS) et le niveau cognitif ont été déterminés. Résultats L'étude a inclus 390 étudiants. La proportion d'items à différents niveaux de DI, DisI et PBS et les valeurs moyennes pour l'item DI, DisI dans les deux parties de chaque examen étaient comparables. Les scores moyens de la partie II étaient significativement plus élevés que ceux de la partie I ( P < 0,001, < 0,001 et 0,04) et les scores des items de niveau cognitif d'ordre inférieur étaient plus élevés dans trois examens ( P < 0,0001, 0,0001, 0,0001). Les scores des items de niveau cognitif d'ordre supérieur étaient comparables entre les parties I et II dans tous les cours. Le facteur important de changement dans les notes était le niveau cognitif des questions et le type de cours. Conclusion L'accès aux ressources électroniques pendant l'examen ne fait pas de différence significative dans les scores des éléments de niveau cognitif supérieur. Le niveau cognitif de la question et le type de cours ont été les facteurs importants pour le changement des scores à l'examen lors de l'accès aux ressources électroniques. Les ressources électroniques limitées dans le temps ont accédé à des tests qui examinent des éléments de niveau cognitif supérieur sans inconvénient significatif pour l'intégrité académique.

Translated Description (Spanish)

Resumen Antecedentes El acceso a los recursos electrónicos (E) se ha convertido en un requisito indispensable en la educación y la práctica médica. Objetivo Nuestro objetivo fue evaluar el efecto del acceso a los recursos electrónicos durante el examen en las puntuaciones del examen final de los estudiantes de medicina y odontología. Métodos Un estudio cuasi-experimental que incluyó dos cohortes de estudiantes de medicina ( n = 106 y 85) y tres cohortes de estudiantes de odontología ( n = 66, 64 y 69) que tomaron exámenes finales. Cada examen estaba compuesto por dos partes (Parte I y II), que abarcaban el mismo número de preguntas y duración. El acceso a los recursos electrónicos solo se permitió en la parte II. Se determinaron los ítems Índice de Dificultad (ID), Índice de Discriminación, (DisI), Punto Biserial, (PBS) y nivel cognitivo. Resultados El estudio incluyó a 390 estudiantes. La proporción de ítems en varios niveles de DI, DisI y PBS y los valores promedio para el ítem DI, DisI en ambas partes de cada examen fueron comparables. Las puntuaciones medias en la parte II fueron significativamente más altas que en la parte I ( P < 0,001, < 0,001 y 0,04) y las puntuaciones de los ítems de nivel cognitivo de orden inferior fueron más altas en tres exámenes ( P < 0,0001, 0,0001, 0,0001). Las puntuaciones de los ítems de nivel cognitivo de orden superior fueron comparables entre las partes I y II en todos los cursos. El factor significativo para el cambio en las calificaciones fueron las preguntas sobre el nivel cognitivo y el tipo de curso. Conclusión El acceso a los recursos electrónicos durante el examen no marca una diferencia significativa en las puntuaciones de los elementos de nivel cognitivo de orden superior. El nivel cognitivo de la pregunta y el tipo de curso fueron los factores significativos para el cambio en las puntuaciones del examen al acceder a los recursos electrónicos. Las pruebas de acceso a recursos electrónicos con restricción de tiempo que examinan elementos de nivel cognitivo superior no tuvieron un inconveniente significativo de integridad académica.

Files

s12909-022-03904-8.pdf

Files (719.5 kB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:eaaee8ad34687c8e09518fb8ddba8fe1
719.5 kB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
تأثير الوصول إلى الموارد الإلكترونية أثناء الفحص على درجات طلاب الطب وطب الأسنان في التقييم التحصيلي: دراسة شبه تجريبية
Translated title (French)
L'effet de l'accès aux ressources électroniques pendant l'examen sur les scores des étudiants en médecine et en médecine dentaire en évaluation sommative : étude quasi expérimentale
Translated title (Spanish)
El efecto del acceso a los recursos electrónicos durante el examen en las puntuaciones de los estudiantes de medicina y odontología en la evaluación sumativa: estudio cuasi experimental

Identifiers

Other
https://openalex.org/W4311188272
DOI
10.1186/s12909-022-03904-8

Is supplement to
https://openalex.org/W4308734746 (Other)
https://openalex.org/W4280538561 (Other)
https://openalex.org/W2996674772 (Other)
https://openalex.org/W2748952813 (Other)
https://openalex.org/W2321683660 (Other)
https://openalex.org/W2171884992 (Other)
https://openalex.org/W2160065345 (Other)
https://openalex.org/W2138683522 (Other)
https://openalex.org/W2116877764 (Other)
https://openalex.org/W2009276501 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Egypt

References

  • https://openalex.org/W1990364017
  • https://openalex.org/W2014975233
  • https://openalex.org/W2101196923
  • https://openalex.org/W2102267189
  • https://openalex.org/W2152508445
  • https://openalex.org/W2156326232
  • https://openalex.org/W2334637929
  • https://openalex.org/W2489455349
  • https://openalex.org/W2512256146
  • https://openalex.org/W2607453587
  • https://openalex.org/W2739333827
  • https://openalex.org/W2747107231
  • https://openalex.org/W2773347316
  • https://openalex.org/W2803091264
  • https://openalex.org/W2920888367
  • https://openalex.org/W2979707924
  • https://openalex.org/W2985050978
  • https://openalex.org/W2988853427
  • https://openalex.org/W3026437297
  • https://openalex.org/W3033931625
  • https://openalex.org/W3035954019
  • https://openalex.org/W3081530980
  • https://openalex.org/W3118260350
  • https://openalex.org/W3131845588
  • https://openalex.org/W3183064223
  • https://openalex.org/W3205609270