Published July 12, 2022 | Version v1
Publication Open

Effect of AI-assisted software on inter- and intra-observer variability for preschool children X-ray bone age assessment

Creators

  • 1. Peking University First Hospital
  • 2. Peking University

Description

Abstract Background With the rapid development of deep learning algorithms and the rapid improvement of computer hardware in the past few years, AI-assisted diagnosis software for bone age has achieved good diagnostic performance. The purpose of this study was to investigate the effect of AI-assisted software on residents' inter-observer agreement and intra-observer reproducibility for preschool children X-ray bone age assessment. Methods This prospective study was approved by Institutional Ethics Committee. Six board-certified residents interpreted 56 bone age radiographs ranging from 3 to 6 years with structured reporting by modified TW3 method. The images were interpreted on two separate occasions, once with and once without the assistant of AI. After a washout period of 4 weeks, the radiographs were reevaluated by each resident in the same way. The average bone age results of three experts were the reference bone age. Both TW3-RUS and TW3-Carpal were evaluated. The root mean squared error (RMSE), mean absolute difference (MAD) and bone age accuracy within 0.5 years & 1 year were used as metrics of accuracy. Inter-observer agreement and intra-observer reproducibility were evaluated using intraclass correlation coefficient (ICCs). Results With the assistance of bone age AI software, the accuracy of residents' results improved significantly. For Inter-observer agreement comparison, The ICC results with AI assistance among 6 residents were higher than results without AI assistance on the two separate occasions. For intra-observer reproducibility comparison, the ICC results with AI assistance were higher than results without AI assistance between the 1st reading and 2nd reading for each resident. Conclusions For preschool children X-ray bone age assessment, besides improving diagnostic accuracy, bone age AI-assisted software can also increase inter-observer agreement and intra-observer reproducibility. AI-assisted software can be an effective diagnostic tool for residents in actual clinical settings.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

خلفية مجردة مع التطور السريع لخوارزميات التعلم العميق والتحسين السريع لأجهزة الكمبيوتر في السنوات القليلة الماضية، حققت برامج التشخيص بمساعدة الذكاء الاصطناعي لعمر العظام أداءً تشخيصيًا جيدًا. كان الغرض من هذه الدراسة هو التحقيق في تأثير البرامج المدعومة بالذكاء الاصطناعي على الاتفاق بين المراقبين المقيمين وقابلية التكاثر داخل المراقب لتقييم عمر عظام الأشعة السينية للأطفال في مرحلة ما قبل المدرسة. الأساليب تمت الموافقة على هذه الدراسة المستقبلية من قبل لجنة الأخلاقيات المؤسسية. قام ستة مقيمين معتمدين بتفسير 56 صورة شعاعية لعمر العظام تتراوح من 3 إلى 6 سنوات مع تقارير منظمة بطريقة TW3 المعدلة. تم تفسير الصور في مناسبتين منفصلتين، مرة واحدة مع ومرة واحدة بدون مساعد الذكاء الاصطناعي. بعد فترة تجفيف مدتها 4 أسابيع، أعاد كل مقيم تقييم الصور الشعاعية بنفس الطريقة. كان متوسط نتائج عمر العظام لثلاثة خبراء هو العمر المرجعي للعظام. تم تقييم كل من TW3 - RUS و TW3 - Carpal. تم استخدام متوسط الجذر التربيعي للخطأ (RMSE)، ومتوسط الفرق المطلق (MAD) ودقة عمر العظام في غضون 0.5 سنة وسنة واحدة كمقاييس للدقة. تم تقييم الاتفاق بين المراقبين وقابلية التكاثر داخل المراقب باستخدام معامل الارتباط داخل الفئة (ICCs). النتائج بمساعدة برنامج الذكاء الاصطناعي في عصر العظام، تحسنت دقة نتائج السكان بشكل كبير. بالنسبة لمقارنة الاتفاقيات بين المراقبين، كانت نتائج المحكمة الجنائية الدولية بمساعدة الذكاء الاصطناعي بين 6 مقيمين أعلى من النتائج دون مساعدة الذكاء الاصطناعي في المناسبتين المنفصلتين. بالنسبة لمقارنة قابلية التكرار داخل المراقب، كانت نتائج غرفة التجارة الدولية بمساعدة الذكاء الاصطناعي أعلى من النتائج دون مساعدة الذكاء الاصطناعي بين القراءة الأولى والقراءة الثانية لكل مقيم. الاستنتاجات بالنسبة لتقييم عمر العظام بالأشعة السينية للأطفال في سن ما قبل المدرسة، إلى جانب تحسين دقة التشخيص، يمكن للبرامج المدعومة بالذكاء الاصطناعي في سن العظام أيضًا أن تزيد من الاتفاق بين المراقبين وقابلية التكاثر داخل المراقب. يمكن أن تكون البرامج المدعومة بالذكاء الاصطناعي أداة تشخيصية فعالة للمقيمين في البيئات السريرية الفعلية.

Translated Description (French)

Résumé Contexte Avec le développement rapide des algorithmes d'apprentissage profond et l'amélioration rapide du matériel informatique au cours des dernières années, le logiciel de diagnostic assisté par IA pour l'âge osseux a atteint de bonnes performances diagnostiques. Le but de cette étude était d'étudier l'effet des logiciels assistés par IA sur l'accord inter-observateurs des résidents et la reproductibilité intra-observateur pour l'évaluation de l'âge osseux des enfants d'âge préscolaire par radiographie. Méthodes Cette étude prospective a été approuvée par le Comité d'éthique institutionnel. Six résidents certifiés par le conseil ont interprété 56 radiographies de l'âge osseux allant de 3 à 6 ans avec des rapports structurés par la méthode TW3 modifiée. Les images ont été interprétées à deux reprises, une fois avec et une fois sans l'assistant de l'IA. Après une période de sevrage de 4 semaines, les radiographies ont été réévaluées par chaque résident de la même manière. Les résultats de l'âge osseux moyen de trois experts étaient l'âge osseux de référence. TW3-RUS et TW3-Carpal ont été évalués. L'erreur quadratique moyenne (RMSE), la différence absolue moyenne (MAD) et la précision de l'âge osseux dans les 0,5 ans et 1 an ont été utilisées comme mesures de précision. L'accord inter-observateur et la reproductibilité intra-observateur ont été évalués à l'aide du coefficient de corrélation intraclasse (ICC). Résultats Avec l'aide du logiciel d'IA de l'âge osseux, la précision des résultats des résidents s'est considérablement améliorée. Pour la comparaison des accords inter-observateurs, les résultats de l'ICC avec l'assistance de l'IA chez 6 résidents étaient supérieurs aux résultats sans assistance de l'IA dans les deux occasions distinctes. Pour la comparaison de la reproductibilité intra-observateur, les résultats ICC avec assistance IA étaient supérieurs aux résultats sans assistance IA entre la 1ère lecture et la 2ème lecture pour chaque résident. Conclusions Pour les enfants d'âge préscolaire, l'évaluation de l'âge osseux par radiographie, en plus d'améliorer la précision du diagnostic, le logiciel assisté par l'IA de l'âge osseux peut également augmenter l'accord inter-observateurs et la reproductibilité intra-observateur. Les logiciels assistés par IA peuvent être un outil de diagnostic efficace pour les résidents dans des contextes cliniques réels.

Translated Description (Spanish)

Antecedentes abstractos Con el rápido desarrollo de algoritmos de aprendizaje profundo y la rápida mejora del hardware informático en los últimos años, el software de diagnóstico asistido por IA para la edad ósea ha logrado un buen rendimiento diagnóstico. El propósito de este estudio fue investigar el efecto del software asistido por IA en el acuerdo entre observadores de los residentes y la reproducibilidad intraobservador para la evaluación de la edad ósea por rayos X de niños en edad preescolar. Métodos Este estudio prospectivo fue aprobado por el Comité de Ética Institucional. Seis residentes certificados por la junta interpretaron 56 radiografías de edad ósea que van de 3 a 6 años con informes estructurados mediante el método TW3 modificado. Las imágenes se interpretaron en dos ocasiones distintas, una con y otra sin el asistente de IA. Después de un periodo de lavado de 4 semanas, las radiografías fueron reevaluadas por cada residente de la misma manera. Los resultados de la edad ósea media de tres expertos fueron la edad ósea de referencia. Se evaluaron tanto TW3-RUS como TW3-Carpal. El error cuadrático medio (RMSE), la diferencia absoluta media (MAD) y la precisión de la edad ósea en 0,5 años y 1 año se utilizaron como métricas de precisión. El acuerdo interobservador y la reproducibilidad intraobservador se evaluaron utilizando el coeficiente de correlación intraclase (ICC). Resultados Con la ayuda del software de IA de la edad ósea, la precisión de los resultados de los residentes mejoró significativamente. Para la comparación del acuerdo entre observadores, los resultados del ICC con asistencia de IA entre 6 residentes fueron más altos que los resultados sin asistencia de IA en las dos ocasiones separadas. Para la comparación de reproducibilidad intraobservador, los resultados de ICC con asistencia de IA fueron más altos que los resultados sin asistencia de IA entre la 1ª lectura y la 2ª lectura para cada residente. Conclusiones Para la evaluación de la edad ósea por rayos X en niños en edad preescolar, además de mejorar la precisión diagnóstica, el software asistido por IA de la edad ósea también puede aumentar la concordancia entre observadores y la reproducibilidad intraobservador. El software asistido por IA puede ser una herramienta de diagnóstico eficaz para los residentes en entornos clínicos reales.

Files

latest.pdf.pdf

Files (449.7 kB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:4deb939d5236ac606bcbe893af0da44a
449.7 kB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
تأثير البرامج المدعومة بالذكاء الاصطناعي على التباين بين المراقبين وداخلهم لتقييم عمر عظام الأشعة السينية للأطفال في مرحلة ما قبل المدرسة
Translated title (French)
Effet des logiciels assistés par IA sur la variabilité inter- et intra-observateur chez les enfants d'âge préscolaire Évaluation de l'âge osseux par radiographie
Translated title (Spanish)
Efecto del software asistido por IA en la variabilidad inter e intraobservador para la evaluación de la edad ósea por rayos X en niños en edad preescolar

Identifiers

Other
https://openalex.org/W4285090000
DOI
10.21203/rs.3.rs-1737407/v2

Is supplement to
https://openalex.org/W4283022587 (Other)
https://openalex.org/W2766682855 (Other)
https://openalex.org/W2413717610 (Other)
https://openalex.org/W2147363050 (Other)
https://openalex.org/W2101066939 (Other)
https://openalex.org/W2007969206 (Other)
https://openalex.org/W1999666783 (Other)
https://openalex.org/W1981806953 (Other)
https://openalex.org/W1973270181 (Other)
https://openalex.org/W1897324069 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
China

References

  • https://openalex.org/W2018025896
  • https://openalex.org/W2076643410
  • https://openalex.org/W2152200595
  • https://openalex.org/W2209603847
  • https://openalex.org/W2546410677
  • https://openalex.org/W2754800521
  • https://openalex.org/W2766766852
  • https://openalex.org/W2770042949
  • https://openalex.org/W2887693514
  • https://openalex.org/W2896437445
  • https://openalex.org/W2903107934
  • https://openalex.org/W2903408278
  • https://openalex.org/W2948196832
  • https://openalex.org/W2962840999
  • https://openalex.org/W2965950381
  • https://openalex.org/W3008695090
  • https://openalex.org/W3010084242
  • https://openalex.org/W3014091416
  • https://openalex.org/W3090641532
  • https://openalex.org/W3093315513
  • https://openalex.org/W3127990304
  • https://openalex.org/W3207372247
  • https://openalex.org/W4206982460