Published November 6, 2023 | Version v1
Publication Open

Generalizability Assessment of AI Models Across Hospitals: A Comparative Study in Low-Middle Income and High Income Countries

Creators

  • 1. Institute of Biomedical Science
  • 2. University of Oxford
  • 3. Hospital for Tropical Diseases
  • 4. Oxford University Clinical Research Unit
  • 5. Oxford University Hospitals NHS Trust

Description

Abstract The integration of artificial intelligence (AI) into healthcare systems within low-middle income countries (LMICs) has emerged as a central focus for various initiatives aiming to improve healthcare access and delivery quality. In contrast to high-income countries (HICs), which often possess the resources and infrastructure to adopt innovative healthcare technologies, LMICs confront resource limitations such as insufficient funding, outdated infrastructure, limited digital data, and a shortage of technical expertise. Consequently, many algorithms initially trained on data from non-LMIC settings are now being employed in LMIC contexts. However, the effectiveness of these systems in LMICs can be compromised when the unique local contexts and requirements are not adequately considered. In this study, we evaluate the feasibility of utilizing models developed in the United Kingdom (a HIC) within hospitals in Vietnam (a LMIC). Consequently, we present and discuss practical methodologies aimed at improving model performance, emphasizing the critical importance of tailoring solutions to the distinct healthcare systems found in LMICs. Our findings emphasize the necessity for collaborative initiatives and solutions that are sensitive to the local context in order to effectively tackle the healthcare challenges that are unique to these regions.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

برز دمج الذكاء الاصطناعي (AI) في أنظمة الرعاية الصحية داخل البلدان منخفضة ومتوسطة الدخل (LMICs) كمحور رئيسي لمختلف المبادرات التي تهدف إلى تحسين الوصول إلى الرعاية الصحية وجودة تقديمها. على النقيض من البلدان ذات الدخل المرتفع (HICs)، التي غالبًا ما تمتلك الموارد والبنية التحتية لتبني تقنيات الرعاية الصحية المبتكرة، تواجه البلدان منخفضة ومتوسطة الدخل قيودًا على الموارد مثل عدم كفاية التمويل والبنية التحتية القديمة والبيانات الرقمية المحدودة ونقص الخبرة التقنية. وبالتالي، يتم الآن استخدام العديد من الخوارزميات التي تم تدريبها في البداية على البيانات من إعدادات غير LMIC في سياقات LMIC. ومع ذلك، يمكن أن تتعرض فعالية هذه الأنظمة في البلدان المنخفضة والمتوسطة الدخل للخطر عندما لا يتم مراعاة السياقات والمتطلبات المحلية الفريدة بشكل كافٍ. في هذه الدراسة، نقوم بتقييم جدوى استخدام النماذج التي تم تطويرها في المملكة المتحدة (HIC) داخل المستشفيات في فيتنام (LMIC). وبالتالي، فإننا نقدم ونناقش المنهجيات العملية التي تهدف إلى تحسين أداء النموذج، مع التأكيد على الأهمية الحاسمة لتصميم حلول لأنظمة الرعاية الصحية المتميزة الموجودة في البلدان المنخفضة والمتوسطة الدخل. وتؤكد النتائج التي توصلنا إليها على ضرورة اتخاذ مبادرات وحلول تعاونية تراعي السياق المحلي من أجل التصدي بفعالية لتحديات الرعاية الصحية التي تنفرد بها هذه المناطق.

Translated Description (French)

Résumé L'intégration de l'intelligence artificielle (IA) dans les systèmes de santé des pays à revenu faible et intermédiaire (PRFI) est devenue un axe central de diverses initiatives visant à améliorer l'accès aux soins de santé et la qualité de la prestation. Contrairement aux pays à revenu élevé (PRI), qui possèdent souvent les ressources et l'infrastructure nécessaires pour adopter des technologies de santé innovantes, les PRITI sont confrontés à des limitations de ressources telles qu'un financement insuffisant, une infrastructure obsolète, des données numériques limitées et une pénurie d'expertise technique. Par conséquent, de nombreux algorithmes initialement formés sur des données provenant de contextes non LIC sont maintenant utilisés dans des contextes LMIC. Cependant, l'efficacité de ces systèmes dans les PRFI peut être compromise lorsque les contextes et les exigences locaux uniques ne sont pas correctement pris en compte. Dans cette étude, nous évaluons la faisabilité d'utiliser des modèles développés au Royaume-Uni (un hic) dans les hôpitaux du Vietnam (un LMIC). Par conséquent, nous présentons et discutons des méthodologies pratiques visant à améliorer la performance des modèles, en soulignant l'importance cruciale d'adapter les solutions aux différents systèmes de soins de santé des PRFI. Nos résultats soulignent la nécessité d'initiatives et de solutions collaboratives sensibles au contexte local afin de relever efficacement les défis de santé propres à ces régions.

Translated Description (Spanish)

Resumen La integración de la inteligencia artificial (IA) en los sistemas de atención médica dentro de los países de ingresos bajos y medianos (PIBM) se ha convertido en un enfoque central para diversas iniciativas destinadas a mejorar el acceso a la atención médica y la calidad de la prestación. A diferencia de los países de altos ingresos (HIC), que a menudo poseen los recursos y la infraestructura para adoptar tecnologías sanitarias innovadoras, los LMIC se enfrentan a limitaciones de recursos como la financiación insuficiente, la infraestructura obsoleta, los datos digitales limitados y la escasez de experiencia técnica. En consecuencia, muchos algoritmos inicialmente entrenados en datos de configuraciones no LMIC ahora se están empleando en contextos LMIC. Sin embargo, la efectividad de estos sistemas en los PIBM puede verse comprometida cuando los contextos y requisitos locales únicos no se consideran adecuadamente. En este estudio, evaluamos la viabilidad de utilizar modelos desarrollados en el Reino Unido (un HIC) dentro de hospitales en Vietnam (un LMIC). En consecuencia, presentamos y discutimos metodologías prácticas destinadas a mejorar el rendimiento del modelo, enfatizando la importancia crítica de adaptar las soluciones a los distintos sistemas de salud que se encuentran en los PIBM. Nuestros hallazgos enfatizan la necesidad de iniciativas y soluciones de colaboración que sean sensibles al contexto local para abordar de manera efectiva los desafíos de atención médica que son exclusivos de estas regiones.

Files

2023.11.05.23298109.full.pdf.pdf

Files (1.5 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:8017c28e23def3c005d602afa04cf25f
1.5 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
تقييم تعميم نماذج الذكاء الاصطناعي عبر المستشفيات: دراسة مقارنة في البلدان منخفضة ومتوسطة الدخل والبلدان مرتفعة الدخل
Translated title (French)
Évaluation de la généralisabilité des modèles d'IA dans les hôpitaux : une étude comparative dans les pays à revenu faible et intermédiaire et dans les pays à revenu élevé
Translated title (Spanish)
Evaluación de la generalización de los modelos de IA en los hospitales: un estudio comparativo en países de ingresos medios bajos y altos

Identifiers

Other
https://openalex.org/W4388407259
DOI
10.1101/2023.11.05.23298109

Is supplement to
https://openalex.org/W4293178552 (Other)
https://openalex.org/W34609512 (Other)
https://openalex.org/W3139784506 (Other)
https://openalex.org/W3133689070 (Other)
https://openalex.org/W3008894556 (Other)
https://openalex.org/W2416192913 (Other)
https://openalex.org/W2227310033 (Other)
https://openalex.org/W2031520989 (Other)
https://openalex.org/W1976903813 (Other)
https://openalex.org/W1505725052 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Vietnam

References

  • https://openalex.org/W2072443528
  • https://openalex.org/W2128245586
  • https://openalex.org/W2128937954
  • https://openalex.org/W2888967035
  • https://openalex.org/W2889905270
  • https://openalex.org/W2991184684
  • https://openalex.org/W3022336610
  • https://openalex.org/W3023997891
  • https://openalex.org/W3080627676
  • https://openalex.org/W3080808978
  • https://openalex.org/W3091873932
  • https://openalex.org/W3095514607
  • https://openalex.org/W3110677219
  • https://openalex.org/W3120083395
  • https://openalex.org/W4220924972
  • https://openalex.org/W4281920142
  • https://openalex.org/W4283587991
  • https://openalex.org/W4307846218
  • https://openalex.org/W4361285150
  • https://openalex.org/W4387933386