Published June 10, 2024 | Version v1
Publication Open

Mitigating machine learning bias between high income and low–middle income countries for enhanced model fairness and generalizability

Creators

  • 1. University of Oxford
  • 2. Hospital for Tropical Diseases
  • 3. Oxford University Clinical Research Unit

Description

Abstract Collaborative efforts in artificial intelligence (AI) are increasingly common between high-income countries (HICs) and low- to middle-income countries (LMICs). Given the resource limitations often encountered by LMICs, collaboration becomes crucial for pooling resources, expertise, and knowledge. Despite the apparent advantages, ensuring the fairness and equity of these collaborative models is essential, especially considering the distinct differences between LMIC and HIC hospitals. In this study, we show that collaborative AI approaches can lead to divergent performance outcomes across HIC and LMIC settings, particularly in the presence of data imbalances. Through a real-world COVID-19 screening case study, we demonstrate that implementing algorithmic-level bias mitigation methods significantly improves outcome fairness between HIC and LMIC sites while maintaining high diagnostic sensitivity. We compare our results against previous benchmarks, utilizing datasets from four independent United Kingdom Hospitals and one Vietnamese hospital, representing HIC and LMIC settings, respectively.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

ملخص الجهود التعاونية في مجال الذكاء الاصطناعي (AI) شائعة بشكل متزايد بين البلدان ذات الدخل المرتفع (HICs) والبلدان منخفضة إلى متوسطة الدخل (LMICs). بالنظر إلى محدودية الموارد التي غالبًا ما تواجهها البلدان المنخفضة والمتوسطة الدخل، يصبح التعاون أمرًا بالغ الأهمية لتجميع الموارد والخبرات والمعرفة. على الرغم من المزايا الواضحة، فإن ضمان عدالة وإنصاف هذه النماذج التعاونية أمر ضروري، لا سيما بالنظر إلى الاختلافات الواضحة بين مستشفيات LMIC و HIC. في هذه الدراسة، نظهر أن مناهج الذكاء الاصطناعي التعاونية يمكن أن تؤدي إلى نتائج أداء متباينة عبر إعدادات HIC و LMIC، لا سيما في وجود اختلالات في البيانات. من خلال دراسة حالة لفحص COVID -19 في العالم الحقيقي، نثبت أن تنفيذ طرق التخفيف من التحيز على مستوى الخوارزميات يحسن بشكل كبير من عدالة النتائج بين مواقع HIC و LMIC مع الحفاظ على حساسية تشخيصية عالية. نقارن نتائجنا بالمعايير السابقة، باستخدام مجموعات البيانات من أربعة مستشفيات مستقلة في المملكة المتحدة ومستشفى فيتنامي واحد، تمثل إعدادات HIC و LMIC، على التوالي.

Translated Description (French)

Résumé Les efforts de collaboration en matière d'intelligence artificielle (IA) sont de plus en plus fréquents entre les pays à revenu élevé (PRI) et les pays à revenu faible à intermédiaire (PRFI). Compte tenu des limites de ressources souvent rencontrées par les PRFI, la collaboration devient cruciale pour la mise en commun des ressources, de l'expertise et des connaissances. Malgré les avantages apparents, il est essentiel d'assurer la justice et l'équité de ces modèles collaboratifs, en particulier compte tenu des différences distinctes entre les hôpitaux des PRFI et des hic. Dans cette étude, nous montrons que les approches collaboratives de l'IA peuvent conduire à des résultats de performance divergents dans les contextes hic et LMIC, en particulier en présence de déséquilibres de données. Grâce à une étude de cas de dépistage de la COVID-19 dans le monde réel, nous démontrons que la mise en œuvre de méthodes d'atténuation des biais au niveau algorithmique améliore considérablement l'équité des résultats entre les sites hic et LMIC tout en maintenant une sensibilité diagnostique élevée. Nous comparons nos résultats aux repères précédents, en utilisant des ensembles de données provenant de quatre hôpitaux indépendants du Royaume-Uni et d'un hôpital vietnamien, représentant respectivement les contextes hic et LMIC.

Translated Description (Spanish)

Resumen Los esfuerzos de colaboración en inteligencia artificial (IA) son cada vez más comunes entre los países de ingresos altos (HIC) y los países de ingresos bajos a medios (LMIC). Dadas las limitaciones de recursos que a menudo encuentran los PIBM, la colaboración se vuelve crucial para poner en común los recursos, la experiencia y el conocimiento. A pesar de las aparentes ventajas, es esencial garantizar la equidad y equidad de estos modelos de colaboración, especialmente teniendo en cuenta las claras diferencias entre los hospitales de LMIC y HIC. En este estudio, mostramos que los enfoques colaborativos de IA pueden conducir a resultados de rendimiento divergentes en los entornos de HIC y LMIC, particularmente en presencia de desequilibrios de datos. A través de un estudio de caso de detección de COVID-19 en el mundo real, demostramos que la implementación de métodos de mitigación de sesgo a nivel algorítmico mejora significativamente la equidad de resultados entre los sitios de HIC y LMIC mientras se mantiene una alta sensibilidad de diagnóstico. Comparamos nuestros resultados con puntos de referencia anteriores, utilizando conjuntos de datos de cuatro hospitales independientes del Reino Unido y un hospital vietnamita, que representan los entornos de HIC y LMIC, respectivamente.

Files

s41598-024-64210-5.pdf.pdf

Files (1.2 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:0013ac04606f570925ab727043b33df5
1.2 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
التخفيف من تحيز التعلم الآلي بين البلدان ذات الدخل المرتفع والبلدان ذات الدخل المتوسط المنخفض من أجل تعزيز نموذج الإنصاف والتعميم
Translated title (French)
Atténuer le biais d'apprentissage automatique entre les pays à revenu élevé et les pays à revenu faible et intermédiaire pour améliorer l'équité et la généralisabilité du modèle
Translated title (Spanish)
Mitigar el sesgo de aprendizaje automático entre los países de ingresos altos y los países de ingresos medios bajos para mejorar la equidad y la generalización del modelo

Identifiers

Other
https://openalex.org/W4399492816
DOI
10.1038/s41598-024-64210-5

Is supplement to
https://openalex.org/W4391375266 (Other)
https://openalex.org/W4225593417 (Other)
https://openalex.org/W410723623 (Other)
https://openalex.org/W3022298670 (Other)
https://openalex.org/W2748952813 (Other)
https://openalex.org/W2573498121 (Other)
https://openalex.org/W2413243053 (Other)
https://openalex.org/W2118717649 (Other)
https://openalex.org/W2035068594 (Other)
https://openalex.org/W2015341305 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Vietnam

References

  • https://openalex.org/W1576278180
  • https://openalex.org/W2042355912
  • https://openalex.org/W2100960835
  • https://openalex.org/W2599025709
  • https://openalex.org/W2889905270
  • https://openalex.org/W2899241902
  • https://openalex.org/W2962949994
  • https://openalex.org/W2963116854
  • https://openalex.org/W3023997891
  • https://openalex.org/W3037647569
  • https://openalex.org/W3080290774
  • https://openalex.org/W3080808978
  • https://openalex.org/W3095514607
  • https://openalex.org/W3110677219
  • https://openalex.org/W3120083395
  • https://openalex.org/W3181414820
  • https://openalex.org/W4200191097
  • https://openalex.org/W4220924972
  • https://openalex.org/W4221029757
  • https://openalex.org/W4226251568
  • https://openalex.org/W4281920142
  • https://openalex.org/W4307846218
  • https://openalex.org/W4319736227
  • https://openalex.org/W4361285150
  • https://openalex.org/W4385416124
  • https://openalex.org/W4388407259
  • https://openalex.org/W4389074726