Published November 12, 2019 | Version v1
Publication Open

Application of machine learning methodology to assess the performance of DIABETIMSS program for patients with type 2 diabetes in family medicine clinics in Mexico

Creators

  • 1. University of California, Berkeley
  • 2. Mexican Social Security Institute
  • 3. Inter-American Development Bank
  • 4. University of the West Indies

Description

The study aimed to assess the performance of a multidisciplinary-team diabetes care program called DIABETIMSS on glycemic control of type 2 diabetes (T2D) patients, by using available observational patient data and machine-learning-based targeted learning methods.We analyzed electronic health records and laboratory databases from the year 2012 to 2016 of T2D patients from six family medicine clinics (FMCs) delivering the DIABETIMSS program, and five FMCs providing routine care. All FMCs belong to the Mexican Institute of Social Security and are in Mexico City and the State of Mexico. The primary outcome was glycemic control. The study covariates included: patient sex, age, anthropometric data, history of glycemic control, diabetic complications and comorbidity. We measured the effects of DIABETIMSS program through 1) simple unadjusted mean differences; 2) adjusted via standard logistic regression and 3) adjusted via targeted machine learning. We treated the data as a serial cross-sectional study, conducted a standard principal components analysis to explore the distribution of covariates among clinics, and performed regression tree on data transformed to use the prediction model to identify patient sub-groups in whom the program was most successful. To explore the robustness of the machine learning approaches, we conducted a set of simulations and the sensitivity analysis with process-of-care indicators as possible confounders.The study included 78,894 T2D patients, from which 37,767patients received care through DIABETIMSS. The impact of DIABETIMSS ranged, among clinics, from 2 to 8% improvement in glycemic control, with an overall (pooled) estimate of 5% improvement. T2D patients with fewer complications have more significant benefit from DIABETIMSS than those with more complications. At the FMC's delivering the conventional model the predicted impacts were like what was observed empirically in the DIABETIMSS clinics. The sensitivity analysis did not change the overall estimate average across clinics.DIABETIMSS program had a small, but significant increase in glycemic control. The use of machine learning methods yields both population-level effects and pinpoints the sub-groups of patients the program benefits the most. These methods exploit the potential of routine observational patient data within complex healthcare systems to inform decision-makers.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

هدفت الدراسة إلى تقييم أداء برنامج متعدد التخصصات لرعاية مرضى السكري يسمى DIABETIMSS على التحكم في نسبة السكر في الدم لمرضى السكري من النوع 2 (T2D)، باستخدام بيانات المريض الرصدية المتاحة وطرق التعلم المستهدفة القائمة على التعلم الآلي. قمنا بتحليل السجلات الصحية الإلكترونية وقواعد البيانات المختبرية من عام 2012 إلى عام 2016 لمرضى T2D من ست عيادات طب الأسرة (FMCs) التي تقدم برنامج DIABETIMSS، وخمس عيادات طب الأسرة التي تقدم الرعاية الروتينية. تنتمي جميع FMCs إلى المعهد المكسيكي للضمان الاجتماعي وتقع في مكسيكو سيتي وولاية المكسيك. وكانت النتيجة الأولية هي السيطرة على نسبة السكر في الدم. وشملت المتغيرات المشتركة للدراسة: جنس المريض، والعمر، والبيانات الأنثروبومترية، وتاريخ السيطرة على نسبة السكر في الدم، ومضاعفات مرض السكري والاعتلال المشترك. قمنا بقياس آثار برنامج DIABETIMSS من خلال 1) فروق متوسط بسيطة غير معدلة ؛ 2) معدلة عن طريق الانحدار اللوجستي القياسي و 3) معدلة عن طريق التعلم الآلي المستهدف. تعاملنا مع البيانات كدراسة مقطعية متسلسلة، وأجرينا تحليلًا قياسيًا للمكونات الرئيسية لاستكشاف توزيع المتغيرات المشتركة بين العيادات، وأجرينا شجرة الانحدار على البيانات التي تم تحويلها لاستخدام نموذج التنبؤ لتحديد المجموعات الفرعية للمرضى الذين كان البرنامج أكثر نجاحًا لديهم. لاستكشاف متانة مناهج التعلم الآلي، أجرينا مجموعة من عمليات المحاكاة وتحليل الحساسية مع مؤشرات عملية الرعاية باعتبارها عوامل مربكة محتملة. تضمنت الدراسة 78,894 مريضًا من مرضى T2D، منهم 37,767 مريضًا تلقوا الرعاية من خلال DIABETIMSS. تراوح تأثير DIABETIMSS، بين العيادات، من 2 إلى 8 ٪ تحسن في السيطرة على نسبة السكر في الدم، مع تقدير إجمالي (مجمع) بنسبة 5 ٪ تحسن. يتمتع مرضى T2D الذين يعانون من مضاعفات أقل بفائدة أكبر من DIABETIMSS من أولئك الذين يعانون من مضاعفات أكثر. في تقديم FMC للنموذج التقليدي، كانت التأثيرات المتوقعة مثل ما لوحظ تجريبيًا في عيادات DIABETIMSS. لم يغير تحليل الحساسية متوسط التقدير الإجمالي عبر العيادات. كان لبرنامج تقييم نسبة السكر في الدم زيادة صغيرة ولكنها كبيرة في التحكم في نسبة السكر في الدم. ينتج عن استخدام أساليب التعلم الآلي تأثيرات على مستوى السكان ويحدد المجموعات الفرعية من المرضى الذين يستفيد منهم البرنامج أكثر من غيرهم. وتستغل هذه الأساليب إمكانات بيانات المرضى الروتينية القائمة على الملاحظة داخل أنظمة الرعاية الصحية المعقدة لإبلاغ صانعي القرار.

Translated Description (French)

L'étude visait à évaluer la performance d'un programme multidisciplinaire de soins du diabète appelé DIABETIMSS sur le contrôle glycémique des patients atteints de diabète de type 2 (DT2), en utilisant les données observationnelles disponibles sur les patients et les méthodes d'apprentissage ciblées basées sur l'apprentissage automatique. Nous avons analysé les dossiers de santé électroniques et les bases de données de laboratoire de l'année 2012 à 2016 des patients atteints de DT2 de six cliniques de médecine familiale (FMC) offrant le programme DIABETIMSS et de cinq FMC fournissant des soins de routine. Tous les FMC appartiennent à l'Institut mexicain de sécurité sociale et se trouvent à Mexico et dans l'État du Mexique. Le critère de jugement principal était le contrôle glycémique. Les covariables de l'étude comprenaient : le sexe du patient, l'âge, les données anthropométriques, les antécédents de contrôle glycémique, les complications diabétiques et la comorbidité. Nous avons mesuré les effets du programme DIABETIMSS à travers 1) de simples différences moyennes non ajustées ; 2) ajustées via une régression logistique standard et 3) ajustées via un apprentissage automatique ciblé. Nous avons traité les données comme une étude transversale en série, effectué une analyse des composantes principales standard pour explorer la distribution des covariables entre les cliniques et effectué une arborescence de régression sur les données transformées pour utiliser le modèle de prédiction afin d'identifier les sous-groupes de patients dans lesquels le programme a eu le plus de succès. Pour explorer la robustesse des approches d'apprentissage automatique, nous avons effectué un ensemble de simulations et l'analyse de sensibilité avec des indicateurs de processus de soins comme facteurs de confusion possibles. L'étude a inclus 78 894 patients atteints de DT2, dont 37 767 patients ont reçu des soins via DIABETIMSS. L'impact du DIABETIMSS variait, entre les cliniques, de 2 à 8 % d'amélioration du contrôle glycémique, avec une estimation globale (regroupée) de 5 % d'amélioration. Les patients atteints de DT2 présentant moins de complications bénéficient davantage du DIABETIMSS que ceux présentant plus de complications. Lors de la livraison du modèle conventionnel par le FMC, les impacts prévus étaient similaires à ceux observés empiriquement dans les cliniques DIABETIMSS. L'analyse de sensibilité n'a pas modifié la moyenne globale estimée entre les cliniques. Le programme DIABETIMSS a connu une légère mais significative augmentation du contrôle glycémique. L'utilisation de méthodes d'apprentissage automatique produit à la fois des effets au niveau de la population et identifie les sous-groupes de patients dont le programme bénéficie le plus. Ces méthodes exploitent le potentiel des données observationnelles de routine sur les patients au sein de systèmes de santé complexes pour informer les décideurs.

Translated Description (Spanish)

El estudio tuvo como objetivo evaluar el desempeño de un programa multidisciplinario de atención de la diabetes llamado DIABETIMSS en el control glucémico de pacientes con diabetes tipo 2 (DT2), mediante el uso de datos observacionales disponibles de pacientes y métodos de aprendizaje dirigido basados en el aprendizaje automático. Analizamos los registros electrónicos de salud y las bases de datos de laboratorio del año 2012 al 2016 de pacientes con DT2 de seis clínicas de medicina familiar (FMC) que brindan el programa DIABETIMSS y cinco FMC que brindan atención de rutina. Todas las FMC pertenecen al Instituto Mexicano del Seguro Social y se encuentran en la Ciudad de México y el Estado de México. El resultado primario fue el control glucémico. Las covariables del estudio incluyeron: sexo del paciente, edad, datos antropométricos, antecedentes de control glucémico, complicaciones diabéticas y comorbilidad. Medimos los efectos del programa DIABETIMSS a través de 1) diferencias de medias simples no ajustadas; 2) ajustado mediante regresión logística estándar y 3) ajustado mediante aprendizaje automático específico. Tratamos los datos como un estudio transversal en serie, realizamos un análisis estándar de los componentes principales para explorar la distribución de las covariables entre las clínicas y realizamos un árbol de regresión en los datos transformados para utilizar el modelo de predicción para identificar los subgrupos de pacientes en los que el programa tuvo más éxito. Para explorar la robustez de los enfoques de aprendizaje automático, realizamos un conjunto de simulaciones y el análisis de sensibilidad con indicadores de proceso de atención como posibles factores de confusión. El estudio incluyó a 78.894 pacientes con DT2, de los cuales 37.767 pacientes recibieron atención a través de DIABETIMSS. El impacto de DIABETIMSS varió, entre las clínicas, de 2 a 8% de mejora en el control glucémico, con una estimación general (agrupada) de 5% de mejora. Los pacientes con DT2 con menos complicaciones tienen un beneficio más significativo de DIABETIMSS que aquellos con más complicaciones. En las FMC que entregaron el modelo convencional, los impactos previstos fueron similares a los observados empíricamente en las clínicas de DIABETIMSS. El análisis de sensibilidad no cambió la media estimada general en todas las clínicas. El programa DIABETIMSS tuvo un aumento pequeño, pero significativo, en el control glucémico. El uso de métodos de aprendizaje automático produce efectos a nivel de población y señala los subgrupos de pacientes a los que más beneficia el programa. Estos métodos aprovechan el potencial de los datos observacionales rutinarios de los pacientes dentro de los sistemas de salud complejos para informar a los responsables de la toma de decisiones.

Files

s12911-019-0950-5.pdf.pdf

Files (2.2 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:15f417534cd9c1186d00e03ac6e7954e
2.2 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
تطبيق منهجية التعلم الآلي لتقييم أداء برنامج DIABETIMSS للمرضى الذين يعانون من مرض السكري من النوع 2 في عيادات طب الأسرة في المكسيك
Translated title (French)
Application de la méthodologie d'apprentissage automatique pour évaluer la performance du programme DIABETIMSS pour les patients atteints de diabète de type 2 dans les cliniques de médecine familiale au Mexique
Translated title (Spanish)
Aplicación de metodología de aprendizaje automático para evaluar el desempeño del programa DIABETIMSS para pacientes con diabetes tipo 2 en clínicas de medicina familiar en México

Identifiers

Other
https://openalex.org/W2985747067
DOI
10.1186/s12911-019-0950-5

Is supplement to
https://openalex.org/W4381328000 (Other)
https://openalex.org/W4309072394 (Other)
https://openalex.org/W334096847 (Other)
https://openalex.org/W3141050733 (Other)
https://openalex.org/W3033200810 (Other)
https://openalex.org/W2911339178 (Other)
https://openalex.org/W2322581019 (Other)
https://openalex.org/W2109147503 (Other)
https://openalex.org/W2103779230 (Other)
https://openalex.org/W2030936866 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Mexico

References

  • https://openalex.org/W1998186571
  • https://openalex.org/W2048298990
  • https://openalex.org/W2058308089
  • https://openalex.org/W2074840499
  • https://openalex.org/W2095444232
  • https://openalex.org/W2100358124
  • https://openalex.org/W2105352120
  • https://openalex.org/W2106896275
  • https://openalex.org/W2109112560
  • https://openalex.org/W2115553116
  • https://openalex.org/W2129303710
  • https://openalex.org/W2191932160
  • https://openalex.org/W2285404355
  • https://openalex.org/W2309168976
  • https://openalex.org/W2343960900
  • https://openalex.org/W2399602153
  • https://openalex.org/W2403271754
  • https://openalex.org/W2466219147
  • https://openalex.org/W2555326611
  • https://openalex.org/W2560774707
  • https://openalex.org/W2569214105
  • https://openalex.org/W2597560358
  • https://openalex.org/W2791866799
  • https://openalex.org/W2804684793
  • https://openalex.org/W4210970346
  • https://openalex.org/W4233056867
  • https://openalex.org/W4239349741
  • https://openalex.org/W4248240383