Published August 1, 2023
| Version v1
Publication
Open
Pediatric prognostic models predicting inhospital child mortality in resource‐limited settings: An external validation study
- 1. University of Nairobi
- 2. London School of Hygiene & Tropical Medicine
- 3. Kenya Medical Research Institute
Description
Prognostic models provide evidence-based predictions and estimates of future outcomes, facilitating decision-making, patient care, and research. A few of these models have been externally validated, leading to uncertain reliability and generalizability. This study aims to externally validate four models to assess their transferability and usefulness in clinical practice. The models include the respiratory index of severity in children (RISC)-Malawi model and three other models by Lowlavaar et al.The study used data from the Clinical Information Network (CIN) to validate the four models where the primary outcome was in-hospital mortality. 163,329 patients met eligibility criteria. Missing data were imputed, and the logistic function was used to compute predicted risk of in-hospital mortality. Models' discriminatory ability and calibration were determined using area under the curve (AUC), calibration slope, and intercept.The RISC-Malawi model had 50,669 pneumonia patients who met the eligibility criteria, of which the case-fatality ratio was 4406 (8.7%). Its AUC was 0.77 (95% CI: 0.77-0.78), whereas the calibration slope was 1.04 (95% CI: 1.00 -1.06), and calibration intercept was 0.81 (95% CI: 0.77-0.84). Regarding the external validation of Lowlavaar et al. models, 10,782 eligible patients were included, with an in-hospital mortality rate of 5.3%. The primary model's AUC was 0.75 (95% CI: 0.72-0.77), the calibration slope was 0.78 (95% CI: 0.71-0.84), and the calibration intercept was 0.37 (95% CI: 0.28-0.46). All models markedly underestimated the risk of mortality.All externally validated models exhibited either underestimation or overestimation of the risk as judged from calibration statistics. Hence, applying these models with confidence in settings other than their original development context may not be advisable. Our findings strongly suggest the need for recalibrating these model to enhance their generalizability.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
توفر النماذج التنبؤية تنبؤات وتقديرات قائمة على الأدلة للنتائج المستقبلية، وتسهيل عملية صنع القرار، ورعاية المرضى، والبحث. تم التحقق من صحة عدد قليل من هذه النماذج خارجيًا، مما أدى إلى موثوقية غير مؤكدة وقابلية للتعميم. تهدف هذه الدراسة إلى التحقق خارجيًا من صحة أربعة نماذج لتقييم قابليتها للتحويل وفائدتها في الممارسة السريرية. تشمل النماذج مؤشر الجهاز التنفسي للشدة عند الأطفال (RISC) - نموذج ملاوي وثلاثة نماذج أخرى من قبل Lowlavaar et al. استخدمت الدراسة بيانات من شبكة المعلومات السريرية (CIN) للتحقق من صحة النماذج الأربعة حيث كانت النتيجة الأولية هي الوفيات في المستشفى. استوفى 163،329 مريضًا معايير الأهلية. تم احتساب البيانات المفقودة، واستخدمت الوظيفة اللوجستية لحساب المخاطر المتوقعة للوفيات داخل المستشفى. تم تحديد القدرة التمييزية للنماذج ومعايرتها باستخدام منطقة تحت المنحنى (AUC) ومنحدر المعايرة والاعتراض. كان نموذج RISC - Malawi يضم 50669 مريضًا بالالتهاب الرئوي الذين استوفوا معايير الأهلية، وكانت نسبة إماتة الحالة 4406 (8.7 ٪). كانت المساحة تحت المنحنى 0.77 (95 ٪ CI: 0.77-0.78)، في حين كان ميل المعايرة 1.04 (95 ٪ CI: 1.00-1.06)، وكان اعتراض المعايرة 0.81 (95 ٪ CI: 0.77-0.84). فيما يتعلق بالتحقق الخارجي من نماذج Lowlavaar et al.، تم تضمين 10782 مريضًا مؤهلًا، مع معدل وفيات في المستشفى بنسبة 5.3 ٪. كانت المساحة تحت المنحنى للنموذج الأساسي 0.75 (95 ٪ CI: 0.72-0.77)، وكان ميل المعايرة 0.78 (95 ٪ CI: 0.71-0.84)، وكان اعتراض المعايرة 0.37 (95 ٪ CI: 0.28-0.46). قللت جميع النماذج بشكل ملحوظ من خطر الوفيات. أظهرت جميع النماذج التي تم التحقق منها خارجيًا إما التقليل من المخاطر أو المبالغة في تقديرها وفقًا للحكم عليها من إحصاءات المعايرة. وبالتالي، قد لا يكون من المستحسن تطبيق هذه النماذج بثقة في أماكن أخرى غير سياق التطوير الأصلي. تشير النتائج التي توصلنا إليها بقوة إلى الحاجة إلى إعادة معايرة هذه النماذج لتعزيز قابليتها للتعميم.Translated Description (French)
Les modèles pronostiques fournissent des prévisions et des estimations fondées sur des données probantes des résultats futurs, facilitant la prise de décision, les soins aux patients et la recherche. Quelques-uns de ces modèles ont été validés en externe, ce qui a conduit à une fiabilité et à une généralisabilité incertaines. Cette étude vise à valider en externe quatre modèles pour évaluer leur transférabilité et leur utilité dans la pratique clinique. Les modèles comprennent le modèle de l'indice de gravité respiratoire chez les enfants (RISC) -Malawi et trois autres modèles de Lowlavaar et al.L' étude a utilisé les données du Réseau d'information clinique (CIN) pour valider les quatre modèles où le critère de jugement principal était la mortalité hospitalière. 163 329 patients répondaient aux critères d'éligibilité. Les données manquantes ont été imputées et la fonction logistique a été utilisée pour calculer le risque prédit de mortalité à l'hôpital. La capacité discriminatoire et l'étalonnage des modèles ont été déterminés à l'aide de l'aire sous la courbe (ASC), de la pente d'étalonnage et de l'interception. Le modèle RISC-Malawi comptait 50 669 patients atteints de pneumonie qui répondaient aux critères d'éligibilité, dont le rapport cas/létalité était de 4 406 (8,7 %). Son ASC était de 0,77 (IC à 95 % : 0,77-0,78), tandis que la pente d'étalonnage était de 1,04 (IC à 95 % : 1,00-1,06) et l'interception d'étalonnage était de 0,81 (IC à 95 % : 0,77-0,84). En ce qui concerne la validation externe des modèles Lowlavaar et al., 10 782 patients éligibles ont été inclus, avec un taux de mortalité hospitalière de 5,3 %. L'ASC du modèle principal était de 0,75 (IC à 95 % : 0,72-0,77), la pente d'étalonnage était de 0,78 (IC à 95 % : 0,71-0,84) et l'interception d'étalonnage était de 0,37 (IC à 95 % : 0,28-0,46). Tous les modèles ont nettement sous-estimé le risque de mortalité. Tous les modèles validés en externe présentaient soit une sous-estimation, soit une surestimation du risque tel que jugé à partir des statistiques d'étalonnage. Par conséquent, l'application de ces modèles avec confiance dans des contextes autres que leur contexte de développement d'origine peut ne pas être souhaitable. Nos résultats suggèrent fortement la nécessité de recalibrer ces modèles pour améliorer leur généralisabilité.Translated Description (Spanish)
Los modelos de pronóstico proporcionan predicciones basadas en la evidencia y estimaciones de resultados futuros, facilitando la toma de decisiones, la atención al paciente y la investigación. Algunos de estos modelos han sido validados externamente, lo que lleva a una fiabilidad y generalización inciertas. Este estudio tiene como objetivo validar externamente cuatro modelos para evaluar su transferibilidad y utilidad en la práctica clínica. Los modelos incluyen el modelo de índice respiratorio de gravedad en niños (RISC)-Malawi y otros tres modelos de Lowlavaar et al. El estudio utilizó datos de la Red de Información Clínica (CIN) para validar los cuatro modelos donde el resultado primario fue la mortalidad hospitalaria. 163,329 pacientes cumplieron con los criterios de elegibilidad. Se imputaron los datos faltantes y se utilizó la función logística para calcular el riesgo previsto de mortalidad hospitalaria. La capacidad discriminatoria y la calibración de los modelos se determinaron utilizando el área bajo la curva (AUC), la pendiente de calibración y la intersección. El modelo RISC-Malawi tuvo 50,669 pacientes con neumonía que cumplieron con los criterios de elegibilidad, de los cuales la relación de letalidad fue de 4406 (8.7%). Su AUC fue de 0,77 (IC del 95%: 0,77-0,78), mientras que la pendiente de calibración fue de 1,04 (IC del 95%: 1,00-1,06), y la intersección de calibración fue de 0,81 (IC del 95%: 0,77-0,84). En cuanto a la validación externa de los modelos de Lowlavaar et al. se incluyeron 10.782 pacientes elegibles, con una tasa de mortalidad intrahospitalaria del 5,3%. El AUC del modelo primario fue de 0,75 (IC del 95%: 0,72-0,77), la pendiente de calibración fue de 0,78 (IC del 95%: 0,71-0,84) y la intersección de calibración fue de 0,37 (IC del 95%: 0,28-0,46). Todos los modelos subestimaron notablemente el riesgo de mortalidad. Todos los modelos validados externamente exhibieron una subestimación o sobreestimación del riesgo a juzgar por las estadísticas de calibración. Por lo tanto, la aplicación de estos modelos con confianza en entornos distintos de su contexto de desarrollo original puede no ser aconsejable. Nuestros hallazgos sugieren fuertemente la necesidad de recalibrar estos modelos para mejorar su generalización.Files
hsr2.1433.pdf
Files
(16.0 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:2743b9e54076ecfcc5cde8f2ce54eba4
|
16.0 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- نماذج تنبؤية للأطفال تتنبأ بوفيات الأطفال في المستشفيات في بيئات محدودة الموارد: دراسة تحقق خارجية
- Translated title (French)
- Modèles pronostiques pédiatriques prédisant la mortalité infantile en milieu hospitalier dans des contextes de ressources limitées : une étude de validation externe
- Translated title (Spanish)
- Modelos de pronóstico pediátrico que predicen la mortalidad infantil intrahospitalaria en entornos con recursos limitados: un estudio de validación externo
Identifiers
- Other
- https://openalex.org/W4386225799
- DOI
- 10.1002/hsr2.1433
References
- https://openalex.org/W154377515
- https://openalex.org/W1947115500
- https://openalex.org/W1985002022
- https://openalex.org/W1994682257
- https://openalex.org/W2002504925
- https://openalex.org/W2018195004
- https://openalex.org/W2019694480
- https://openalex.org/W2065974896
- https://openalex.org/W2074932800
- https://openalex.org/W2082376914
- https://openalex.org/W2093274439
- https://openalex.org/W2105800119
- https://openalex.org/W2106546096
- https://openalex.org/W2115013670
- https://openalex.org/W2115098571
- https://openalex.org/W2118502261
- https://openalex.org/W2118798331
- https://openalex.org/W2118953259
- https://openalex.org/W2126436234
- https://openalex.org/W2134843796
- https://openalex.org/W2146080983
- https://openalex.org/W2154286581
- https://openalex.org/W2165139489
- https://openalex.org/W2196983317
- https://openalex.org/W2295243070
- https://openalex.org/W2346747043
- https://openalex.org/W2492762296
- https://openalex.org/W2565595203
- https://openalex.org/W2605975631
- https://openalex.org/W2747990130
- https://openalex.org/W2932020605
- https://openalex.org/W2971016842
- https://openalex.org/W2996480032
- https://openalex.org/W3014535943
- https://openalex.org/W3032387069
- https://openalex.org/W3092992705
- https://openalex.org/W3209694143
- https://openalex.org/W4200293663
- https://openalex.org/W4207070571
- https://openalex.org/W621403667