Published April 1, 2024
| Version v1
Publication
Open
A comprehensive benchmark for COVID-19 predictive modeling using electronic health records in intensive care
Creators
- 1. University of Edinburgh
- 2. Health Data Research UK
- 3. Peking University
- 4. Peking University People's Hospital
- 5. Peking University Third Hospital
Description
The COVID-19 pandemic highlighted the need for predictive deep-learning models in health care. However, practical prediction task design, fair comparison, and model selection for clinical applications remain a challenge. To address this, we introduce and evaluate two new prediction tasks-outcome-specific length-of-stay and early-mortality prediction for COVID-19 patients in intensive care-which better reflect clinical realities. We developed evaluation metrics, model adaptation designs, and open-source data preprocessing pipelines for these tasks while also evaluating 18 predictive models, including clinical scoring methods and traditional machine-learning, basic deep-learning, and advanced deep-learning models, tailored for electronic health record (EHR) data. Benchmarking results from two real-world COVID-19 EHR datasets are provided, and all results and trained models have been released on an online platform for use by clinicians and researchers. Our efforts contribute to the advancement of deep-learning and machine-learning research in pandemic predictive modeling.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
سلطت جائحة كوفيد-19 الضوء على الحاجة إلى نماذج تنبؤية للتعلم العميق في مجال الرعاية الصحية. ومع ذلك، لا يزال تصميم مهمة التنبؤ العملي والمقارنة العادلة واختيار النموذج للتطبيقات السريرية يمثل تحديًا. لمعالجة هذا، نقدم ونقيم مهمتين جديدتين للتنبؤ - مدة الإقامة المحددة للنتائج والتنبؤ المبكر بالوفيات لمرضى COVID -19 في العناية المركزة - والتي تعكس بشكل أفضل الحقائق السريرية. قمنا بتطوير مقاييس التقييم وتصميمات التكيف النموذجية وخطوط أنابيب المعالجة المسبقة للبيانات مفتوحة المصدر لهذه المهام مع تقييم 18 نموذجًا تنبؤيًا أيضًا، بما في ذلك طرق التسجيل السريرية والتعلم الآلي التقليدي والتعلم العميق الأساسي ونماذج التعلم العميق المتقدمة المصممة خصيصًا لبيانات السجلات الصحية الإلكترونية (EHR). يتم توفير نتائج المقارنات المعيارية من مجموعتي بيانات السجل الصحي الإلكتروني لكوفيد-19 في العالم الحقيقي، وتم إصدار جميع النتائج والنماذج المدربة على منصة عبر الإنترنت لاستخدامها من قبل الأطباء والباحثين. تساهم جهودنا في النهوض بأبحاث التعلم العميق والتعلم الآلي في النمذجة التنبؤية للوباء.Translated Description (French)
La pandémie de COVID-19 a mis en évidence la nécessité de modèles d'apprentissage profond prédictifs dans les soins de santé. Cependant, la conception pratique des tâches de prédiction, la comparaison équitable et la sélection des modèles pour les applications cliniques restent un défi. Pour y remédier, nous introduisons et évaluons deux nouvelles tâches de prédiction - la prédiction de la durée du séjour spécifique aux résultats et la prédiction de la mortalité précoce pour les patients atteints de COVID-19 en soins intensifs - qui reflètent mieux les réalités cliniques. Nous avons développé des métriques d'évaluation, des conceptions d'adaptation de modèles et des pipelines de prétraitement de données open source pour ces tâches tout en évaluant 18 modèles prédictifs, y compris des méthodes de notation clinique et des modèles traditionnels d'apprentissage automatique, d'apprentissage en profondeur de base et d'apprentissage en profondeur avancé, adaptés aux données du dossier de santé électronique (DSE). Les résultats de l'analyse comparative de deux ensembles de données réelles sur le COVID-19 sont fournis, et tous les résultats et modèles formés ont été publiés sur une plateforme en ligne à l'intention des cliniciens et des chercheurs. Nos efforts contribuent à l'avancement de la recherche en apprentissage profond et en apprentissage automatique dans la modélisation prédictive des pandémies.Translated Description (Spanish)
La pandemia de COVID-19 puso de relieve la necesidad de contar con modelos predictivos de aprendizaje profundo en la atención sanitaria. Sin embargo, el diseño práctico de tareas de predicción, la comparación justa y la selección de modelos para aplicaciones clínicas siguen siendo un desafío. Para abordar esto, presentamos y evaluamos dos nuevas tareas de predicción: la predicción de la duración de la estadía y la predicción de la mortalidad temprana específicas de los resultados para los pacientes con COVID-19 en cuidados intensivos, que reflejan mejor las realidades clínicas. Desarrollamos métricas de evaluación, diseños de adaptación de modelos y canales de preprocesamiento de datos de código abierto para estas tareas, al tiempo que evaluamos 18 modelos predictivos, incluidos los métodos de puntuación clínica y los modelos tradicionales de aprendizaje automático, aprendizaje profundo básico y aprendizaje profundo avanzado, diseñados para datos de registros electrónicos de salud (EHR). Se proporcionan los resultados de la evaluación comparativa de dos conjuntos de datos de HCE de COVID-19 del mundo real, y todos los resultados y modelos capacitados se han publicado en una plataforma en línea para su uso por parte de médicos e investigadores. Nuestros esfuerzos contribuyen al avance del aprendizaje profundo y la investigación de aprendizaje automático en el modelado predictivo de pandemias.Files
pdf.pdf
Files
(16.1 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:63cff443cb7dc92d3a10705674f306d0
|
16.1 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- معيار شامل للنمذجة التنبؤية لكوفيد-19 باستخدام السجلات الصحية الإلكترونية في العناية المركزة
- Translated title (French)
- Un point de référence complet pour la modélisation prédictive de la COVID-19 à l'aide de dossiers de santé électroniques en soins intensifs
- Translated title (Spanish)
- Un punto de referencia integral para el modelado predictivo de COVID-19 utilizando registros electrónicos de salud en cuidados intensivos
Identifiers
- Other
- https://openalex.org/W4392563976
- DOI
- 10.1016/j.patter.2024.100951
References
- https://openalex.org/W1498436455
- https://openalex.org/W1924770834
- https://openalex.org/W2064675550
- https://openalex.org/W2101936692
- https://openalex.org/W2396881363
- https://openalex.org/W2513134451
- https://openalex.org/W2592359670
- https://openalex.org/W2792764867
- https://openalex.org/W2806031239
- https://openalex.org/W2898227265
- https://openalex.org/W2914874661
- https://openalex.org/W2990848404
- https://openalex.org/W2995282027
- https://openalex.org/W2998409174
- https://openalex.org/W3014524604
- https://openalex.org/W3025394897
- https://openalex.org/W3034386159
- https://openalex.org/W3043174537
- https://openalex.org/W3046629770
- https://openalex.org/W3101973032
- https://openalex.org/W3132350734
- https://openalex.org/W3138634820
- https://openalex.org/W3177373898
- https://openalex.org/W3179372724
- https://openalex.org/W3182552299
- https://openalex.org/W3194997733
- https://openalex.org/W3217543721
- https://openalex.org/W4205156574
- https://openalex.org/W4205877975
- https://openalex.org/W4206355411
- https://openalex.org/W4210920485
- https://openalex.org/W4225834238
- https://openalex.org/W4246698901
- https://openalex.org/W4292343351
- https://openalex.org/W4313439128
- https://openalex.org/W4384499154
- https://openalex.org/W4393701808