Published January 1, 2022 | Version v1
Publication Open

ECG-Based Driver's Stress Detection Using Deep Transfer Learning and Fuzzy Logic Approaches

  • 1. University of Peshawar
  • 2. Iqra National University
  • 3. University of Malakand
  • 4. Northern University
  • 5. Seoul National University
  • 6. Tecnológico de Monterrey

Description

Driver's stress detection is a critical research area that helps reduce the likelihood of traffic accidents and driver's health complexities due to prolonged stress. Previous work in this area is heavily based on traditional machine learning models that classify the driver's stress levels using handcrafted features extraction techniques. Extracting the best features using these approaches is always a challenging task. Recently, deep learning techniques have emerged for constructing reliable features automatically and classifying the classes with high accuracy. However, large deep learning models face gradient exploding or vanishing problems. Moreover, acquiring a large dataset for training an entire network from scratch is also a challenging task. This paper is based on the deep transfer learning technique to avoid these problems and to reduce computational cost and time. Seven models are proposed for real-world driver's stress levels detection using Electrocardiogram (ECG) signals. Different Convolutional Neural Network (CNN)-based pre-trained networks are used to classify the driver's three stress levels. The time-frequency ECG components for the three stress levels are obtained as scalogram images using a normalized Continuous Wavelet Transform (CWT) filter bank and Morse wavelet. Results show that Model 5 based on Xception outperforms the GoogLeNet, DarkNet-53, ResNet-101, InceptionResNetV2, DenseNet-201, and InceptionV3 based models by 11.32%, 11.32%, 9.45%, 7.54%, 5.66%, and 1.88% respectively and achieves 98.11% overall validation accuracy. Ranking estimation using fuzzy logic approach shows that Xception based Model 5 achieves the highest rank for driver's high and medium stress levels, while DenseNet-201 based Model 4 achieves the highest rank for low-stress level detection among the other models.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

يعد اكتشاف إجهاد السائق مجالًا بحثيًا بالغ الأهمية يساعد في تقليل احتمالية وقوع حوادث مرورية والتعقيدات الصحية للسائق بسبب الإجهاد المطول. يعتمد العمل السابق في هذا المجال بشكل كبير على نماذج التعلم الآلي التقليدية التي تصنف مستويات إجهاد السائق باستخدام تقنيات استخراج الميزات اليدوية. يعد استخراج أفضل الميزات باستخدام هذه الأساليب مهمة صعبة دائمًا. في الآونة الأخيرة، ظهرت تقنيات التعلم العميق لبناء ميزات موثوقة تلقائيًا وتصنيف الفصول بدقة عالية. ومع ذلك، تواجه نماذج التعلم العميق الكبيرة مشاكل انفجار التدرج أو التلاشي. علاوة على ذلك، يعد الحصول على مجموعة بيانات كبيرة لتدريب شبكة بأكملها من الصفر مهمة صعبة أيضًا. تعتمد هذه الورقة على تقنية تعلم النقل العميق لتجنب هذه المشكلات وتقليل التكلفة والوقت الحسابيين. تم اقتراح سبعة نماذج للكشف عن مستويات الإجهاد لدى السائق في العالم الحقيقي باستخدام إشارات مخطط كهربية القلب (ECG). يتم استخدام شبكات عصبية التفافية مختلفة (CNN) مدربة مسبقًا لتصنيف مستويات الإجهاد الثلاثة للسائق. يتم الحصول على مكونات مخطط كهربية القلب للتردد الزمني لمستويات الإجهاد الثلاثة كصور مقياس باستخدام بنك مرشح تحويل الموجات المستمر (CWT) وموجة مورس. تظهر النتائج أن النموذج 5 القائم على Xception يتفوق على GoogLeNet و DarkNet -53 و ResNet -101 و InceptionResNetV2 و DenseNet -201 و InceptionV3 بنسبة 11.32 ٪ و 11.32 ٪ و 9.45 ٪ و 7.54 ٪ و 5.66 ٪ و 1.88 ٪ على التوالي ويحقق دقة التحقق الإجمالية بنسبة 98.11 ٪. يُظهر تقدير الترتيب باستخدام نهج المنطق الغامض أن النموذج 5 القائم على Xception يحقق أعلى مرتبة لمستويات الإجهاد العالية والمتوسطة للسائق، بينما يحقق النموذج 4 القائم على DenseNet -201 أعلى مرتبة للكشف عن مستوى الإجهاد المنخفض بين النماذج الأخرى.

Translated Description (French)

La détection du stress du conducteur est un domaine de recherche essentiel qui aide à réduire la probabilité d'accidents de la route et les complications pour la santé du conducteur dues à un stress prolongé. Les travaux antérieurs dans ce domaine sont largement basés sur des modèles d'apprentissage automatique traditionnels qui classent les niveaux de stress du conducteur à l'aide de techniques d'extraction de caractéristiques artisanales. Extraire les meilleures caractéristiques en utilisant ces approches est toujours une tâche difficile. Récemment, des techniques d'apprentissage en profondeur ont vu le jour pour construire automatiquement des fonctionnalités fiables et classer les classes avec une grande précision. Cependant, les grands modèles d'apprentissage profond sont confrontés à des problèmes d'explosion ou de disparition de gradient. De plus, l'acquisition d'un grand ensemble de données pour la formation de tout un réseau à partir de zéro est également une tâche difficile. Cet article est basé sur la technique d'apprentissage par transfert profond pour éviter ces problèmes et réduire les coûts et le temps de calcul. Sept modèles sont proposés pour la détection des niveaux de stress du conducteur dans le monde réel à l'aide de signaux d'électrocardiogramme (ECG). Différents réseaux pré-entraînés basés sur le réseau neuronal convolutif (CNN) sont utilisés pour classer les trois niveaux de stress du conducteur. Les composantes ECG temps-fréquence pour les trois niveaux de contrainte sont obtenues sous forme d'images de scalogramme à l'aide d'un banc de filtres CWT (Continuous Wavelet Transform) normalisé et d'une ondelette Morse. Les résultats montrent que le modèle 5 basé sur Xception surpasse les modèles basés sur GoogLeNet, DarkNet-53, ResNet-101, InceptionResNetV2, DenseNet-201 et InceptionV3 de 11,32 %, 11,32 %, 9,45 %, 7,54 %, 5,66 % et 1,88 % respectivement et atteint une précision de validation globale de 98,11 %. L'estimation du classement à l'aide d'une approche de logique floue montre que le modèle 5 basé sur Xception atteint le rang le plus élevé pour les niveaux de stress élevé et moyen du conducteur, tandis que le modèle 4 basé sur DenseNet-201 atteint le rang le plus élevé pour la détection de faible niveau de stress parmi les autres modèles.

Translated Description (Spanish)

La detección del estrés del conductor es un área de investigación crítica que ayuda a reducir la probabilidad de accidentes de tráfico y las complejidades de la salud del conductor debido al estrés prolongado. El trabajo previo en esta área se basa en gran medida en modelos tradicionales de aprendizaje automático que clasifican los niveles de estrés del conductor utilizando técnicas de extracción de características hechas a mano. Obtener las mejores funciones utilizando estos enfoques siempre es una tarea difícil. Recientemente, han surgido técnicas de aprendizaje profundo para construir características confiables automáticamente y clasificar las clases con alta precisión. Sin embargo, los grandes modelos de aprendizaje profundo se enfrentan a problemas de explosión o desaparición de gradientes. Además, adquirir un gran conjunto de datos para entrenar a toda una red desde cero también es una tarea desafiante. Este trabajo se basa en la técnica de aprendizaje por transferencia profunda para evitar estos problemas y reducir el coste y el tiempo computacional. Se proponen siete modelos para la detección de los niveles de estrés del conductor en el mundo real utilizando señales de electrocardiograma (ECG). Se utilizan diferentes redes pre-entrenadas basadas en redes neuronales convolucionales (CNN) para clasificar los tres niveles de estrés del conductor. Los componentes de ECG de tiempo-frecuencia para los tres niveles de estrés se obtienen como imágenes de escalograma utilizando un banco de filtros de Transformada de Onda Continua (CWT) normalizada y una ondícula Morse. Los resultados muestran que el Modelo 5 basado en Xception supera a los modelos basados en GoogLeNet, DarkNet-53, ResNet-101, InceptionResNetV2, DenseNet-201 e InceptionV3 en un 11.32%, 11.32%, 9.45%, 7.54%, 5.66% y 1.88% respectivamente y logra una precisión de validación general del 98.11%. La estimación de la clasificación utilizando el enfoque de lógica difusa muestra que el Modelo 5 basado en Xception logra el rango más alto para los niveles de estrés altos y medios del conductor, mientras que el Modelo 4 basado en DenseNet-201 logra el rango más alto para la detección de bajo nivel de estrés entre los otros modelos.

Files

09732965.pdf.pdf

Files (245 Bytes)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:f4a8415d4accc7542356da54480c6ee7
245 Bytes
Preview Download

Additional details

Additional titles

Translated title (Arabic)
اكتشاف إجهاد السائق القائم على مخطط كهربية القلب باستخدام تعلم النقل العميق والنهج المنطقية الضبابية
Translated title (French)
Détection du stress du conducteur basée sur l'ECG à l'aide d'approches d'apprentissage par transfert profond et de logique floue
Translated title (Spanish)
Detección de estrés del conductor basada en ECG utilizando aprendizaje de transferencia profunda y enfoques de lógica difusa

Identifiers

Other
https://openalex.org/W4225857785
DOI
10.1109/access.2022.3158658

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Mexico

References

  • https://openalex.org/W1518252434
  • https://openalex.org/W1850325679
  • https://openalex.org/W1883664232
  • https://openalex.org/W1932847118
  • https://openalex.org/W1966714388
  • https://openalex.org/W1980845268
  • https://openalex.org/W2025823698
  • https://openalex.org/W2043756605
  • https://openalex.org/W2062686887
  • https://openalex.org/W2069842088
  • https://openalex.org/W2095310269
  • https://openalex.org/W2114154671
  • https://openalex.org/W2117253607
  • https://openalex.org/W2126418372
  • https://openalex.org/W2162561366
  • https://openalex.org/W2171801645
  • https://openalex.org/W2183341477
  • https://openalex.org/W2194775991
  • https://openalex.org/W2212765426
  • https://openalex.org/W2253429366
  • https://openalex.org/W2259660946
  • https://openalex.org/W2414309931
  • https://openalex.org/W2531409750
  • https://openalex.org/W2533823693
  • https://openalex.org/W2548996103
  • https://openalex.org/W2559870345
  • https://openalex.org/W2593216954
  • https://openalex.org/W2599893746
  • https://openalex.org/W2621205740
  • https://openalex.org/W2622826443
  • https://openalex.org/W2746562333
  • https://openalex.org/W2762323924
  • https://openalex.org/W2763666240
  • https://openalex.org/W2768866948
  • https://openalex.org/W2774445955
  • https://openalex.org/W2809037575
  • https://openalex.org/W2898242330
  • https://openalex.org/W2919115771
  • https://openalex.org/W2934625602
  • https://openalex.org/W2937732310
  • https://openalex.org/W2945277023
  • https://openalex.org/W2953913529
  • https://openalex.org/W2954948187
  • https://openalex.org/W2963446712
  • https://openalex.org/W2964350391
  • https://openalex.org/W2996665814
  • https://openalex.org/W2998299723
  • https://openalex.org/W3013348605
  • https://openalex.org/W3017298754
  • https://openalex.org/W3040524288
  • https://openalex.org/W3046106756
  • https://openalex.org/W3094453699
  • https://openalex.org/W3129010986
  • https://openalex.org/W3145728983
  • https://openalex.org/W3154610942
  • https://openalex.org/W3159179477
  • https://openalex.org/W3167159514
  • https://openalex.org/W4205947740
  • https://openalex.org/W4235421565
  • https://openalex.org/W4293584584