Published May 31, 2024 | Version v1
Publication Metadata-only

Recognition of sports and daily activities through deep learning and convolutional block attention

Creators

  • 1. University of Phayao
  • 2. King Mongkut's University of Technology North Bangkok
  • 3. Mahidol University

Description

Portable devices like accelerometers and physiological trackers capture movement and biometric data relevant to sports. This study uses data from wearable sensors to investigate deep learning techniques for recognizing human behaviors associated with sports and fitness. The proposed CNN-BiGRU-CBAM model, a unique hybrid architecture, combines convolutional neural networks (CNNs), bidirectional gated recurrent unit networks (BiGRUs), and convolutional block attention modules (CBAMs) for accurate activity recognition. CNN layers extract spatial patterns, BiGRU captures temporal context, and CBAM focuses on informative BiGRU features, enabling precise activity pattern identification. The novelty lies in seamlessly integrating these components to learn spatial and temporal relationships, prioritizing significant features for activity detection. The model and baseline deep learning models were trained on the UCI-DSA dataset, evaluating with 5-fold cross-validation, including multi-class classification accuracy, precision, recall, and F1-score. The CNN-BiGRU-CBAM model outperformed baseline models like CNN, LSTM, BiLSTM, GRU, and BiGRU, achieving state-of-the-art results with 99.10% accuracy and F1-score across all activity classes. This breakthrough enables accurate identification of sports and everyday activities using simplified wearables and advanced deep learning techniques, facilitating athlete monitoring, technique feedback, and injury risk detection. The proposed model's design and thorough evaluation significantly advance human activity recognition for sports and fitness.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

تلتقط الأجهزة المحمولة مثل مقاييس التسارع وأجهزة التتبع الفسيولوجية بيانات الحركة والبيانات البيومترية ذات الصلة بالرياضة. تستخدم هذه الدراسة بيانات من أجهزة استشعار يمكن ارتداؤها للتحقيق في تقنيات التعلم العميق للتعرف على السلوكيات البشرية المرتبطة بالرياضة واللياقة البدنية. يجمع نموذج CNN - BiGRU - CBAM المقترح، وهو بنية هجينة فريدة، بين الشبكات العصبية التلافيفية (CNNs) وشبكات الوحدات المتكررة ذات البوابات ثنائية الاتجاه (BiGRUs) ووحدات الانتباه اللولبي (CBAMs) للتعرف الدقيق على النشاط. تستخرج طبقات CNN الأنماط المكانية، وتلتقط BiGRU السياق الزمني، وتركز CBAM على ميزات BiGRU المفيدة، مما يتيح تحديد نمط النشاط بدقة. تكمن الحداثة في دمج هذه المكونات بسلاسة لتعلم العلاقات المكانية والزمانية، مع إعطاء الأولوية للميزات المهمة للكشف عن النشاط. تم تدريب النموذج ونماذج التعلم العميق الأساسية على مجموعة بيانات UCI - DSA، وتقييمها من خلال التحقق المتقاطع من 5 أضعاف، بما في ذلك دقة التصنيف متعدد الفئات والدقة والتذكر ودرجة F1. تفوق نموذج CNN - BiGRU - CBAM على النماذج الأساسية مثل CNN و LSTM و BiLSTM و GRU و BiGRU، محققاً أحدث النتائج بدقة 99.10 ٪ ودرجة F1 في جميع فئات النشاط. يتيح هذا الاختراق تحديدًا دقيقًا للرياضة والأنشطة اليومية باستخدام الأجهزة القابلة للارتداء المبسطة وتقنيات التعلم العميق المتقدمة، مما يسهل مراقبة الرياضيين، وردود الفعل التقنية، واكتشاف مخاطر الإصابة. يعزز تصميم النموذج المقترح وتقييمه الشامل بشكل كبير التعرف على النشاط البشري للرياضة واللياقة البدنية.

Translated Description (French)

Les appareils portables tels que les accéléromètres et les trackers physiologiques capturent les mouvements et les données biométriques pertinentes pour le sport. Cette étude utilise les données de capteurs portables pour étudier les techniques d'apprentissage en profondeur permettant de reconnaître les comportements humains associés au sport et à la forme physique. Le modèle CNN-BiGRU-CBAM proposé, une architecture hybride unique, combine des réseaux neuronaux convolutionnels (CNN), des réseaux d'unités récurrentes bidirectionnelles à portes (BiGRU) et des modules d'attention par blocs convolutionnels (CBAM) pour une reconnaissance précise de l'activité. Les couches CNN extraient les modèles spatiaux, BiGRU capture le contexte temporel et le MACF se concentre sur les fonctionnalités BiGRU informatives, permettant une identification précise des modèles d'activité. La nouveauté réside dans l'intégration transparente de ces composants pour apprendre les relations spatiales et temporelles, en donnant la priorité aux caractéristiques importantes pour la détection d'activité. Le modèle et les modèles d'apprentissage profond de base ont été formés sur l'ensemble de données UCI-DSA, en évaluant avec une validation croisée de 5 fois, y compris la précision de la classification multi-classe, la précision, le rappel et le score F1. Le modèle CNN-BiGRU-CBAM a surpassé les modèles de référence tels que CNN, LSTM, BiLSTM, GRU et BiGRU, obtenant des résultats de pointe avec une précision de 99,10 % et un score F1 dans toutes les classes d'activité. Cette percée permet une identification précise des sports et des activités quotidiennes à l'aide de dispositifs portables simplifiés et de techniques avancées d'apprentissage en profondeur, facilitant la surveillance des athlètes, la rétroaction technique et la détection des risques de blessures. La conception et l'évaluation approfondie du modèle proposé font progresser considérablement la reconnaissance de l'activité humaine pour le sport et la forme physique.

Translated Description (Spanish)

Dispositivos portátiles como acelerómetros y rastreadores fisiológicos capturan datos biométricos y de movimiento relevantes para los deportes. Este estudio utiliza datos de sensores portátiles para investigar técnicas de aprendizaje profundo para reconocer los comportamientos humanos asociados con los deportes y el estado físico. El modelo CNN-BiGRU-CBAM propuesto, una arquitectura híbrida única, combina redes neuronales convolucionales (CNN), redes de unidades recurrentes bidireccionales (BiGRU) y módulos de atención de bloques convolucionales (CBAM) para un reconocimiento preciso de la actividad. Las capas de CNN extraen patrones espaciales, BiGRU captura el contexto temporal y CBAM se centra en las características informativas de BiGRU, lo que permite una identificación precisa del patrón de actividad. La novedad radica en integrar a la perfección estos componentes para aprender las relaciones espaciales y temporales, priorizando las características significativas para la detección de actividades. El modelo y los modelos de aprendizaje profundo de referencia se entrenaron en el conjunto de datos UCI-DSA, evaluando con validación cruzada de 5 veces, incluida la precisión de clasificación de múltiples clases, la precisión, el recuerdo y la puntuación F1. El modelo CNN-BiGRU-CBAM superó a los modelos de referencia como CNN, LSTM, BiLSTM, Gru y BiGRU, logrando resultados de vanguardia con un 99,10% de precisión y una puntuación F1 en todas las clases de actividades. Este avance permite una identificación precisa de los deportes y las actividades cotidianas utilizando dispositivos portátiles simplificados y técnicas avanzadas de aprendizaje profundo, lo que facilita el monitoreo de los atletas, la retroalimentación de la técnica y la detección de riesgos de lesiones. El diseño y la evaluación exhaustiva del modelo propuesto avanzan significativamente en el reconocimiento de la actividad humana para los deportes y el acondicionamiento físico.

Additional details

Additional titles

Translated title (Arabic)
التعرف على الرياضة والأنشطة اليومية من خلال التعلم العميق والاهتمام بالكتلة الالتفافية
Translated title (French)
La reconnaissance des sports et des activités quotidiennes grâce à l'apprentissage en profondeur et à la convolution bloque l'attention
Translated title (Spanish)
Reconocimiento del deporte y las actividades diarias a través del aprendizaje profundo y la atención convolucional en bloque

Identifiers

Other
https://openalex.org/W4399241319
DOI
10.7717/peerj-cs.2100

Is supplement to
https://openalex.org/W4312417841 (Other)
https://openalex.org/W4226493464 (Other)
https://openalex.org/W3193565141 (Other)
https://openalex.org/W3167935049 (Other)
https://openalex.org/W3133861977 (Other)
https://openalex.org/W3105278570 (Other)
https://openalex.org/W3103566983 (Other)
https://openalex.org/W3029198973 (Other)
https://openalex.org/W2951211570 (Other)
https://openalex.org/W2117913171 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Thailand

References

  • https://openalex.org/W1986553199
  • https://openalex.org/W1996020380
  • https://openalex.org/W2097117768
  • https://openalex.org/W2118293052
  • https://openalex.org/W2121381553
  • https://openalex.org/W2140944144
  • https://openalex.org/W2144348409
  • https://openalex.org/W2146199357
  • https://openalex.org/W2296311849
  • https://openalex.org/W2535337563
  • https://openalex.org/W2549139847
  • https://openalex.org/W2598391117
  • https://openalex.org/W2776671647
  • https://openalex.org/W2811146364
  • https://openalex.org/W2884585870
  • https://openalex.org/W2898646434
  • https://openalex.org/W2913860539
  • https://openalex.org/W2945927915
  • https://openalex.org/W2964318557
  • https://openalex.org/W3036546791
  • https://openalex.org/W3058709557
  • https://openalex.org/W3199652432
  • https://openalex.org/W3205812661
  • https://openalex.org/W3210766530
  • https://openalex.org/W4200051340
  • https://openalex.org/W4220769291
  • https://openalex.org/W4220822076
  • https://openalex.org/W4285079306
  • https://openalex.org/W4286435462
  • https://openalex.org/W4295768101
  • https://openalex.org/W4297575387
  • https://openalex.org/W4306874801
  • https://openalex.org/W4311004828
  • https://openalex.org/W4378528421
  • https://openalex.org/W4379232464
  • https://openalex.org/W4382134816
  • https://openalex.org/W4387267867
  • https://openalex.org/W4388230444
  • https://openalex.org/W4391767130