Published November 19, 2021 | Version v1
Publication Metadata-only

Syntactic model-based human body 3D reconstruction and event classification via association based features mining and deep learning

Creators

  • 1. Al Ain University of Science and Technology
  • 2. Air University
  • 3. King Faisal University
  • 4. Hanyang University

Description

The study of human posture analysis and gait event detection from various types of inputs is a key contribution to the human life log. With the help of this research and technologies humans can save costs in terms of time and utility resources. In this paper we present a robust approach to human posture analysis and gait event detection from complex video-based data. For this, initially posture information, landmark information are extracted, and human 2D skeleton mesh are extracted, using this information set we reconstruct the human 2D to 3D model. Contextual features, namely, degrees of freedom over detected body parts, joint angle information, periodic and non-periodic motion, and human motion direction flow, are extracted. For features mining, we applied the rule-based features mining technique and, for gait event detection and classification, the deep learning-based CNN technique is applied over the mpii-video pose, the COCO, and the pose track datasets. For the mpii-video pose dataset, we achieved a human landmark detection mean accuracy of 87.09% and a gait event recognition mean accuracy of 90.90%. For the COCO dataset, we achieved a human landmark detection mean accuracy of 87.36% and a gait event recognition mean accuracy of 89.09%. For the pose track dataset, we achieved a human landmark detection mean accuracy of 87.72% and a gait event recognition mean accuracy of 88.18%. The proposed system performance shows a significant improvement compared to existing state-of-the-art frameworks.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

تعد دراسة تحليل وضع الإنسان واكتشاف حدث المشي من أنواع مختلفة من المدخلات مساهمة رئيسية في سجل حياة الإنسان. بمساعدة هذا البحث والتقنيات، يمكن للبشر توفير التكاليف من حيث الوقت وموارد المرافق. في هذه الورقة، نقدم نهجًا قويًا لتحليل الوضع البشري واكتشاف حدث المشي من البيانات المعقدة المستندة إلى الفيديو. لهذا، في البداية، يتم استخراج معلومات الوضع، ومعلومات المعالم، ويتم استخراج شبكة الهيكل العظمي البشري ثنائي الأبعاد، وباستخدام مجموعة المعلومات هذه، نعيد بناء النموذج البشري ثنائي الأبعاد إلى ثلاثي الأبعاد. يتم استخراج السمات السياقية، وهي درجات الحرية على أجزاء الجسم المكتشفة، ومعلومات زاوية المفصل، والحركة الدورية وغير الدورية، وتدفق اتجاه الحركة البشرية. بالنسبة لتعدين الميزات، طبقنا تقنية تعدين الميزات القائمة على القواعد، وبالنسبة للكشف عن أحداث المشي وتصنيفها، يتم تطبيق تقنية CNN القائمة على التعلم العميق على وضع mpii - video و COCO ومجموعات بيانات مسار الوضع. بالنسبة لمجموعة بيانات وضع mpii - video، حققنا متوسط دقة للكشف عن المعالم البشرية بنسبة 87.09 ٪ والتعرف على حدث المشي يعني دقة بنسبة 90.90 ٪. بالنسبة لمجموعة بيانات COCO، حققنا اكتشافًا تاريخيًا بشريًا يعني دقة بنسبة 87.36 ٪ والتعرف على حدث المشي يعني دقة بنسبة 89.09 ٪. بالنسبة لمجموعة بيانات مسار الوضعيات، حققنا متوسط دقة للكشف عن المعالم البشرية بنسبة 87.72 ٪ والتعرف على حدث المشي يعني دقة بنسبة 88.18 ٪. يُظهر أداء النظام المقترح تحسنًا كبيرًا مقارنة بأطر العمل الحديثة الحالية.

Translated Description (French)

L'étude de l'analyse de la posture humaine et de la détection des événements de marche à partir de divers types d'intrants est une contribution clé au journal de la vie humaine. Avec l'aide de cette recherche et de ces technologies, les humains peuvent économiser des coûts en termes de temps et de ressources utilitaires. Dans cet article, nous présentons une approche robuste de l'analyse de la posture humaine et de la détection des événements de démarche à partir de données vidéo complexes. Pour cela, des informations de posture initiales, des informations de repère sont extraites et un maillage de squelette humain 2D est extrait, à l'aide de cet ensemble d'informations, nous reconstruisons le modèle humain 2D à 3D. Les caractéristiques contextuelles, à savoir les degrés de liberté sur les parties du corps détectées, les informations d'angle d'articulation, les mouvements périodiques et non périodiques et le flux de direction du mouvement humain, sont extraites. Pour l'exploration de caractéristiques, nous avons appliqué la technique d'exploration de caractéristiques basée sur des règles et, pour la détection et la classification des événements de marche, la technique CNN basée sur l'apprentissage profond est appliquée sur la pose mpii-vidéo, le COCO et les ensembles de données de suivi de pose. Pour l'ensemble de données de pose mpii-vidéo, nous avons atteint une précision moyenne de détection de repère humain de 87,09 % et une précision moyenne de reconnaissance d'événement de marche de 90,90 %. Pour l'ensemble de données COCO, nous avons atteint une précision moyenne de détection de repère humain de 87,36 % et une précision moyenne de reconnaissance d'événement de marche de 89,09 %. Pour l'ensemble de données de suivi de pose, nous avons atteint une précision moyenne de détection de repère humain de 87,72 % et une précision moyenne de reconnaissance d'événement de marche de 88,18 %. Les performances proposées du système montrent une amélioration significative par rapport aux cadres de pointe existants.

Translated Description (Spanish)

El estudio del análisis de la postura humana y la detección de eventos de la marcha a partir de varios tipos de entradas es una contribución clave al registro de la vida humana. Con la ayuda de esta investigación y tecnologías, los humanos pueden ahorrar costos en términos de tiempo y recursos de servicios públicos. En este artículo presentamos un enfoque sólido para el análisis de la postura humana y la detección de eventos de la marcha a partir de datos complejos basados en video. Para ello, inicialmente se extrae información de postura, información de puntos de referencia y se extrae malla de esqueleto humano 2D, utilizando este conjunto de información reconstruimos el modelo humano 2D a 3D. Se extraen las características contextuales, a saber, los grados de libertad sobre las partes del cuerpo detectadas, la información del ángulo articular, el movimiento periódico y no periódico y el flujo de la dirección del movimiento humano. Para la minería de características, aplicamos la técnica de minería de características basada en reglas y, para la detección y clasificación de eventos de marcha, la técnica CNN basada en el aprendizaje profundo se aplica sobre los conjuntos de datos mpii-video pose, COCO y pose track. Para el conjunto de datos de mpii-video pose, logramos una precisión media de detección de puntos de referencia humanos del 87.09% y una precisión media de reconocimiento de eventos de marcha del 90.90%. Para el conjunto de datos de COCO, logramos una precisión media de detección de puntos de referencia humanos del 87,36% y una precisión media de reconocimiento de eventos de marcha del 89,09%. Para el conjunto de datos de seguimiento de posturas, logramos una precisión media de detección de puntos de referencia humanos del 87,72% y una precisión media de reconocimiento de eventos de marcha del 88,18%. El rendimiento del sistema propuesto muestra una mejora significativa en comparación con los marcos de trabajo de última generación existentes.

Additional details

Additional titles

Translated title (Arabic)
إعادة البناء ثلاثي الأبعاد لجسم الإنسان القائم على النموذج النحوي وتصنيف الأحداث عبر الميزات القائمة على الارتباط والتعدين والتعلم العميق
Translated title (French)
Reconstruction 3D du corps humain basée sur un modèle syntaxique et classification des événements via des fonctionnalités d'association minières et d'apprentissage en profondeur
Translated title (Spanish)
Reconstrucción 3D del cuerpo humano basada en modelos sintácticos y clasificación de eventos a través de la minería de características basada en asociaciones y el aprendizaje profundo

Identifiers

Other
https://openalex.org/W3217668285
DOI
10.7717/peerj-cs.764

Is supplement to
https://openalex.org/W4226236273 (Other)
https://openalex.org/W2790560349 (Other)
https://openalex.org/W2493973380 (Other)
https://openalex.org/W2471060339 (Other)
https://openalex.org/W2394835211 (Other)
https://openalex.org/W2148547327 (Other)
https://openalex.org/W2133973503 (Other)
https://openalex.org/W2130975749 (Other)
https://openalex.org/W2125892956 (Other)
https://openalex.org/W2111603423 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Pakistan

References

  • https://openalex.org/W1483393862
  • https://openalex.org/W1948369226
  • https://openalex.org/W1967320926
  • https://openalex.org/W1981577403
  • https://openalex.org/W1982985764
  • https://openalex.org/W2050282683
  • https://openalex.org/W2116264069
  • https://openalex.org/W2121956191
  • https://openalex.org/W2175012183
  • https://openalex.org/W2405454077
  • https://openalex.org/W2559085405
  • https://openalex.org/W2569064097
  • https://openalex.org/W2803023819
  • https://openalex.org/W2806490840
  • https://openalex.org/W2889508143
  • https://openalex.org/W2905378458
  • https://openalex.org/W2914340986
  • https://openalex.org/W2947930228
  • https://openalex.org/W2964094092
  • https://openalex.org/W2980620290
  • https://openalex.org/W2999723590
  • https://openalex.org/W3001163539
  • https://openalex.org/W3005313259
  • https://openalex.org/W3005927085
  • https://openalex.org/W3011208089
  • https://openalex.org/W3011934803
  • https://openalex.org/W3013964275
  • https://openalex.org/W3020589396
  • https://openalex.org/W3034733084
  • https://openalex.org/W3035480680
  • https://openalex.org/W3041107669
  • https://openalex.org/W3044071265
  • https://openalex.org/W3081509497
  • https://openalex.org/W3108642393
  • https://openalex.org/W3121874414
  • https://openalex.org/W3134305571
  • https://openalex.org/W3153753207
  • https://openalex.org/W3156292869