Published January 1, 2024
| Version v1
Publication
Open
3D Graph Convolutional Feature Selection and Dense Pre-estimation for Skeleton Action Recognition
- 1. Jiangsu Vocational Institute of Commerce
- 2. Dalian Neusoft University of Information
- 3. University of Economics Ho Chi Minh City
Description
Action recognition plays an important role in promoting various applications in healthcare and smart education. However, unclear target actions, similar actions, and occluded characters may be encountered in some special scenarios. To solve the issues, a 3D Graph Convolutional Feature Selection and Dense Pre-estimation for Skeleton Action Recognition (3D-GSD) method is proposed to analyze and recognize the motion trajectory of the human skeleton. First, 3DSKNet is designed to adaptively learn and select important features in the skeleton sequence to identify skeleton parts of different importance more accurately according to the size of the input image resolution. It will help to better focus on key skeletal parts, improving the accuracy and robustness of bone recognition. Then, the DensePose algorithm is used to detect the complex key points of the human body posture and optimize the accuracy and interpretability of action recognition for different key points, key channels, and key-frames of the action. The proposed method achieves the best performance on the NTU RGB+D 60, NTU RGB+D 120 datasets, and Kinetics SKeletion 400 datasets, with an improvement of 0.02% 0.06%, and 0.1% in accuracy compared to the state-of-the-art methods.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يلعب التعرف على العمل دورًا مهمًا في تعزيز التطبيقات المختلفة في الرعاية الصحية والتعليم الذكي. ومع ذلك، قد تتم مواجهة إجراءات مستهدفة غير واضحة وإجراءات مماثلة وشخصيات مسدودة في بعض السيناريوهات الخاصة. لحل المشكلات، يُقترح اختيار ميزة التفافية للرسم البياني ثلاثي الأبعاد وتقدير مسبق كثيف للتعرف على عمل الهيكل العظمي (3D - GSD) لتحليل مسار حركة الهيكل العظمي البشري والتعرف عليه. أولاً، تم تصميم 3DSKNet للتعلم التكيفي واختيار الميزات المهمة في تسلسل الهيكل العظمي لتحديد أجزاء الهيكل العظمي ذات الأهمية المختلفة بدقة أكبر وفقًا لحجم دقة صورة الإدخال. سيساعد على التركيز بشكل أفضل على الأجزاء الهيكلية الرئيسية، وتحسين دقة ومتانة التعرف على العظام. بعد ذلك، يتم استخدام خوارزمية DensePose للكشف عن النقاط الرئيسية المعقدة لوضع جسم الإنسان وتحسين دقة وقابلية تفسير التعرف على العمل لمختلف النقاط الرئيسية والقنوات الرئيسية والإطارات الرئيسية للعمل. تحقق الطريقة المقترحة أفضل أداء على مجموعات بيانات NTU RGB+D 60 و NTU RGB+D 120 و Kinetics SKeletion 400، مع تحسين بنسبة 0.02 ٪ 0.06 ٪، و 0.1 ٪ في الدقة مقارنة بالطرق الحديثة.Translated Description (French)
La reconnaissance des actions joue un rôle important dans la promotion de diverses applications dans les soins de santé et l'éducation intelligente. Cependant, des actions cibles peu claires, des actions similaires et des personnages occlus peuvent être rencontrés dans certains scénarios spéciaux. Pour résoudre les problèmes, une méthode 3D-GSD (3D Graph Convolutional Feature Selection and Dense Pre-estimation for Skeleton Action Recognition) est proposée pour analyser et reconnaître la trajectoire de mouvement du squelette humain. Tout d'abord, 3DSKNet est conçu pour apprendre et sélectionner de manière adaptative les caractéristiques importantes de la séquence squelettique afin d'identifier plus précisément les parties squelettiques d'importance différente en fonction de la taille de la résolution de l'image d'entrée. Cela aidera à mieux se concentrer sur les parties squelettiques clés, améliorant la précision et la robustesse de la reconnaissance osseuse. Ensuite, l'algorithme DensePose est utilisé pour détecter les points clés complexes de la posture du corps humain et optimiser la précision et l'interprétabilité de la reconnaissance de l'action pour différents points clés, canaux clés et images clés de l'action. La méthode proposée atteint les meilleures performances sur les ensembles de données NTU RGB+D 60, NTU RGB+D 120 et Kinetics SKeletion 400, avec une amélioration de 0,02 % 0,06 % et 0,1 % de précision par rapport aux méthodes de pointe.Translated Description (Spanish)
El reconocimiento de la acción juega un papel importante en la promoción de diversas aplicaciones en la atención médica y la educación inteligente. Sin embargo, en algunos escenarios especiales se pueden encontrar acciones objetivo poco claras, acciones similares y caracteres ocluidos. Para resolver los problemas, se propone un método 3D Graph Convolutional Feature Selection and Dense Pre-estimation for Skeleton Action Recognition (3D-GSD) para analizar y reconocer la trayectoria de movimiento del esqueleto humano. En primer lugar, 3DSKNet está diseñado para aprender de forma adaptativa y seleccionar características importantes en la secuencia del esqueleto para identificar las partes del esqueleto de diferente importancia con mayor precisión de acuerdo con el tamaño de la resolución de la imagen de entrada. Ayudará a centrarse mejor en las partes esqueléticas clave, mejorando la precisión y la robustez del reconocimiento óseo. Luego, el algoritmo DensePose se utiliza para detectar los puntos clave complejos de la postura del cuerpo humano y optimizar la precisión y la capacidad de interpretación del reconocimiento de acciones para diferentes puntos clave, canales clave y fotogramas clave de la acción. El método propuesto logra el mejor rendimiento en los conjuntos de datos NTU RGB+D 60, NTU RGB+D 120 y Kinetics SKeletion 400, con una mejora de 0.02% 0.06% y 0.1% en precisión en comparación con los métodos más avanzados.Files
10398170.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:32e130736be5c24fe55ff438ae146325
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- اختيار ميزة تلافيف الرسم البياني ثلاثي الأبعاد والتقدير المسبق الكثيف للتعرف على عمل الهيكل العظمي
- Translated title (French)
- Sélection de caractéristiques de convolution de graphique 3D et pré-estimation dense pour la reconnaissance de l'action du squelette
- Translated title (Spanish)
- Selección de características convolucionales de gráficos 3D y estimación previa densa para el reconocimiento de acciones del esqueleto
Identifiers
- Other
- https://openalex.org/W4390825255
- DOI
- 10.1109/access.2024.3353622
References
- https://openalex.org/W1522734439
- https://openalex.org/W1600744878
- https://openalex.org/W1993229407
- https://openalex.org/W2100916003
- https://openalex.org/W2105101328
- https://openalex.org/W2113325037
- https://openalex.org/W2126574503
- https://openalex.org/W2342505190
- https://openalex.org/W2479662915
- https://openalex.org/W2510185399
- https://openalex.org/W2587279613
- https://openalex.org/W2716916105
- https://openalex.org/W2736334449
- https://openalex.org/W2751841288
- https://openalex.org/W2770446450
- https://openalex.org/W2781789557
- https://openalex.org/W2793547936
- https://openalex.org/W2799211965
- https://openalex.org/W2922509574
- https://openalex.org/W2940457086
- https://openalex.org/W2948246283
- https://openalex.org/W2963076818
- https://openalex.org/W2963150697
- https://openalex.org/W2963369114
- https://openalex.org/W2963402313
- https://openalex.org/W2963465695
- https://openalex.org/W2963598138
- https://openalex.org/W2963820951
- https://openalex.org/W2963876278
- https://openalex.org/W2964164368
- https://openalex.org/W2964347220
- https://openalex.org/W2966210862
- https://openalex.org/W2971866817
- https://openalex.org/W3034552520
- https://openalex.org/W3034999503
- https://openalex.org/W3035225512
- https://openalex.org/W3092336341
- https://openalex.org/W3171870913
- https://openalex.org/W3173811519
- https://openalex.org/W3174836262
- https://openalex.org/W4221049076
- https://openalex.org/W4229596683
- https://openalex.org/W4281867533
- https://openalex.org/W4285102172
- https://openalex.org/W4285167917
- https://openalex.org/W4285600783
- https://openalex.org/W4308497268
- https://openalex.org/W4376126900
- https://openalex.org/W4381515083
- https://openalex.org/W4390873402