Published January 1, 2022
| Version v1
Publication
Open
Proposing Posture Recognition System Combining MobilenetV2 and LSTM for Medical Surveillance
- 1. Hanoi University of Science and Technology
Description
This paper proposes a posture recognition system that can be applied for medical surveillance. The proposed method estimates human posture using mobilenetV2 and long short-term memory (LSTM) to extract the important features of an image. The output of the system was a fully estimated skeleton. We used seven human indoor postures, including lying, sitting, crouching, standing, walking, fighting, and falling, and classified them. The output results are the extraction of the human skeleton and the corresponding labels for the poses. We first experiment with classification using machine learning. The system only achieves approximately 88% accuracy because it is not able to classify similar postures, such as standing and walking. This difference can be caused by the extraction of features for static images, and the machine learning classification algorithm has not reached accuracy with training data. Therefore, we proposed the integration of the LSTM model into the proposed system. LSTM learns the features of the skeleton and provides classification results for postures. As a result, our system improved the accuracy by up to 99%. Similar postures, such as standing and walking, have improved accuracy by up to 7%. In addition, we performed the system on the Jetson Nano hardware. The results show that it can run on a low-profile (44% CPU and 2.1 frames per second) that is capable of applications for remote patient monitoring devices.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تقترح هذه الورقة نظامًا للتعرف على الموقف يمكن تطبيقه على المراقبة الطبية. تقدر الطريقة المقترحة وضع الإنسان باستخدام mobileenetV2 والذاكرة طويلة المدى (LSTM) لاستخراج السمات المهمة للصورة. كان ناتج النظام عبارة عن هيكل عظمي مقدر بالكامل. استخدمنا سبعة أوضاع داخلية بشرية، بما في ذلك الاستلقاء والجلوس والجثم والوقوف والمشي والقتال والسقوط، وقمنا بتصنيفها. نتائج الإخراج هي استخراج الهيكل العظمي البشري والتسميات المقابلة للوضعيات. نختبر أولاً التصنيف باستخدام التعلم الآلي. يحقق النظام دقة بنسبة 88 ٪ تقريبًا فقط لأنه غير قادر على تصنيف المواقف المماثلة، مثل الوقوف والمشي. يمكن أن يكون هذا الاختلاف ناتجًا عن استخراج ميزات للصور الثابتة، ولم تصل خوارزمية تصنيف التعلم الآلي إلى الدقة مع بيانات التدريب. لذلك، اقترحنا دمج نموذج LSTM في النظام المقترح. يتعلم LSTM ملامح الهيكل العظمي ويوفر نتائج تصنيف المواقف. ونتيجة لذلك، حسّن نظامنا الدقة بنسبة تصل إلى 99 ٪. أدت المواقف المماثلة، مثل الوقوف والمشي، إلى تحسين الدقة بنسبة تصل إلى 7 ٪. بالإضافة إلى ذلك، أجرينا النظام على أجهزة Jetson Nano. تظهر النتائج أنه يمكن تشغيله على مستوى منخفض (44 ٪ وحدة معالجة مركزية و 2.1 إطار في الثانية) قادر على التطبيقات لأجهزة مراقبة المرضى عن بُعد.Translated Description (French)
Cet article propose un système de reconnaissance de posture qui peut être appliqué à la surveillance médicale. La méthode proposée estime la posture humaine en utilisant mobilenetV2 et la mémoire à long terme (LSTM) pour extraire les caractéristiques importantes d'une image. La sortie du système était un squelette entièrement estimé. Nous avons utilisé sept postures humaines à l'intérieur, y compris le fait de s'allonger, de s'asseoir, de s'accroupir, de se tenir debout, de marcher, de se battre et de tomber, et nous les avons classées. Les résultats de sortie sont l'extraction du squelette humain et les étiquettes correspondantes pour les poses. Nous expérimentons d'abord la classification à l'aide de l'apprentissage automatique. Le système n'atteint qu'une précision d'environ 88 % car il n'est pas en mesure de classer des postures similaires, telles que la position debout et la marche. Cette différence peut être causée par l'extraction de caractéristiques pour les images statiques, et l'algorithme de classification d'apprentissage automatique n'a pas atteint la précision avec les données d'entraînement. Par conséquent, nous avons proposé l'intégration du modèle LSTM dans le système proposé. LSTM apprend les caractéristiques du squelette et fournit des résultats de classification pour les postures. En conséquence, notre système a amélioré la précision jusqu'à 99 %. Des postures similaires, telles que la position debout et la marche, ont amélioré la précision jusqu'à 7 %. En outre, nous avons effectué le système sur le matériel Jetson Nano. Les résultats montrent qu'il peut fonctionner sur un profil bas (44% CPU et 2,1 images par seconde) qui est capable d'applications pour les dispositifs de surveillance des patients à distance.Translated Description (Spanish)
Este documento propone un sistema de reconocimiento de postura que se puede aplicar para la vigilancia médica. El método propuesto estima la postura humana utilizando mobilenetV2 y la memoria a largo plazo (LSTM) para extraer las características importantes de una imagen. La salida del sistema fue un esqueleto completamente estimado. Utilizamos siete posturas humanas en interiores, que incluían acostarse, sentarse, agacharse, pararse, caminar, pelear y caer, y las clasificamos. Los resultados de salida son la extracción del esqueleto humano y las etiquetas correspondientes para las poses. Primero experimentamos con la clasificación utilizando el aprendizaje automático. El sistema solo logra una precisión de aproximadamente el 88% porque no es capaz de clasificar posturas similares, como pararse y caminar. Esta diferencia puede deberse a la extracción de características para imágenes estáticas, y el algoritmo de clasificación de aprendizaje automático no ha alcanzado la precisión con los datos de entrenamiento. Por lo tanto, propusimos la integración del modelo LSTM en el sistema propuesto. LSTM aprende las características del esqueleto y proporciona resultados de clasificación para las posturas. Como resultado, nuestro sistema mejoró la precisión hasta en un 99%. Las posturas similares, como pararse y caminar, han mejorado la precisión hasta en un 7%. Además, realizamos el sistema en el hardware Jetson Nano. Los resultados muestran que puede ejecutarse en un perfil bajo (44% de CPU y 2.1 fotogramas por segundo) que es capaz de aplicaciones para dispositivos remotos de monitoreo de pacientes.Files
09663280.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:abf41439e009129f4625ca0021301681
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- اقتراح نظام التعرف على الموقف يجمع بين MobilenetV2 و LSTM للمراقبة الطبية
- Translated title (French)
- Proposition d'un système de reconnaissance de posture combinant MobilenetV2 et LSTM pour la surveillance médicale
- Translated title (Spanish)
- Proponer un sistema de reconocimiento de postura que combine MobilenetV2 y LSTM para la vigilancia médica
Identifiers
- Other
- https://openalex.org/W4206305785
- DOI
- 10.1109/access.2021.3138778
References
- https://openalex.org/W1498268535
- https://openalex.org/W2080873731
- https://openalex.org/W2113134263
- https://openalex.org/W2113325037
- https://openalex.org/W2121969814
- https://openalex.org/W2158604775
- https://openalex.org/W2162765833
- https://openalex.org/W2293634267
- https://openalex.org/W2335999708
- https://openalex.org/W2559085405
- https://openalex.org/W2794402674
- https://openalex.org/W2804194891
- https://openalex.org/W2806642325
- https://openalex.org/W2884256296
- https://openalex.org/W2891151898
- https://openalex.org/W2903711903
- https://openalex.org/W2909720716
- https://openalex.org/W2914828435
- https://openalex.org/W2918555348
- https://openalex.org/W2946450932
- https://openalex.org/W2962730651
- https://openalex.org/W2963163009
- https://openalex.org/W2963197583
- https://openalex.org/W2963781481
- https://openalex.org/W2964007934
- https://openalex.org/W2981397768
- https://openalex.org/W2998191925
- https://openalex.org/W3011839115
- https://openalex.org/W3134689613
- https://openalex.org/W3152403802
- https://openalex.org/W4297775537