Published January 1, 2023 | Version v1
Publication Open

A Novel Machine Learning–Based Hand Gesture Recognition Using HCI on IoT Assisted Cloud Platform

Creators

  • 1. Ramakrishna Mission Vivekananda Educational and Research Institute
  • 2. Techno India Group (India)
  • 3. Sambalpur University
  • 4. Saveetha University
  • 5. Al Jouf University
  • 6. Taylor's University

Description

Machine learning is a technique for analyzing data that aids the construction of mathematical models.Because of the growth of the Internet of Things (IoT) and wearable sensor devices, gesture interfaces are becoming a more natural and expedient human-machine interaction method.This type of artificial intelligence that requires minimal or no direct human intervention in decision-making is predicated on the ability of intelligent systems to self-train and detect patterns.The rise of touch-free applications and the number of deaf people have increased the significance of hand gesture recognition.Potential applications of hand gesture recognition research span from online gaming to surgical robotics.The location of the hands, the alignment of the fingers, and the hand-to-body posture are the fundamental components of hierarchical emotions in gestures.Linguistic gestures may be difficult to distinguish from nonsensical motions in the field of gesture recognition.Linguistic gestures may be difficult to distinguish from nonsensical motions in the field of gesture recognition.In this scenario, it may be difficult to overcome segmentation uncertainty caused by accidental hand motions or trembling.When a user performs the same dynamic gesture, the hand shapes and speeds of each user, as well as those often generated by the same user, vary.A machine-learning-based Gesture Recognition Framework (ML-GRF) for recognizing the beginning and end of a gesture sequence in a continuous stream of data is suggested to solve the problem of distinguishing between meaningful dynamic gestures and scattered generation.We have recommended using a similarity matching-based gesture classification approach to reduce the overall computing cost associated with identifying actions, and we have shown how an efficient feature extraction method can be used to reduce the thousands of single gesture information to four binary digit gesture codes.The findings from the simulation support the accuracy, precision, gesture recognition, sensitivity, and efficiency rates.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

التعلم الآلي هو تقنية لتحليل البيانات التي تساعد على بناء النماذج الرياضية. بسبب نمو إنترنت الأشياء (IoT) وأجهزة الاستشعار القابلة للارتداء، أصبحت واجهات الإيماءات طريقة تفاعل أكثر طبيعية وملائمة بين الإنسان والآلة. يعتمد هذا النوع من الذكاء الاصطناعي الذي يتطلب الحد الأدنى من التدخل البشري المباشر أو عدمه في صنع القرار على قدرة الأنظمة الذكية على التدريب الذاتي واكتشاف الأنماط. زادت التطبيقات الخالية من اللمس وعدد الأشخاص الصم من أهمية التعرف على إيماءات اليد. تمتد التطبيقات المحتملة لأبحاث التعرف على إيماءات اليد من الألعاب عبر الإنترنت إلى الروبوتات الجراحية. موقع اليدين، ومحاذاة الأصابع، ووضع اليد إلى الجسم هي المكونات الأساسية للعواطف الهرمية في الإيماءات. قد يكون من الصعب التمييز بين الإيماءات اللغوية والحركات غير المنطقية في مجال التعرف على الإيماءات. قد يكون من الصعب التمييز بين الإيماءات اللغوية والحركات غير المنطقية في مجال التعرف على الإيماءات. في هذا السيناريو، قد يكون من الصعب التغلب على عدم اليقين في التجزئة الناجم عن حركات اليد العرضية أو الارتعاش. عندما يقوم المستخدم بإجراء تختلف نفس الإيماءة الديناميكية وأشكال وسرعات اليد لكل مستخدم، بالإضافة إلى تلك التي يتم إنشاؤها غالبًا بواسطة نفس المستخدم. ويقترح إطار التعرف على الإيماءات القائم على التعلم الآلي (ML - GRF) للتعرف على بداية ونهاية تسلسل الإيماءات في تدفق مستمر من البيانات لحل مشكلة التمييز بين الإيماءات الديناميكية ذات المغزى والتوليد المتناثر. لقد أوصينا باستخدام نهج تصنيف الإيماءات القائم على مطابقة التشابه لتقليل التكلفة الإجمالية للحوسبة المرتبطة بتحديد الإجراءات، وقد أظهرنا كيف يمكن استخدام طريقة فعالة لاستخراج الميزات لتقليل آلاف معلومات الإيماءات المفردة إلى أربعة رموز إيماءات ثنائية الأرقام. تدعم نتائج المحاكاة الدقة والدقة والتعرف على الإيماءات والحساسية ومعدلات الكفاءة.

Translated Description (French)

L'apprentissage automatique est une technique d'analyse des données qui facilite la construction de modèles mathématiques. En raison de la croissance de l'Internet des objets (IdO) et des dispositifs de capteurs portables, les interfaces gestuelles deviennent une méthode d'interaction homme-machine plus naturelle et plus rapide. Ce type d'intelligence artificielle qui nécessite une intervention humaine directe minimale ou nulle dans la prise de décision repose sur la capacité des systèmes intelligents à s'auto-entraîner et à détecter les modèles. Les applications sans contact et le nombre de personnes sourdes ont accru l'importance de la reconnaissance des gestes de la main. Les applications potentielles de la recherche sur la reconnaissance des gestes de la main vont des jeux en ligne à la robotique chirurgicale. L'emplacement des mains, l'alignement des doigts et la posture de la main au corps sont les composants fondamentaux des émotions hiérarchiques dans les gestes. Les gestes linguistiques peuvent être difficiles à distinguer des mouvements non-sens dans le domaine de la reconnaissance des gestes. Les gestes linguistiques peuvent être difficiles à distinguer des mouvements non-sens dans le domaine de la reconnaissance des gestes. Dans ce scénario, il peut être difficile de surmonter l'incertitude de segmentation causée par des mouvements accidentels de la main ou des tremblements. Lorsqu'un utilisateur effectue le même geste dynamique, les formes des mains et les vitesses de chaque utilisateur, ainsi que celles souvent générées par le même utilisateur, varient. Un cadre de reconnaissance des gestes basé sur l'apprentissage automatique (ML-GRF) pour reconnaître le début et la fin d'une séquence de gestes dans un flux continu de données est suggéré pour résoudre le problème de la distinction entre les gestes dynamiques significatifs et la génération dispersée. Nous avons recommandé d'utiliser une approche de classification des gestes basée sur la correspondance de similarité pour réduire le coût de calcul global associé à l'identification des actions, et nous avons montré comment une méthode d'extraction de caractéristiques efficace peut être utilisée pour réduire les milliers d'informations de gestes uniques à quatre codes de gestes binaires. Les résultats de la simulation soutiennent la précision, la précision, la reconnaissance des gestes, la sensibilité et les taux d'efficacité.

Translated Description (Spanish)

El aprendizaje automático es una técnica para analizar datos que ayuda a la construcción de modelos matemáticos. Debido al crecimiento del Internet de las cosas (IoT) y los dispositivos de sensores portátiles, las interfaces de gestos se están convirtiendo en un método de interacción hombre-máquina más natural y conveniente. Este tipo de inteligencia artificial que requiere una intervención humana mínima o nula en la toma de decisiones se basa en la capacidad de los sistemas inteligentes para autoentrenarse y detectar patrones. El aumento de Las aplicaciones sin contacto y el número de personas sordas han aumentado la importancia del reconocimiento de gestos con las manos. Las aplicaciones potenciales de la investigación del reconocimiento de gestos con las manos abarcan desde los juegos en línea hasta la robótica quirúrgica. La ubicación de las manos, la alineación de los dedos y la postura de la mano al cuerpo son los componentes fundamentales de las emociones jerárquicas en los gestos. Los gestos lingüísticos pueden ser difíciles de distinguir de los movimientos sin sentido en el campo del reconocimiento de gestos. Los gestos lingüísticos pueden ser difíciles de distinguir de los movimientos sin sentido en el campo del reconocimiento de gestos. En este escenario, puede ser difícil superar la incertidumbre de segmentación causada por movimientos accidentales de las manos o temblores. Cuando un usuario realiza el mismo gesto dinámico, las formas y velocidades de las manos de cada usuario, así como las que a menudo genera el mismo usuario, varían.Un marco de reconocimiento de gestos basado en el aprendizaje automático (ML-GRF) para reconocer el comienzo y el final de una secuencia de gestos en un flujo continuo de datos se sugiere para resolver el problema de distinguir entre gestos dinámicos significativos y generación dispersa. Hemos recomendado utilizar un enfoque de clasificación de gestos basado en coincidencias de similitudes para reducir el costo informático general asociado con la identificación de acciones, y hemos demostrado cómo se puede utilizar un método de extracción de características eficiente para reducir los miles de información de gestos individuales a cuatro códigos de gestos de dígitos binarios. Los hallazgos de la simulación respaldan la precisión, la precisión, el reconocimiento de gestos, la sensibilidad y las tasas de eficiencia.

Files

TSP_CSSE_34431.pdf.pdf

Files (2.0 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:d76c1c36802f5ce650037cba9ad9a054
2.0 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
التعرف على إيماءات اليد القائمة على التعلم الآلي باستخدام HCI على منصة السحابة المدعومة بإنترنت الأشياء
Translated title (French)
Une nouvelle reconnaissance des gestes de la main basée sur l'apprentissage automatique utilisant HCI sur une plate-forme cloud assistée par IoT
Translated title (Spanish)
Un nuevo reconocimiento de gestos manuales basado en el aprendizaje automático mediante HCI en una plataforma en la nube asistida por IoT

Identifiers

Other
https://openalex.org/W4319659910
DOI
10.32604/csse.2023.034431

Is supplement to
https://openalex.org/W4386769346 (Other)
https://openalex.org/W4322630570 (Other)
https://openalex.org/W4224291801 (Other)
https://openalex.org/W4205715613 (Other)
https://openalex.org/W2517104666 (Other)
https://openalex.org/W2381703107 (Other)
https://openalex.org/W2101900035 (Other)
https://openalex.org/W2005437358 (Other)
https://openalex.org/W1976418189 (Other)
https://openalex.org/W1669643531 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Malaysia

References

  • https://openalex.org/W1252865438
  • https://openalex.org/W2107525312
  • https://openalex.org/W2219948256
  • https://openalex.org/W2923491365
  • https://openalex.org/W3001314219
  • https://openalex.org/W3035788522
  • https://openalex.org/W3044285175
  • https://openalex.org/W3047433257
  • https://openalex.org/W3087439305
  • https://openalex.org/W3095414512
  • https://openalex.org/W3113023078
  • https://openalex.org/W3127511342
  • https://openalex.org/W3133758660
  • https://openalex.org/W3134889809
  • https://openalex.org/W3136057722
  • https://openalex.org/W3139420163
  • https://openalex.org/W3153700657
  • https://openalex.org/W3158174949
  • https://openalex.org/W3164356889
  • https://openalex.org/W3165466478
  • https://openalex.org/W3173996913
  • https://openalex.org/W3175304096
  • https://openalex.org/W3175671973
  • https://openalex.org/W3198302959
  • https://openalex.org/W3202671485
  • https://openalex.org/W3203865027
  • https://openalex.org/W3209714326
  • https://openalex.org/W4200422642
  • https://openalex.org/W4205371438
  • https://openalex.org/W4210691008
  • https://openalex.org/W4224215578