Published November 21, 2023
| Version v1
Publication
Open
Reviving Cultural Heritage: Advancements in Pose Recognition and 3D Model Reconstruction for Indian Classical Dance Using AI and Augmented Reality Technologies
Description
Abstract This paper delves into the specialized domain of human action recognition, focusing on the Identification of Indian classical dance poses, specifically Bharatanatyam. Within the dance context, a "Karana" embodies a synchronized and harmonious movement encompassing body, hands, and feet, as defined by the Natyashastra. The essence of Karana lies in the amalgamation of nritta hasta (hand movements), sthaana (body postures), and chaari (leg movements). Although numerous, Natyashastra codifies 108 karanas, showcased in the intricate stone carvings adorning the Nataraj temples of Chidambaram, where Lord Shiva's association with these movements is depicted. Automating pose identification in Bharatanatyam poses challenges due to the vast array of variations, encompassing hand and body postures, mudras (hand gestures), facial expressions, and head gestures. To simplify this intricate task, this research employs image processing and automation techniques. The proposed methodology comprises four stages: acquisition and pre-processing of images involving skeletonization and Data Augmentation techniques, feature extraction from images, classification of dance poses using a deep learning network-based convolution neural network model (InceptionResNetV2), and visualization of 3D models through mesh creation from point clouds. The use of advanced technologies, such as the MediaPipe library for body key point detection and deep learning networks, streamlines the identification process. Data augmentation, a pivotal step, expands small datasets, enhancing the model's accuracy. The convolution neural network model showcased its effectiveness in accurately recognizing intricate dance movements, paving the way for streamlined analysis and interpretation. This innovative approach not only simplifies the identification of Bharatanatyam poses but also sets a precedent for enhancing accessibility and efficiency for practitioners and researchers in the Indian classical dance.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تتعمق هذه الورقة في المجال المتخصص للتعرف على العمل البشري، مع التركيز على تحديد أوضاع الرقص الكلاسيكي الهندي، وتحديدًا بهاراتاناتيام. في سياق الرقص، يجسد "كارانا" حركة متزامنة ومتناغمة تشمل الجسم واليدين والقدمين، كما هو محدد من قبل ناتياشاسترا. يكمن جوهر كارانا في دمج نريتا هاستا (حركات اليد)، و sthaana (أوضاع الجسم)، و chaari (حركات الساق). على الرغم من تعددها، إلا أن ناتياشاسترا تقنن 108 كارانا، معروضة في المنحوتات الحجرية المعقدة التي تزين معابد ناتاراج في تشيدامبارام، حيث يتم تصوير ارتباط اللورد شيفا بهذه الحركات. يشكل التعرف الآلي على الوضعيات في بهاراتاناتيام تحديات بسبب مجموعة واسعة من الاختلافات، بما في ذلك وضعيات اليد والجسم، والمودرا (إيماءات اليد)، وتعبيرات الوجه، وإيماءات الرأس. لتبسيط هذه المهمة المعقدة، يستخدم هذا البحث تقنيات معالجة الصور والأتمتة. تتألف المنهجية المقترحة من أربع مراحل: الحصول على الصور التي تنطوي على تقنيات الهيكلة وتعزيز البيانات ومعالجتها مسبقًا، واستخراج الميزات من الصور، وتصنيف أوضاع الرقص باستخدام نموذج الشبكة العصبية الالتفافية القائمة على شبكة التعلم العميق (InceptionResNetV2)، وتصور النماذج ثلاثية الأبعاد من خلال إنشاء شبكة من السحب النقطية. يؤدي استخدام التقنيات المتقدمة، مثل مكتبة MediaPipe للكشف عن نقاط الجسم الرئيسية وشبكات التعلم العميق، إلى تبسيط عملية تحديد الهوية. تعمل زيادة البيانات، وهي خطوة محورية، على توسيع مجموعات البيانات الصغيرة، مما يعزز دقة النموذج. أظهر نموذج الشبكة العصبية الملتوية فعاليته في التعرف بدقة على حركات الرقص المعقدة، مما يمهد الطريق للتحليل والتفسير المبسط. لا يبسط هذا النهج المبتكر تحديد أشكال بهاراتاناتيام فحسب، بل يضع أيضًا سابقة لتعزيز إمكانية الوصول والكفاءة للممارسين والباحثين في الرقص الكلاسيكي الهندي.Translated Description (French)
Résumé Cet article se penche sur le domaine spécialisé de la reconnaissance de l'action humaine, en se concentrant sur l'identification des poses de danse classique indienne, en particulier Bharatanatyam. Dans le contexte de la danse, un « Karana » incarne un mouvement synchronisé et harmonieux englobant le corps, les mains et les pieds, tel que défini par le Natyashastra. L'essence de Karana réside dans l'amalgame de nritta hasta (mouvements de la main), sthaana (postures corporelles) et chaari (mouvements des jambes). Bien que nombreux, Natyashastra codifie 108 karanas, mis en valeur dans les sculptures en pierre complexes ornant les temples Nataraj de Chidambaram, où l'association de Lord Shiva avec ces mouvements est représentée. L'automatisation de l'identification des poses dans Bharatanatyam pose des défis en raison de la vaste gamme de variations, englobant les postures de la main et du corps, les mudras (gestes de la main), les expressions faciales et les gestes de la tête. Pour simplifier cette tâche complexe, cette recherche utilise des techniques de traitement d'image et d'automatisation. La méthodologie proposée comprend quatre étapes : l'acquisition et le prétraitement d'images impliquant des techniques de squelettisation et d'augmentation des données, l'extraction de caractéristiques à partir d'images, la classification des poses de danse à l'aide d'un modèle de réseau neuronal à convolution basé sur un réseau d'apprentissage profond (InceptionResNetV2) et la visualisation de modèles 3D à travers la création de maillages à partir de nuages de points. L'utilisation de technologies avancées, telles que la bibliothèque MediaPipe pour la détection de points clés du corps et les réseaux d'apprentissage profond, rationalise le processus d'identification. L'augmentation des données, une étape cruciale, élargit les petits ensembles de données, améliorant ainsi la précision du modèle. Le modèle de réseau neuronal à convolution a montré son efficacité à reconnaître avec précision les mouvements de danse complexes, ouvrant la voie à une analyse et à une interprétation rationalisées. Cette approche innovante simplifie non seulement l'identification des poses de Bharatanatyam, mais crée également un précédent pour améliorer l'accessibilité et l'efficacité pour les praticiens et les chercheurs de la danse classique indienne.Translated Description (Spanish)
Resumen Este artículo profundiza en el dominio especializado del reconocimiento de la acción humana, centrándose en la identificación de las poses de la danza clásica india, específicamente Bharatanatyam. Dentro del contexto de la danza, un "Karana" encarna un movimiento sincronizado y armonioso que abarca el cuerpo, las manos y los pies, tal como lo define el Natyashastra. La esencia de Karana radica en la amalgama de nritta hasta (movimientos de las manos), sthaana (posturas corporales) y chaari (movimientos de las piernas). Aunque es numeroso, Natyashastra codifica 108 karanas, mostrados en las intrincadas tallas de piedra que adornan los templos Nataraj de Chidambaram, donde se representa la asociación del Señor Shiva con estos movimientos. La automatización de la identificación de posturas en Bharatanatyam plantea desafíos debido a la gran variedad de variaciones, que abarcan posturas de manos y cuerpos, mudras (gestos con las manos), expresiones faciales y gestos con la cabeza. Para simplificar esta intrincada tarea, esta investigación emplea técnicas de procesamiento y automatización de imágenes. La metodología propuesta comprende cuatro etapas: adquisición y preprocesamiento de imágenes que involucran técnicas de esqueletización y Aumento de Datos, extracción de características de imágenes, clasificación de poses de baile utilizando un modelo de red neuronal de convolución basado en redes de aprendizaje profundo (InceptionResNetV2) y visualización de modelos 3D a través de la creación de mallas a partir de nubes de puntos. El uso de tecnologías avanzadas, como la biblioteca MediaPipe para la detección de puntos clave del cuerpo y las redes de aprendizaje profundo, agiliza el proceso de identificación. El aumento de datos, un paso fundamental, expande pequeños conjuntos de datos, mejorando la precisión del modelo. El modelo de red neuronal de convolución mostró su efectividad para reconocer con precisión movimientos de danza intrincados, allanando el camino para un análisis e interpretación simplificados. Este enfoque innovador no solo simplifica la identificación de las posturas de Bharatanatyam, sino que también sienta un precedente para mejorar la accesibilidad y la eficiencia para los profesionales e investigadores de la danza clásica india.Files
latest.pdf.pdf
Files
(4.8 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:ebc4ae7c0bc0383a446a4f727531a4e3
|
4.8 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- إحياء التراث الثقافي: التقدم في التعرف على المواقع وإعادة بناء النماذج ثلاثية الأبعاد للرقص الكلاسيكي الهندي باستخدام تقنيات الذكاء الاصطناعي والواقع المعزز
- Translated title (French)
- Reviving Cultural Heritage : Advances in Pose Recognition and 3D Model Reconstruction for Indian Classical Dance Using AI and Augmented Reality Technologies
- Translated title (Spanish)
- Reviviendo el patrimonio cultural: avances en el reconocimiento de posturas y la reconstrucción de modelos 3D para la danza clásica india utilizando IA y tecnologías de realidad aumentada
Identifiers
- Other
- https://openalex.org/W4388860449
- DOI
- 10.21203/rs.3.rs-3522342/v1
References
- https://openalex.org/W2161776561
- https://openalex.org/W2163605009
- https://openalex.org/W2465433717
- https://openalex.org/W2620974525
- https://openalex.org/W2807567209
- https://openalex.org/W3000287917
- https://openalex.org/W3162184627
- https://openalex.org/W4285109943
- https://openalex.org/W4300939921
- https://openalex.org/W4313594102
- https://openalex.org/W4321373310
- https://openalex.org/W4327782962
- https://openalex.org/W4362565437
- https://openalex.org/W4385386594