Published November 21, 2017
| Version v1
Publication
Open
Exploiting textures for better action recognition in low-quality videos
Description
Human action recognition is an increasingly matured field of study in the recent years, owing to its widespread use in various applications. A number of related research problems, such as feature representations, human pose and body parts detection, and scene/object context, are being actively studied. However, the general problem of video quality—a realistic issue in the face of low-cost surveillance infrastructure and mobile devices, has not been systematically investigated from various aspects. In this paper, we address the problem of action recognition in low-quality videos from a myriad of perspectives: spatial and temporal downsampling, video compression, and the presence of motion blurring and compression artifacts. To increase the resilience of feature representation in these type of videos, we propose to use textural features to complement classical shape and motion features. Extensive results were carried out on low-quality versions of three publicly available datasets: KTH, UCF-YouTube, HMDB. Experimental results and analysis suggest that leveraging textural features can significantly improve action recognition performance under low video quality conditions.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يعد التعرف على العمل البشري مجالًا دراسيًا ناضجًا بشكل متزايد في السنوات الأخيرة، نظرًا لاستخدامه على نطاق واسع في مختلف التطبيقات. يتم دراسة عدد من المشاكل البحثية ذات الصلة، مثل تمثيلات السمات، والوضع البشري واكتشاف أجزاء الجسم، وسياق المشهد/الكائن، بنشاط. ومع ذلك، فإن المشكلة العامة لجودة الفيديو - وهي مشكلة واقعية في مواجهة البنية التحتية للمراقبة منخفضة التكلفة والأجهزة المحمولة، لم يتم التحقيق فيها بشكل منهجي من مختلف الجوانب. في هذه الورقة، نتناول مشكلة التعرف على الحركة في مقاطع الفيديو منخفضة الجودة من عدد لا يحصى من وجهات النظر: تقليل الحجم المكاني والزماني، وضغط الفيديو، ووجود أدوات غير واضحة للحركة والضغط. لزيادة مرونة تمثيل الميزات في هذا النوع من مقاطع الفيديو، نقترح استخدام الميزات النسيجية لتكملة ميزات الشكل والحركة الكلاسيكية. تم تنفيذ نتائج واسعة النطاق على إصدارات منخفضة الجودة من ثلاث مجموعات بيانات متاحة للجمهور: KTH و UCF - YouTube و HMDB. تشير النتائج التجريبية والتحليل إلى أن الاستفادة من الميزات النسيجية يمكن أن تحسن بشكل كبير أداء التعرف على العمل في ظل ظروف جودة الفيديو المنخفضة.Translated Description (French)
La reconnaissance de l'action humaine est un domaine d'étude de plus en plus mature ces dernières années, en raison de son utilisation généralisée dans diverses applications. Un certain nombre de problèmes de recherche connexes, tels que les représentations de caractéristiques, la détection de la pose humaine et des parties du corps, et le contexte scène/objet, sont activement étudiés. Cependant, le problème général de la qualité vidéo - un problème réaliste face aux infrastructures de surveillance et aux appareils mobiles à faible coût - n'a pas été systématiquement étudié sous divers aspects. Dans cet article, nous abordons le problème de la reconnaissance de l'action dans les vidéos de mauvaise qualité à partir d'une myriade de perspectives : sous-échantillonnage spatial et temporel, compression vidéo et présence d'artefacts de flou de mouvement et de compression. Pour augmenter la résilience de la représentation des caractéristiques dans ce type de vidéos, nous proposons d'utiliser des caractéristiques texturales pour compléter les caractéristiques classiques de forme et de mouvement. Des résultats approfondis ont été réalisés sur des versions de mauvaise qualité de trois ensembles de données accessibles au public : KTH, UCF-YouTube, HMDB. Les résultats expérimentaux et l'analyse suggèrent que l'exploitation des caractéristiques texturales peut améliorer considérablement les performances de reconnaissance des actions dans des conditions de faible qualité vidéo.Translated Description (Spanish)
El reconocimiento de la acción humana es un campo de estudio cada vez más maduro en los últimos años, debido a su uso generalizado en diversas aplicaciones. Se están estudiando activamente una serie de problemas de investigación relacionados, como las representaciones de características, la postura humana y la detección de partes del cuerpo, y el contexto de la escena/objeto. Sin embargo, el problema general de la calidad del video, un problema realista frente a la infraestructura de vigilancia de bajo costo y los dispositivos móviles, no se ha investigado sistemáticamente desde varios aspectos. En este artículo, abordamos el problema del reconocimiento de acciones en videos de baja calidad desde una miríada de perspectivas: muestreo descendente espacial y temporal, compresión de video y la presencia de difuminado de movimiento y artefactos de compresión. Para aumentar la resiliencia de la representación de características en este tipo de videos, proponemos utilizar características de textura para complementar las características clásicas de forma y movimiento. Se llevaron a cabo amplios resultados en versiones de baja calidad de tres conjuntos de datos disponibles públicamente: KTH, UCF-YouTube, HMDB. Los resultados y análisis experimentales sugieren que el aprovechamiento de las características de textura puede mejorar significativamente el rendimiento del reconocimiento de acciones en condiciones de baja calidad de vídeo.Files
s13640-017-0221-2.pdf
Files
(2.2 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:05fc9663aa4876bcd7e655e3bc9609dd
|
2.2 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- استغلال القوام لتحسين التعرف على الإجراءات في مقاطع الفيديو منخفضة الجودة
- Translated title (French)
- Exploiter les textures pour une meilleure reconnaissance des actions dans les vidéos de mauvaise qualité
- Translated title (Spanish)
- Aprovechamiento de texturas para un mejor reconocimiento de acciones en vídeos de baja calidad
Identifiers
- Other
- https://openalex.org/W2770930188
- DOI
- 10.1186/s13640-017-0221-2
References
- https://openalex.org/W1153594863
- https://openalex.org/W1170499633
- https://openalex.org/W1463620690
- https://openalex.org/W1492807824
- https://openalex.org/W1530517206
- https://openalex.org/W1534763723
- https://openalex.org/W1582347098
- https://openalex.org/W1607979445
- https://openalex.org/W1677409904
- https://openalex.org/W1755205674
- https://openalex.org/W1983705368
- https://openalex.org/W1993229407
- https://openalex.org/W1993737337
- https://openalex.org/W2004025832
- https://openalex.org/W2020163092
- https://openalex.org/W2024868105
- https://openalex.org/W2034899024
- https://openalex.org/W2045053268
- https://openalex.org/W2068611653
- https://openalex.org/W2085261163
- https://openalex.org/W2100916003
- https://openalex.org/W2105101328
- https://openalex.org/W2106996050
- https://openalex.org/W2107265320
- https://openalex.org/W2109235804
- https://openalex.org/W2109761267
- https://openalex.org/W2117188720
- https://openalex.org/W2119799051
- https://openalex.org/W2126574503
- https://openalex.org/W2126579184
- https://openalex.org/W2139916508
- https://openalex.org/W2140199336
- https://openalex.org/W2142194269
- https://openalex.org/W2163808566
- https://openalex.org/W2226414250
- https://openalex.org/W2294965852
- https://openalex.org/W2538361501
- https://openalex.org/W2592877040
- https://openalex.org/W4249279051