Published January 1, 2020
| Version v1
Publication
Open
Toward Visualization and Searching: A Dual-Purpose Video Coding Framework
- 1. Universidade Federal do Rio de Janeiro
- 2. Instituto Politécnico de Lisboa
- 3. Instituto de Telecomunicações
- 4. University of Lisbon
Description
To offer more powerful video-enabled applications, it is increasingly more critical not only to visualize the decoded video but also to provide efficient searching capabilities for similar content. Video surveillance and personal communication are critical application examples asking for these dual visualization and searching functionalities. However, the current video coding solutions are strongly biased towards visualization needs. In this context, this paper introduces a novel dual-purpose video coding framework targeting both visualization and searching needs by adopting a hybrid coding approach where the usual pixel-based coding approach is combined with an innovative feature-based coding approach. In a particular implementation of this dual-purpose video coding framework, some frames are coded using a set of keypoint matches, which not only allow decoding for visualization, but also provide the decoder valuable feature-related information, extracted at the encoder from the original frames, instrumental for efficient searching. Experimental results for video surveillance and personal communications scenarios show competitive performance regarding the state-of-the-art HEVC standard both in terms of visualization and searching performances.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
لتقديم تطبيقات أكثر قوة تدعم الفيديو، أصبح من المهم بشكل متزايد ليس فقط تصور الفيديو الذي تم فك تشفيره ولكن أيضًا لتوفير قدرات بحث فعالة لمحتوى مماثل. تعد المراقبة بالفيديو والتواصل الشخصي من الأمثلة الحاسمة على التطبيقات التي تطلب وظائف التصور والبحث المزدوجة هذه. ومع ذلك، فإن حلول ترميز الفيديو الحالية منحازة بشدة نحو احتياجات التصور. في هذا السياق، تقدم هذه الورقة إطارًا جديدًا لتشفير الفيديو ثنائي الغرض يستهدف كلاً من التصور واحتياجات البحث من خلال اعتماد نهج ترميز هجين حيث يتم دمج نهج الترميز المعتاد القائم على البكسل مع نهج ترميز مبتكر قائم على الميزات. في تنفيذ معين لإطار ترميز الفيديو ثنائي الغرض هذا، يتم ترميز بعض الإطارات باستخدام مجموعة من تطابقات نقاط المفاتيح، والتي لا تسمح فقط بفك الترميز للتصور، ولكنها توفر أيضًا معلومات ذات صلة بفك الترميز، مستخرجة في جهاز الترميز من الإطارات الأصلية، مفيدة للبحث الفعال. تُظهر النتائج التجريبية للمراقبة بالفيديو وسيناريوهات الاتصالات الشخصية أداءً تنافسيًا فيما يتعلق بمعيار HEVC المتطور من حيث التصور وأداء البحث.Translated Description (French)
Pour offrir des applications vidéo plus puissantes, il est de plus en plus essentiel non seulement de visualiser la vidéo décodée, mais également de fournir des capacités de recherche efficaces pour un contenu similaire. La vidéosurveillance et la communication personnelle sont des exemples d'applications critiques nécessitant ces deux fonctionnalités de visualisation et de recherche. Cependant, les solutions de codage vidéo actuelles sont fortement orientées vers les besoins de visualisation. Dans ce contexte, cet article présente un nouveau cadre de codage vidéo à double usage ciblant à la fois les besoins de visualisation et de recherche en adoptant une approche de codage hybride où l'approche de codage habituelle basée sur les pixels est combinée à une approche de codage innovante basée sur les fonctionnalités. Dans une mise en œuvre particulière de ce cadre de codage vidéo à double usage, certaines trames sont codées à l'aide d'un ensemble de correspondances de points clés, qui permettent non seulement le décodage pour la visualisation, mais fournissent également au décodeur des informations précieuses liées aux fonctionnalités, extraites au niveau de l'encodeur à partir des trames d'origine, instrumentales pour une recherche efficace. Les résultats expérimentaux pour les scénarios de vidéosurveillance et de communications personnelles montrent des performances compétitives par rapport à la norme HEVC de pointe à la fois en termes de performances de visualisation et de recherche.Translated Description (Spanish)
Para ofrecer aplicaciones habilitadas para vídeo más potentes, es cada vez más importante no solo visualizar el vídeo decodificado, sino también proporcionar capacidades de búsqueda eficientes para contenido similar. La videovigilancia y la comunicación personal son ejemplos críticos de aplicaciones que solicitan estas funcionalidades duales de visualización y búsqueda. Sin embargo, las soluciones actuales de codificación de vídeo están fuertemente sesgadas hacia las necesidades de visualización. En este contexto, este documento presenta un novedoso marco de codificación de vídeo de doble propósito dirigido tanto a las necesidades de visualización como a las de búsqueda mediante la adopción de un enfoque de codificación híbrido en el que el enfoque habitual de codificación basado en píxeles se combina con un enfoque innovador de codificación basado en características. En una implementación particular de este marco de codificación de video de doble propósito, algunos fotogramas se codifican utilizando un conjunto de coincidencias de puntos clave, que no solo permiten la decodificación para la visualización, sino que también proporcionan al decodificador información valiosa relacionada con características, extraída en el codificador de los fotogramas originales, instrumental para una búsqueda eficiente. Los resultados experimentales para escenarios de videovigilancia y comunicaciones personales muestran un rendimiento competitivo con respecto al estándar HEVC de última generación, tanto en términos de visualización como de rendimiento de búsqueda.Files
08960377.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:6441b61756cf05d561c6443577b5a883
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- نحو التصور والبحث: إطار ترميز فيديو ثنائي الغرض
- Translated title (French)
- Vers la visualisation et la recherche : un cadre de codage vidéo à double usage
- Translated title (Spanish)
- Hacia la visualización y la búsqueda: un marco de codificación de vídeo de doble propósito
Identifiers
- Other
- https://openalex.org/W2999445437
- DOI
- 10.1109/access.2020.2966692
References
- https://openalex.org/W1967993666
- https://openalex.org/W1969665649
- https://openalex.org/W1970766824
- https://openalex.org/W1976101156
- https://openalex.org/W1978409701
- https://openalex.org/W1980911747
- https://openalex.org/W1982420138
- https://openalex.org/W1986121825
- https://openalex.org/W1988281247
- https://openalex.org/W1998100978
- https://openalex.org/W2033140753
- https://openalex.org/W2052894923
- https://openalex.org/W2060658301
- https://openalex.org/W2067815157
- https://openalex.org/W2069277547
- https://openalex.org/W2069463273
- https://openalex.org/W2119605622
- https://openalex.org/W2146395539
- https://openalex.org/W2151103935
- https://openalex.org/W2152486668
- https://openalex.org/W2153504150
- https://openalex.org/W2169161136
- https://openalex.org/W2172073677
- https://openalex.org/W2186356322
- https://openalex.org/W2611177853
- https://openalex.org/W2611484362
- https://openalex.org/W2964065606
- https://openalex.org/W2997095758
- https://openalex.org/W2997487598
- https://openalex.org/W3102446417
- https://openalex.org/W4301621763
- https://openalex.org/W4379032859