Published June 12, 2023
| Version v1
Publication
Open
MemoriEase: An Interactive Lifelog Retrieval System for LSC'23
- 1. Dublin City University
- 2. Ho Chi Minh City University of Science
- 3. Vietnam National University Ho Chi Minh City
Description
Lifelogging is an activity of recording all events that happen in the daily life of an individual. The events can contain images, audio, health index, etc which are collected through various devices such as wearable cameras, smartwatches, and other digital services. Exploiting lifelog data can bring significant benefits for lifeloggers from creating personalized healthcare plans to retrieving events in the past. In recent years, there has been a growing development of interactive lifelog retrieval systems, such as competitors at the annual Lifelog Search Challenge (LSC), to assist lifeloggers in finding events from the past. This paper introduces an interactive lifelog image retrieval called MemoriEase for the LSC'23 challenge. This system combines concept-based and embedding-based retrieval approaches to answer accurate images for LSC'23 queries. This system uses BLIP for the embedding-based retrieval approach to reduce the semantic gap between images and text queries. The concept-based retrieval approach uses full-text search in Elasticsearch to retrieve images having visual concepts similar to keywords in the query. Regarding the user interface, we make it as simple as possible to make novices users can use it with only a small effort. This is the first version of MemoriEase and we expect this can help users perform well in the LSC'23 competition.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تسجيل الحياة هو نشاط لتسجيل جميع الأحداث التي تحدث في الحياة اليومية للفرد. يمكن أن تحتوي الفعاليات على صور وصوت ومؤشر صحي وما إلى ذلك يتم جمعها من خلال أجهزة مختلفة مثل الكاميرات القابلة للارتداء والساعات الذكية والخدمات الرقمية الأخرى. يمكن أن يؤدي استغلال بيانات سجل الحياة إلى تحقيق فوائد كبيرة لسجلات الحياة من إنشاء خطط رعاية صحية مخصصة لاسترداد الأحداث في الماضي. في السنوات الأخيرة، كان هناك تطور متزايد لأنظمة استرجاع سجل الحياة التفاعلية، مثل المنافسين في تحدي البحث السنوي لسجل الحياة (LSC)، لمساعدة مسجلي الحياة في العثور على أحداث من الماضي. تقدم هذه الورقة استرجاعًا تفاعليًا لصورة سجل الحياة يسمى MemoriEase لتحدي LSC'23. يجمع هذا النظام بين مناهج الاسترجاع القائمة على المفاهيم والقائمة على التضمين للإجابة على صور دقيقة لاستعلامات LSC'23. يستخدم هذا النظام BLIP لنهج الاسترجاع القائم على التضمين لتقليل الفجوة الدلالية بين الصور والاستعلامات النصية. يستخدم نهج الاسترجاع القائم على المفهوم البحث عن النص الكامل في Elasticsearch لاسترداد الصور التي تحتوي على مفاهيم مرئية مشابهة للكلمات الرئيسية في الاستعلام. فيما يتعلق بواجهة المستخدم، نجعلها بسيطة قدر الإمكان لجعل المستخدمين المبتدئين يمكنهم استخدامها بجهد صغير فقط. هذا هو الإصدار الأول من MemoriEase ونتوقع أن يساعد ذلك المستخدمين على الأداء الجيد في مسابقة LSC'23.Translated Description (French)
Le Lifelogging est une activité d'enregistrement de tous les événements qui se produisent dans la vie quotidienne d'un individu. Les événements peuvent contenir des images, de l'audio, un indice de santé, etc. qui sont collectés via divers appareils tels que des caméras portables, des montres intelligentes et d'autres services numériques. L'exploitation des données du journal de vie peut apporter des avantages importants aux lifeloggers, de la création de plans de soins de santé personnalisés à la récupération d'événements passés. Ces dernières années, il y a eu un développement croissant de systèmes interactifs de récupération de journaux de vie, tels que les concurrents du défi annuel Lifelog Search Challenge (LSC), pour aider les enregistreurs de vie à trouver des événements du passé. Cet article présente une récupération d'image de journal de vie interactive appelée MemoriEase pour le défi LSC'23. Ce système combine des approches de récupération basées sur le concept et sur l'intégration pour répondre à des images précises pour les requêtes LSC'23. Ce système utilise BLIP pour l'approche de récupération basée sur l'intégration afin de réduire l'écart sémantique entre les images et les requêtes de texte. L'approche de récupération basée sur les concepts utilise la recherche en texte intégral dans Elasticsearch pour récupérer des images ayant des concepts visuels similaires aux mots-clés de la requête. En ce qui concerne l'interface utilisateur, nous rendons aussi simple que possible de faire en sorte que les utilisateurs novices puissent l'utiliser avec seulement un petit effort. Il s'agit de la première version de MemoriEase et nous nous attendons à ce que cela puisse aider les utilisateurs à bien performer dans la compétition LSC'23.Translated Description (Spanish)
El registro de vida es una actividad de registro de todos los eventos que suceden en la vida diaria de un individuo. Los eventos pueden contener imágenes, audio, índice de salud, etc., que se recopilan a través de varios dispositivos, como cámaras portátiles, relojes inteligentes y otros servicios digitales. La explotación de los datos del registro de vida puede aportar beneficios significativos para los registradores de vida, desde la creación de planes de atención médica personalizados hasta la recuperación de eventos en el pasado. En los últimos años, ha habido un desarrollo creciente de sistemas interactivos de recuperación de registros de vida, como los competidores en el Lifelog Search Challenge (LSC) anual, para ayudar a los registradores de vida a encontrar eventos del pasado. Este documento presenta una recuperación interactiva de imágenes de registro de vida llamada MemoriEase para el desafío LSC'23. Este sistema combina enfoques de recuperación basados en conceptos e incrustaciones para responder imágenes precisas para las 23 consultas de LSC. Este sistema utiliza BLIP para el enfoque de recuperación basado en incrustaciones para reducir la brecha semántica entre las imágenes y las consultas de texto. El enfoque de recuperación basado en conceptos utiliza la búsqueda de texto completo en Elasticsearch para recuperar imágenes que tienen conceptos visuales similares a las palabras clave en la consulta. Con respecto a la interfaz de usuario, hacemos que sea lo más simple posible hacer que los usuarios novatos puedan usarla con solo un pequeño esfuerzo. Esta es la primera versión de MemoriEase y esperamos que esto pueda ayudar a los usuarios a tener un buen rendimiento en la competición LSC'23.Files
3592573.3593101.pdf
Files
(10.4 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:45fe23910691747d6d02ae0f6f6cfbbd
|
10.4 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- MemoriEase: نظام استرجاع سجل الحياة التفاعلي لـ LSC'23
- Translated title (French)
- MemoriEase : un système interactif de récupération de journal de vie pour LSC'23
- Translated title (Spanish)
- MemoriEase: un sistema interactivo de recuperación de registros de vida para LSC'23
Identifiers
- Other
- https://openalex.org/W4379179712
- DOI
- 10.1145/3592573.3593101
References
- https://openalex.org/W2060269880
- https://openalex.org/W2125195667
- https://openalex.org/W2418752396
- https://openalex.org/W2527936262
- https://openalex.org/W3033661344
- https://openalex.org/W3033781770
- https://openalex.org/W3034068260
- https://openalex.org/W3193870590
- https://openalex.org/W3194006528
- https://openalex.org/W3195138278
- https://openalex.org/W4252461303
- https://openalex.org/W4283361106
- https://openalex.org/W4283378943
- https://openalex.org/W4283381985
- https://openalex.org/W4283387254
- https://openalex.org/W4283394582
- https://openalex.org/W4283397791
- https://openalex.org/W4283399237
- https://openalex.org/W4283399829
- https://openalex.org/W4379806361