Published March 6, 2024 | Version v1
Publication Open

Image Segmentation Models as a New Tool to Monitor Disease Risks in Changing Environments

Creators

  • 1. University of Glasgow
  • 2. Institut du Cerveau
  • 3. French National Centre for Scientific Research
  • 4. Assistance Publique – Hôpitaux de Paris
  • 5. Sorbonne Université
  • 6. Centre National de Recherche et de Formation sur le Paludisme
  • 7. Universidad Peruana Cayetano Heredia

Description

Abstract Background: In the near future, mosquito-borne diseases may expand in new sites due to changing temperatures and rainfall patterns caused by climate change. Therefore, there is a need to use recent technological advances to improve vector surveillance methodologies. UAVs (Unmanned Aerial Vehicles) have been used to collect high-resolution imagery (2-10cm/ pixel) to map detailed information on mosquito habitats and direct control measures to specific areas. Open-source foundation models such as the Meta AI Segment Anything Model (SAM) can facilitate the automation of the manual digitalization process. This model can assist in extracting the features of interest in images of the diverse domains. We evaluated the performance of the Samgeo package, based on SAM, since it has not been applied to analyse remote sensing data for epidemiological studies. Results: We tested the identification of two landcovers of interest: water bodies and human settlements. Different drone platforms acquired imagery across three malaria-endemic areas: Africa, South America, and Southeast Asia. The input was provided through manually located point prompts and text prompts associated with the classes of interest to guide the segmentation and compare the performance in the different geographic contexts. The results indicate that point prompts can significantly decrease the human effort required for annotations. Nevertheless, the performance of text prompts was closely dependent on each object's features and landscape characteristics, resulting in varying performance. Conclusions: Recent models such as SAM can potentially assist manual digitalization in vector control programs, quickly identifying key features when surveilling an area of interest. However, it still relies on the user manual prompts and corrections to obtain the gold standard segmentation and specific tests and evaluations if intended to be used in rural areas.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

نبذة مختصرة: في المستقبل القريب، قد تتوسع الأمراض التي ينقلها البعوض في مواقع جديدة بسبب تغير درجات الحرارة وأنماط هطول الأمطار الناجمة عن تغير المناخ. لذلك، هناك حاجة إلى استخدام التطورات التكنولوجية الحديثة لتحسين منهجيات مراقبة ناقلات الأمراض. تم استخدام الطائرات بدون طيار (UAVs) لجمع صور عالية الدقة (2-10 سم/ بكسل) لرسم خريطة معلومات مفصلة عن موائل البعوض وتدابير المكافحة المباشرة لمناطق محددة. يمكن لنماذج الأساس مفتوحة المصدر مثل نموذج Meta AI Segment Anything Model (SAM) تسهيل أتمتة عملية الرقمنة اليدوية. يمكن أن يساعد هذا النموذج في استخراج الميزات المثيرة للاهتمام في صور المجالات المتنوعة. قمنا بتقييم أداء حزمة سامجيو، بناءً على SAM، حيث لم يتم تطبيقها لتحليل بيانات الاستشعار عن بعد للدراسات الوبائية. النتائج: اختبرنا تحديد اثنين من الأراضي ذات الأهمية: المسطحات المائية والمستوطنات البشرية. حصلت منصات الطائرات بدون طيار المختلفة على صور عبر ثلاث مناطق موبوءة بالملاريا: أفريقيا وأمريكا الجنوبية وجنوب شرق آسيا. تم تقديم المدخلات من خلال المطالبات النقطية الموجودة يدويًا والمطالبات النصية المرتبطة بالفئات ذات الاهتمام لتوجيه التجزئة ومقارنة الأداء في السياقات الجغرافية المختلفة. تشير النتائج إلى أن المحفزات النقطية يمكن أن تقلل بشكل كبير من الجهد البشري المطلوب للتعليقات التوضيحية. ومع ذلك، كان أداء مطالبات النص يعتمد بشكل وثيق على ميزات كل كائن وخصائص أفقية، مما أدى إلى اختلاف الأداء. الاستنتاجات: يمكن أن تساعد النماذج الحديثة مثل SAM في الرقمنة اليدوية في برامج مكافحة ناقلات الأمراض، وتحديد الميزات الرئيسية بسرعة عند مراقبة مجال الاهتمام. ومع ذلك، لا يزال يعتمد على مطالبات وتصحيحات دليل المستخدم للحصول على تجزئة المعيار الذهبي والاختبارات والتقييمات المحددة إذا كان المقصود استخدامها في المناطق الريفية.

Translated Description (French)

Résumé Contexte : Dans un proche avenir, les maladies transmises par les moustiques pourraient s'étendre à de nouveaux sites en raison des changements de température et des régimes de précipitations causés par le changement climatique. Par conséquent, il est nécessaire d'utiliser les progrès technologiques récents pour améliorer les méthodologies de surveillance des vecteurs. Des drones (véhicules aériens sans pilote) ont été utilisés pour collecter des images à haute résolution (2-10 cm/ pixel) afin de cartographier des informations détaillées sur les habitats des moustiques et de diriger les mesures de contrôle vers des zones spécifiques. Les modèles de base open source tels que le modèle Meta AI Segment Anything (SAM) peuvent faciliter l'automatisation du processus de numérisation manuelle. Ce modèle peut aider à extraire les caractéristiques d'intérêt dans les images des divers domaines. Nous avons évalué les performances du package Samgeo, basé sur SAM, car il n'a pas été appliqué à l'analyse des données de télédétection pour les études épidémiologiques. Résultats : Nous avons testé l'identification de deux sites d'intérêt : les plans d'eau et les établissements humains. Différentes plateformes de drones ont acquis des images dans trois zones d'endémie palustre : l'Afrique, l'Amérique du Sud et l'Asie du Sud-Est. L'entrée a été fournie via des invites de point localisées manuellement et des invites de texte associées aux classes d'intérêt pour guider la segmentation et comparer les performances dans les différents contextes géographiques. Les résultats indiquent que les invites de point peuvent réduire considérablement l'effort humain requis pour les annotations. Néanmoins, les performances des invites de texte dépendaient étroitement des caractéristiques de chaque objet et des caractéristiques du paysage, ce qui entraînait des performances variables. Conclusions : Des modèles récents tels que SAM peuvent potentiellement aider à la numérisation manuelle dans les programmes de contrôle vectoriel, en identifiant rapidement les caractéristiques clés lors de la surveillance d'un domaine d'intérêt. Cependant, il s'appuie toujours sur les invites et les corrections du manuel d'utilisation pour obtenir la segmentation de référence et les tests et évaluations spécifiques s'ils sont destinés à être utilisés dans les zones rurales.

Translated Description (Spanish)

Resumen Antecedentes: En un futuro cercano, las enfermedades transmitidas por mosquitos pueden expandirse en nuevos sitios debido a los cambios en las temperaturas y los patrones de lluvia causados por el cambio climático. Por lo tanto, existe la necesidad de utilizar los avances tecnológicos recientes para mejorar las metodologías de vigilancia vectorial. Los UAV (vehículos aéreos no tripulados) se han utilizado para recopilar imágenes de alta resolución (2-10 cm/ píxel) para mapear información detallada sobre los hábitats de los mosquitos y dirigir las medidas de control a áreas específicas. Los modelos de base de código abierto, como el Meta AI Segment Anything Model (SAM), pueden facilitar la automatización del proceso de digitalización manual. Este modelo puede ayudar a extraer las características de interés en las imágenes de los diversos dominios. Evaluamos el rendimiento del paquete Samgeo, basado en SAM, ya que no se ha aplicado para analizar datos de teledetección para estudios epidemiológicos. Resultados: Probamos la identificación de dos cubiertas terrestres de interés: cuerpos de agua y asentamientos humanos. Diferentes plataformas de drones adquirieron imágenes en tres áreas endémicas de malaria: África, América del Sur y el sudeste asiático. La entrada se proporcionó a través de indicaciones puntuales localizadas manualmente e indicaciones de texto asociadas con las clases de interés para guiar la segmentación y comparar el rendimiento en los diferentes contextos geográficos. Los resultados indican que las indicaciones puntuales pueden disminuir significativamente el esfuerzo humano requerido para las anotaciones. Sin embargo, el rendimiento de las indicaciones de texto dependía en gran medida de las características de cada objeto y de las características del paisaje, lo que daba como resultado un rendimiento variable. Conclusiones: Modelos recientes como SAM pueden ayudar potencialmente a la digitalización manual en programas de control de vectores, identificando rápidamente las características clave al vigilar un área de interés. Sin embargo, todavía se basa en las indicaciones y correcciones del manual del usuario para obtener la segmentación estándar de oro y pruebas y evaluaciones específicas si está destinado a ser utilizado en zonas rurales.

Files

latest.pdf.pdf

Files (4.4 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:e38b4f1c36058692609dec59674f58eb
4.4 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
نماذج تجزئة الصور كأداة جديدة لمراقبة مخاطر الأمراض في البيئات المتغيرة
Translated title (French)
Les modèles de segmentation d'image en tant que nouvel outil pour surveiller les risques de maladie dans des environnements changeants
Translated title (Spanish)
Modelos de segmentación de imágenes como nueva herramienta para monitorear los riesgos de enfermedades en entornos cambiantes

Identifiers

Other
https://openalex.org/W4392503228
DOI
10.21203/rs.3.rs-4001346/v1

Is supplement to
https://openalex.org/W4389858081 (Other)
https://openalex.org/W4385583601 (Other)
https://openalex.org/W4379231730 (Other)
https://openalex.org/W4366343436 (Other)
https://openalex.org/W4324315429 (Other)
https://openalex.org/W4298131179 (Other)
https://openalex.org/W3204400600 (Other)
https://openalex.org/W2799953226 (Other)
https://openalex.org/W2501551404 (Other)
https://openalex.org/W2113201962 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Peru

References

  • https://openalex.org/W1992824619
  • https://openalex.org/W2055267538
  • https://openalex.org/W2121595359
  • https://openalex.org/W2122949508
  • https://openalex.org/W2579558620
  • https://openalex.org/W2909636071
  • https://openalex.org/W3136729388
  • https://openalex.org/W3164982201
  • https://openalex.org/W3195577433
  • https://openalex.org/W4210670171
  • https://openalex.org/W4220680175
  • https://openalex.org/W4224027459
  • https://openalex.org/W4289950948
  • https://openalex.org/W4290673830
  • https://openalex.org/W4362679702
  • https://openalex.org/W4375863885
  • https://openalex.org/W4378528668
  • https://openalex.org/W4385293687
  • https://openalex.org/W4386112480
  • https://openalex.org/W4386632015
  • https://openalex.org/W4387136419
  • https://openalex.org/W4388129777