Published August 1, 2022 | Version v1
Publication Metadata-only

Multispectral panoptic segmentation: Exploring the beach setting with worldview-3 imagery

Creators

  • 1. Universidade de Brasília

Description

Panoptic segmentation is a recent and powerful task that tackles individual object recognition ("things") and multiple backgrounds ("stuff") simultaneously. Remote sensing studies with panoptic segmentation are still restricted and recent, with great application perspectives. In this sense, we propose the first multispectral panoptic segmentation study, considering the "thing" and "stuff" classes in the beach scenario and evaluating different sets of spectral bands. Our methodology included developing a dataset with 3800 (3200 for training, 300 for validation, and 300 for testing) with 128 × 128 spatial dimensions and eight spectral bands considering fourteen classes (6 "thing" and 8 "stuff" classes). We used WorldView-3 images from Praia do Futuro, Fortaleza, and pan-sharpening to improve spatial resolution. Five different spectral band configurations were considered: (1) all eight bands, (2) RGB+NIR1+NIR2, (3) RGB+NIR1, (4) RGB+NIR2, and (5) only RGB. The model training used the Panoptic-FPN architecture with the same hyperparameter settings considering three backbones (ResNeXt-101, ResNet-101, and ResNet-50). The best result considered the ResNeXt-101 with all spectral bands. However, the results from the first four configurations were very similar, and the RGB alone was the only configuration with significantly lower results. We also evaluated 15 semantic segmentation models for a benchmark comparison for the Beach Dataset. We show in visual results that even though the semantic models may be precise, they fail at identifying unique targets, especially in crowded locations such as the beach. The panoptic segmentation allowed a necessary detailing and counting of tourist infrastructures and mapping of other background features, establishing an essential tool for inspecting beach areas.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

التجزئة الشاملة هي مهمة حديثة وقوية تعالج التعرف على الأشياء الفردية (" الأشياء ") والخلفيات المتعددة (" الأشياء ") في وقت واحد. لا تزال دراسات الاستشعار عن بعد ذات التجزئة الشاملة مقيدة وحديثة، مع وجهات نظر تطبيقية رائعة. وبهذا المعنى، نقترح أول دراسة تجزئة شاملة متعددة الأطياف، مع مراعاة فئات "الشيء" و "الأشياء" في سيناريو الشاطئ وتقييم مجموعات مختلفة من النطاقات الطيفية. تضمنت منهجيتنا تطوير مجموعة بيانات مع 3800 (3200 للتدريب، و 300 للتحقق من الصحة، و 300 للاختبار) بأبعاد مكانية 128 × 128 وثمانية نطاقات طيفية مع الأخذ في الاعتبار أربعة عشر فئة (6 "أشياء" و 8 "أشياء "). استخدمنا صور WorldView -3 من Praia do Futuro و Fortaleza و Pan - sharpening لتحسين الدقة المكانية. تم النظر في خمسة تكوينات مختلفة للنطاق الطيفي: (1) جميع النطاقات الثمانية، (2) RGB+ NIR1 +NIR2، (3) RGB+NIR1، (4) RGB+NIR2، و (5) RGB فقط. استخدم التدريب النموذجي بنية Panoptic - FPN مع نفس إعدادات المعلمات التشعبية مع الأخذ في الاعتبار ثلاث دعامات (ResNeXt -101 و ResNet -101 و ResNet -50). أفضل نتيجة تعتبر ResNeXt -101 مع جميع النطاقات الطيفية. ومع ذلك، كانت النتائج من التكوينات الأربعة الأولى متشابهة للغاية، وكان RGB وحده هو التكوين الوحيد الذي حقق نتائج أقل بكثير. قمنا أيضًا بتقييم 15 نموذجًا للتجزئة الدلالية لمقارنة معيارية لمجموعة بيانات الشاطئ. نظهر في النتائج المرئية أنه على الرغم من أن النماذج الدلالية قد تكون دقيقة، إلا أنها تفشل في تحديد أهداف فريدة، خاصة في المواقع المزدحمة مثل الشاطئ. سمح التقسيم الشامل بالتفاصيل الضرورية وحساب البنى التحتية السياحية ورسم خرائط لميزات الخلفية الأخرى، وإنشاء أداة أساسية لفحص المناطق الشاطئية.

Translated Description (French)

La segmentation panoptique est une tâche récente et puissante qui aborde simultanément la reconnaissance d'objets individuels (« choses ») et les arrière-plans multiples (« trucs »). Les études de télédétection avec segmentation panoptique sont encore restreintes et récentes, avec de grandes perspectives d'application. En ce sens, nous proposons la première étude de segmentation panoptique multispectrale, en considérant les classes « choses » et « trucs » dans le scénario de plage et en évaluant différents ensembles de bandes spectrales. Notre méthodologie comprenait le développement d'un ensemble de données avec 3800 (3200 pour la formation, 300 pour la validation et 300 pour les tests) avec 128 × 128 dimensions spatiales et huit bandes spectrales en considérant quatorze classes (6 classes de « choses » et 8 classes de « trucs »). Nous avons utilisé les images WorldView-3 de Praia do Futuro, Fortaleza et l'affûtage panoramique pour améliorer la résolution spatiale. Cinq configurations de bandes spectrales différentes ont été considérées : (1) les huit bandes, (2) RVB+ NIR1 + NIR2, (3) RVB+ NIR1, (4) RVB+ NIR2 et (5) uniquement RVB. La formation au modèle a utilisé l'architecture Panoptic-FPN avec les mêmes paramètres hyperparamétriques en considérant trois squelettes (ResNeXt-101, ResNet-101 et ResNet-50). Le meilleur résultat a été le ResNeXt-101 avec toutes les bandes spectrales. Cependant, les résultats des quatre premières configurations étaient très similaires, et le RVB seul était la seule configuration avec des résultats significativement plus faibles. Nous avons également évalué 15 modèles de segmentation sémantique pour une comparaison de référence pour l'ensemble de données de plage. Nous montrons dans les résultats visuels que même si les modèles sémantiques peuvent être précis, ils échouent à identifier des cibles uniques, en particulier dans des endroits surpeuplés tels que la plage. La segmentation panoptique a permis de détailler et de compter les infrastructures touristiques et de cartographier d'autres caractéristiques de fond, établissant ainsi un outil essentiel pour l'inspection des zones balnéaires.

Translated Description (Spanish)

La segmentación panóptica es una tarea reciente y poderosa que aborda el reconocimiento de objetos individuales ("cosas") y múltiples fondos ("cosas") simultáneamente. Los estudios de teledetección con segmentación panóptica siguen siendo restringidos y recientes, con grandes perspectivas de aplicación. En este sentido, proponemos el primer estudio de segmentación panóptica multiespectral, considerando las clases "thing" y "stuff" en el escenario playa y evaluando diferentes conjuntos de bandas espectrales. Nuestra metodología incluyó el desarrollo de un conjunto de datos con 3800 (3200 para capacitación, 300 para validación y 300 para pruebas) con dimensiones espaciales de 128 × 128 y ocho bandas espectrales considerando catorce clases (6 clases de "cosas" y 8 de "cosas"). Utilizamos imágenes de WorldView-3 de Praia do Futuro, Fortaleza y pan-sharpening para mejorar la resolución espacial. Se consideraron cinco configuraciones de banda espectral diferentes: (1) las ocho bandas, (2) RGB+NIR1+ NIR2, (3) RGB+NIR1, (4) RGB+ NIR2 y (5) solo RGB. El entrenamiento del modelo utilizó la arquitectura Panoptic-FPN con la misma configuración de hiperparámetros considerando tres estructuras principales (ResNeXt-101, ResNet-101 y ResNet-50). El mejor resultado considerado el ResNeXt-101 con todas las bandas espectrales. Sin embargo, los resultados de las primeras cuatro configuraciones fueron muy similares, y la RGB sola fue la única configuración con resultados significativamente más bajos. También evaluamos 15 modelos de segmentación semántica para una comparación de referencia para el conjunto de datos de la playa. Mostramos en los resultados visuales que a pesar de que los modelos semánticos pueden ser precisos, fallan en la identificación de objetivos únicos, especialmente en lugares concurridos como la playa. La segmentación panóptica permitió un necesario detalle y recuento de las infraestructuras turísticas y el mapeo de otras características de fondo, estableciendo una herramienta esencial para la inspección de las zonas de playa.

Additional details

Additional titles

Translated title (Arabic)
تجزئة بانوبتيك متعددة الأطياف: استكشاف بيئة الشاطئ مع صور النظرة العالمية 3
Translated title (French)
Segmentation panoptique multispectrale : Explorer le cadre de la plage avec l'imagerie worldview-3
Translated title (Spanish)
Segmentación panóptica multiespectral: explorando el entorno de la playa con imágenes de cosmovisión-3

Identifiers

Other
https://openalex.org/W4286206552
DOI
10.1016/j.jag.2022.102910

Is supplement to
https://openalex.org/W4212983513 (Other)
https://openalex.org/W2956043259 (Other)
https://openalex.org/W2898005000 (Other)
https://openalex.org/W2524507886 (Other)
https://openalex.org/W2517104666 (Other)
https://openalex.org/W2314488738 (Other)
https://openalex.org/W2283162247 (Other)
https://openalex.org/W2052518016 (Other)
https://openalex.org/W2005437358 (Other)
https://openalex.org/W1669643531 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Brazil

References

  • https://openalex.org/W2173732377
  • https://openalex.org/W2565639579
  • https://openalex.org/W2770233088
  • https://openalex.org/W2806070179
  • https://openalex.org/W2917575296
  • https://openalex.org/W2928165649
  • https://openalex.org/W2965182628
  • https://openalex.org/W3006025044
  • https://openalex.org/W3013211776
  • https://openalex.org/W3034355852
  • https://openalex.org/W3035549667
  • https://openalex.org/W3047032303
  • https://openalex.org/W3104282073
  • https://openalex.org/W3104370314
  • https://openalex.org/W3105054740
  • https://openalex.org/W3115190122
  • https://openalex.org/W3133929890
  • https://openalex.org/W3161350684
  • https://openalex.org/W3164301247
  • https://openalex.org/W3165258216
  • https://openalex.org/W3167733826
  • https://openalex.org/W3176027594
  • https://openalex.org/W3193781503
  • https://openalex.org/W3200089128
  • https://openalex.org/W3201406408
  • https://openalex.org/W3215280598
  • https://openalex.org/W4213229165
  • https://openalex.org/W4214922734
  • https://openalex.org/W4226485547
  • https://openalex.org/W4245551996
  • https://openalex.org/W4252959399
  • https://openalex.org/W4255556797
  • https://openalex.org/W4285169754