Published April 27, 2024 | Version v1
Publication Metadata-only

An improved semantic segmentation algorithm for high-resolution remote sensing images based on DeepLabv3+

Creators

  • 1. Henan University
  • 2. Ministry of Education of the People's Republic of China

Description

Abstract High-precision and high-efficiency Semantic segmentation of high-resolution remote sensing images is a challenge. Existing models typically require a significant amount of training data to achieve good classification results and have numerous training parameters. A novel model called MST-DeepLabv3+ was suggested in this paper for remote sensing image classification. It's based on the DeepLabv3+ and can produce better results with fewer train parameters. MST-DeepLabv3+ made three improvements: (1) Reducing the number of model parameters by substituting MobileNetV2 for the Xception in the DeepLabv3+'s backbone network. (2) Adding the attention mechanism module SENet to increase the precision of semantic segmentation. (3) Increasing Transfer Learning to enhance the model's capacity to recognize features, and raise the segmentation accuracy. MST-DeepLabv3+ was tested on international society for photogrammetry and remote sensing (ISPRS) dataset, Gaofen image dataset (GID), and practically applied to the Taikang cultivated land dataset. On the ISPRS dataset, the mean intersection over union (MIoU), overall accuracy (OA), Precision, Recall, and F1-score are 82.47%, 92.13%, 90.34%, 90.12%, and 90.23%, respectively. On the GID dataset, these values are 73.44%, 85.58%, 84.10%, 84.86%, and 84.48%, respectively. The results were as high as 90.77%, 95.47%, 95.28%, 95.02%, and 95.15% on the Taikang cultivated land dataset. The experimental results indicate that MST-DeepLabv3+ effectively improves the accuracy of semantic segmentation of remote sensing images, recognizes the edge information with more completeness, and significantly reduces the parameter size.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

الملخص يمثل التجزئة الدلالية عالية الدقة وعالية الكفاءة لصور الاستشعار عن بعد عالية الدقة تحديًا. تتطلب النماذج الحالية عادةً كمية كبيرة من بيانات التدريب لتحقيق نتائج تصنيف جيدة ولديها العديد من معايير التدريب. تم اقتراح نموذج جديد يسمى MST - DeepLabv3 + في هذه الورقة لتصنيف صور الاستشعار عن بعد. يعتمد على DeepLabv3 + ويمكن أن يحقق نتائج أفضل مع عدد أقل من معلمات القطار. أدخلت MST - DeepLabv3 + ثلاثة تحسينات: (1) تقليل عدد معلمات النموذج عن طريق استبدال MobileNetV2 بـ Xception في الشبكة الأساسية لـ DeepLabv3 +. (2) إضافة وحدة آلية الانتباه SENET لزيادة دقة التجزئة الدلالية. (3) زيادة تعلم النقل لتعزيز قدرة النموذج على التعرف على الميزات، ورفع دقة التجزئة. تم اختبار MST - DeepLabv3 + على مجموعة بيانات المجتمع الدولي للمسح التصويري والاستشعار عن بعد (ISPRS)، ومجموعة بيانات صور غاوفن (GID)، وتم تطبيقها عمليًا على مجموعة بيانات الأراضي المزروعة في تايكانغ. في مجموعة بيانات ISPRS، يبلغ متوسط التقاطع عبر الاتحاد (MIoU)، والدقة الإجمالية (OA)، والدقة، والاستدعاء، ودرجة F1 82.47 ٪، و 92.13 ٪، و 90.34 ٪، و 90.12 ٪، و 90.23 ٪ على التوالي. في مجموعة بيانات دائرة المخابرات العامة، هذه القيم هي 73.44 ٪ و 85.58 ٪ و 84.10 ٪ و 84.86 ٪ و 84.48 ٪ على التوالي. كانت النتائج مرتفعة مثل 90.77 ٪ و 95.47 ٪ و 95.28 ٪ و 95.02 ٪ و 95.15 ٪ على مجموعة بيانات الأراضي المزروعة في تايكانغ. تشير النتائج التجريبية إلى أن MST - DeepLabv3 + يحسن بشكل فعال دقة التجزئة الدلالية لصور الاستشعار عن بعد، ويتعرف على معلومات الحافة بمزيد من الاكتمال، ويقلل بشكل كبير من حجم المعلمة.

Translated Description (French)

Résumé La segmentation sémantique haute précision et haute efficacité des images de télédétection à haute résolution est un défi. Les modèles existants nécessitent généralement une quantité importante de données de formation pour obtenir de bons résultats de classification et ont de nombreux paramètres de formation. Un nouveau modèle appelé MST-DeepLabv3 + a été suggéré dans cet article pour la classification des images par télédétection. Il est basé sur le DeepLabv3 + et peut produire de meilleurs résultats avec moins de paramètres de train. MST-DeepLabv3+ a apporté trois améliorations : (1) Réduire le nombre de paramètres du modèle en substituant MobileNetV2 à la Xception dans le réseau fédérateur de DeepLabv3 +. (2) Ajout du module de mécanisme d'attention SENet pour augmenter la précision de la segmentation sémantique. (3) Augmenter l'apprentissage par transfert pour améliorer la capacité du modèle à reconnaître les caractéristiques et augmenter la précision de la segmentation. MST-DeepLabv3+ a été testé sur la société internationale pour l'ensemble de données de photogrammétrie et de télédétection (ISPRS), l'ensemble de données d'image Gaofen (GID) et appliqué pratiquement à l'ensemble de données sur les terres cultivées de Taikang. Sur l'ensemble de données ISPRS, l'intersection moyenne sur l'union (MIoU), la précision globale (OA), la précision, le rappel et le score F1 sont respectivement de 82,47 %, 92,13 %, 90,34 %, 90,12 % et 90,23 %. Sur l'ensemble de données GID, ces valeurs sont respectivement de 73,44 %, 85,58 %, 84,10 %, 84,86 % et 84,48 %. Les résultats ont atteint 90,77 %, 95,47 %, 95,28 %, 95,02 % et 95,15 % sur l'ensemble de données sur les terres cultivées de Taikang. Les résultats expérimentaux indiquent que MST-DeepLabv3+ améliore efficacement la précision de la segmentation sémantique des images de télédétection, reconnaît les informations de bordure avec plus d'exhaustivité et réduit considérablement la taille des paramètres.

Translated Description (Spanish)

Resumen La segmentación semántica de alta precisión y alta eficiencia de imágenes de teledetección de alta resolución es un desafío. Los modelos existentes generalmente requieren una cantidad significativa de datos de entrenamiento para lograr buenos resultados de clasificación y tienen numerosos parámetros de entrenamiento. En este documento se sugirió un nuevo modelo llamado MST-DeepLabv3 + para la clasificación de imágenes por teledetección. Se basa en DeepLabv3 + y puede producir mejores resultados con menos parámetros de tren. MST-DeepLabv3+ realizó tres mejoras: (1) Reducir el número de parámetros del modelo sustituyendo MobileNetV2 por la Xception en la red troncal de DeepLabv3 +. (2) Añadir el módulo de mecanismo de atención SENet para aumentar la precisión de la segmentación semántica. (3) Aumentar el aprendizaje por transferencia para mejorar la capacidad del modelo para reconocer características y aumentar la precisión de la segmentación. MST-DeepLabv3+ se probó en la sociedad internacional para el conjunto de datos de fotogrametría y teledetección (ISPRS), el conjunto de datos de imágenes de Gaofen (GID) y se aplicó prácticamente al conjunto de datos de tierras cultivadas de Taikang. En el conjunto de datos de la ISPRS, la intersección media sobre la unión (MIoU), la precisión general (OA), la precisión, el recuerdo y la puntuación F1 son 82.47%, 92.13%, 90.34%, 90.12% y 90.23%, respectivamente. En el conjunto de datos GID, estos valores son 73.44%, 85.58%, 84.10%, 84.86% y 84.48%, respectivamente. Los resultados fueron tan altos como 90.77%, 95.47%, 95.28%, 95.02% y 95.15% en el conjunto de datos de tierras cultivadas de Taikang. Los resultados experimentales indican que MST-DeepLabv3+ mejora efectivamente la precisión de la segmentación semántica de las imágenes de teledetección, reconoce la información del borde con más integridad y reduce significativamente el tamaño del parámetro.

Additional details

Additional titles

Translated title (Arabic)
خوارزمية تجزئة دلالية محسنة لصور الاستشعار عن بعد عالية الدقة بناءً على DeepLabv3+
Translated title (French)
Un algorithme de segmentation sémantique amélioré pour les images de télédétection à haute résolution basé sur DeepLabv3+
Translated title (Spanish)
Un algoritmo de segmentación semántica mejorado para imágenes de teledetección de alta resolución basado en DeepLabv3+

Identifiers

Other
https://openalex.org/W4395703452
DOI
10.1038/s41598-024-60375-1

Is supplement to
https://openalex.org/W782553550 (Other)
https://openalex.org/W4389858081 (Other)
https://openalex.org/W4379231730 (Other)
https://openalex.org/W4235897794 (Other)
https://openalex.org/W2633218168 (Other)
https://openalex.org/W2121524756 (Other)
https://openalex.org/W2095126257 (Other)
https://openalex.org/W2059707233 (Other)
https://openalex.org/W1987967678 (Other)
https://openalex.org/W1522196789 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
China

References

  • https://openalex.org/W1901129140
  • https://openalex.org/W1903029394
  • https://openalex.org/W1923697677
  • https://openalex.org/W1937812750
  • https://openalex.org/W1990653740
  • https://openalex.org/W2023930442
  • https://openalex.org/W2035549557
  • https://openalex.org/W2095074673
  • https://openalex.org/W2108598243
  • https://openalex.org/W2112796928
  • https://openalex.org/W2151038783
  • https://openalex.org/W2165698076
  • https://openalex.org/W2171974098
  • https://openalex.org/W2179352600
  • https://openalex.org/W2412782625
  • https://openalex.org/W2531409750
  • https://openalex.org/W2548566663
  • https://openalex.org/W2560023338
  • https://openalex.org/W2604086375
  • https://openalex.org/W2616755213
  • https://openalex.org/W2745042876
  • https://openalex.org/W2794948653
  • https://openalex.org/W2810267090
  • https://openalex.org/W2921598729
  • https://openalex.org/W2946509187
  • https://openalex.org/W2962850830
  • https://openalex.org/W2963163009
  • https://openalex.org/W2963420686
  • https://openalex.org/W2963881378
  • https://openalex.org/W2964309882
  • https://openalex.org/W2990917925
  • https://openalex.org/W3016664505
  • https://openalex.org/W3041449006
  • https://openalex.org/W3085449976
  • https://openalex.org/W3133562110
  • https://openalex.org/W3155620069
  • https://openalex.org/W4200442073
  • https://openalex.org/W4221145217
  • https://openalex.org/W4293661496