Published January 1, 2021 | Version v1
Publication Open

Exploring the Potential of Unsupervised Image Synthesis for SAR-Optical Image Matching

Creators

  • 1. China University of Mining and Technology
  • 2. Ministry of Education of the People's Republic of China
  • 3. Macau University of Science and Technology
  • 4. Beijing Satellite Navigation Center

Description

We consider SAR-optical image matching problems, where correspondences are acquired from a pair of SAR and optical images. Recent methods for such a problem typically simplify the SAR-optical image matching to the SAR-SAR or optical-optical image matchings using supervised-image-synthesis methods. However, training supervised-image-synthesis needs plenty of aligned SAR-optical image pairs while gathering sufficient amounts of aligned multi-modal image pairs is challenging in remote sensing. In this work, we investigate the applicability of unsupervised-image-synthesis for SAR-optical image matching such that the unaligned SAR-optical images could be used. To this end, we apply feature matching loss to a well known unsupervised-image-synthesis method, i.e., CycleGAN, to enforce the feature matching consistency. Moreover, we develop a shared-matching-strategy to improve the results of SAR-optical image matching further. Qualitative comparisons against CycleGAN, StarGAN, and DualGAN demonstrate the superiority of our approach. Quantitative results show that, compared with CycleGAN, StarGAN, and DualGAN, our method obtains at least 2.6 times more qualified SAR-optical matchings.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

نحن نعتبر مشاكل مطابقة الصور الضوئية للبحث والإنقاذ، حيث يتم الحصول على المراسلات من زوج من البحث والإنقاذ والصور البصرية. عادة ما تبسط الطرق الحديثة لمثل هذه المشكلة مطابقة الصورة الضوئية لـ SAR - SAR أو مطابقة الصورة الضوئية باستخدام طرق تركيب الصورة الخاضعة للإشراف. ومع ذلك، يحتاج التدريب على تركيب الصور الخاضعة للإشراف إلى الكثير من أزواج الصور الضوئية SAR المحاذاة بينما يمثل جمع كميات كافية من أزواج الصور متعددة الوسائط المحاذاة تحديًا في الاستشعار عن بعد. في هذا العمل، نقوم بالتحقيق في قابلية تطبيق توليف الصورة غير الخاضع للإشراف لمطابقة صورة SAR الضوئية بحيث يمكن استخدام صور SAR الضوئية غير المحاذية. تحقيقا لهذه الغاية، نطبق فقدان مطابقة الميزات على طريقة تركيب الصورة غير الخاضعة للإشراف المعروفة، أي CycleGAN، لفرض اتساق مطابقة الميزات. علاوة على ذلك، نقوم بتطوير استراتيجية مطابقة مشتركة لتحسين نتائج مطابقة الصور الضوئية للبحث والإنقاذ بشكل أكبر. توضح المقارنات النوعية ضد CycleGAN و StarGAN و DualGAN تفوق نهجنا. تظهر النتائج الكمية أنه بالمقارنة مع CycleGAN و StarGAN و DualGAN، فإن طريقتنا تحصل على تطابقات SAR - optical أكثر تأهيلاً بمقدار 2.6 مرة على الأقل.

Translated Description (French)

Nous considérons les problèmes de correspondance d'images optiques SAR, où les correspondances sont acquises à partir d'une paire d'images SAR et optiques. Les méthodes récentes pour un tel problème simplifient généralement la correspondance d'image optique SAR avec la SAR-SAR ou les correspondances d'image optique optique en utilisant des méthodes de synthèse d'image supervisée. Cependant, la formation supervisée-image-synthèse nécessite de nombreuses paires d'images optiques SAR alignées, tandis que la collecte de quantités suffisantes de paires d'images multimodales alignées est difficile en télédétection. Dans ce travail, nous étudions l'applicabilité de la synthèse d'images non supervisées pour la correspondance d'images optiques SAR de sorte que les images optiques SAR non alignées puissent être utilisées. À cette fin, nous appliquons la perte de correspondance de caractéristiques à une méthode bien connue de synthèse d'image non supervisée, c'est-à-dire CycleGAN, pour appliquer la cohérence de correspondance de caractéristiques. De plus, nous développons une stratégie d'appariement partagé pour améliorer encore les résultats de l'appariement d'images optiques SAR. Les comparaisons qualitatives avec CycleGAN, StarGAN et DualGAN démontrent la supériorité de notre approche. Les résultats quantitatifs montrent que, par rapport à CycleGAN, StarGAN et DualGAN, notre méthode obtient au moins 2,6 fois plus de correspondances SAR-optiques qualifiées.

Translated Description (Spanish)

Consideramos problemas de coincidencia de imágenes SAR-ópticas, donde las correspondencias se adquieren a partir de un par de imágenes SAR y ópticas. Los métodos recientes para tal problema generalmente simplifican la coincidencia de imágenes ópticas SAR con la SAR-SAR o las coincidencias de imágenes ópticas ópticas utilizando métodos de síntesis de imágenes supervisadas. Sin embargo, la capacitación en síntesis de imágenes supervisadas necesita muchos pares de imágenes ópticas SAR alineadas, mientras que la recopilación de cantidades suficientes de pares de imágenes multimodales alineadas es un desafío en la teledetección. En este trabajo, investigamos la aplicabilidad de la síntesis de imágenes no supervisadas para la coincidencia de imágenes ópticas SAR, de modo que se puedan utilizar las imágenes ópticas SAR no alineadas. Con este fin, aplicamos la pérdida de coincidencia de características a un método bien conocido de síntesis de imágenes no supervisadas, es decir, CycleGAN, para hacer cumplir la consistencia de coincidencia de características. Además, desarrollamos una estrategia de emparejamiento compartido para mejorar aún más los resultados del emparejamiento de imágenes ópticas SAR. Las comparaciones cualitativas con CycleGAN, StarGAN y DualGAN demuestran la superioridad de nuestro enfoque. Los resultados cuantitativos muestran que, en comparación con CycleGAN, StarGAN y DualGAN, nuestro método obtiene al menos 2,6 veces más coincidencias ópticas SAR calificadas.

Files

09427486.pdf.pdf

Files (245 Bytes)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:ab6a663e345138ec27d95972652a5965
245 Bytes
Preview Download

Additional details

Additional titles

Translated title (Arabic)
استكشاف إمكانات توليف الصور غير الخاضعة للإشراف لمطابقة الصور البصرية لـ SAR
Translated title (French)
Exploration du potentiel de la synthèse d'images non supervisée pour la correspondance d'images optiques SAR
Translated title (Spanish)
Explorando el potencial de la síntesis de imágenes no supervisadas para la coincidencia de imágenes ópticas SAR

Identifiers

Other
https://openalex.org/W3161111546
DOI
10.1109/access.2021.3079327

Is supplement to
https://openalex.org/W4304185162 (Other)
https://openalex.org/W3024934511 (Other)
https://openalex.org/W3006282800 (Other)
https://openalex.org/W2901818816 (Other)
https://openalex.org/W2462100143 (Other)
https://openalex.org/W2355001665 (Other)
https://openalex.org/W2158111730 (Other)
https://openalex.org/W2061685118 (Other)
https://openalex.org/W1972035260 (Other)
https://openalex.org/W1603736412 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
China

References

  • https://openalex.org/W1561797649
  • https://openalex.org/W1584663654
  • https://openalex.org/W1598123022
  • https://openalex.org/W1901129140
  • https://openalex.org/W1993120651
  • https://openalex.org/W2085261163
  • https://openalex.org/W2102481828
  • https://openalex.org/W2108573043
  • https://openalex.org/W2133665775
  • https://openalex.org/W2133714060
  • https://openalex.org/W2151103935
  • https://openalex.org/W2171089490
  • https://openalex.org/W2414762761
  • https://openalex.org/W2557186959
  • https://openalex.org/W2592403248
  • https://openalex.org/W2593173520
  • https://openalex.org/W2593414223
  • https://openalex.org/W2624146161
  • https://openalex.org/W2754395699
  • https://openalex.org/W2756157229
  • https://openalex.org/W2762941833
  • https://openalex.org/W2786355301
  • https://openalex.org/W2792431031
  • https://openalex.org/W2810454813
  • https://openalex.org/W2894544606
  • https://openalex.org/W2901459322
  • https://openalex.org/W2901818816
  • https://openalex.org/W2917905493
  • https://openalex.org/W2918405464
  • https://openalex.org/W2950689937
  • https://openalex.org/W2962793481
  • https://openalex.org/W2962835968
  • https://openalex.org/W2962974533
  • https://openalex.org/W2963073614
  • https://openalex.org/W2963444790
  • https://openalex.org/W2963767194
  • https://openalex.org/W2963800363
  • https://openalex.org/W2964121744
  • https://openalex.org/W2967822867
  • https://openalex.org/W2971888276
  • https://openalex.org/W2972279533
  • https://openalex.org/W2988209417
  • https://openalex.org/W3007629215
  • https://openalex.org/W3009919868
  • https://openalex.org/W3013150650
  • https://openalex.org/W3015653929
  • https://openalex.org/W3042689508
  • https://openalex.org/W3082927027
  • https://openalex.org/W3088318080
  • https://openalex.org/W3089265466
  • https://openalex.org/W3092580658
  • https://openalex.org/W3105672835
  • https://openalex.org/W3107879303
  • https://openalex.org/W3121068881
  • https://openalex.org/W3145984249