Published January 1, 2020
| Version v1
Publication
Open
K-Means Clustering Guided Generative Adversarial Networks for SAR-Optical Image Matching
- 1. China University of Mining and Technology
- 2. Ministry of Education of the People's Republic of China
- 3. Macau University of Science and Technology
Description
Synthetic Aperture Radar and optical (SAR-optical) image matching is a technique of finding correspondences between SAR and optical images. SAR-optical image matching can be simplified to single-mode image matching through image synthesis. However, the existing SAR-optical image synthesis methods are unable to provide qualified images for SAR-optical image matching. In this work, we present a K-means Clustering Guide Generative Adversarial Networks (KCG-GAN) to improve the image quality of synthesizing by constraining spatial information synthesis. KCG-GAN uses k-means segmentations as one of the image generator's inputs and introduces feature matching loss, segmentation loss, and L1 loss to the objective function. Meanwhile, to provide repeatable k-means segmentations, we develop a straightforward 1D k-means algorithm. We compare KCG-GAN with a leading image synthesis method-pix2pixHD. Qualitative results illustrate that KCG-GAN preserves more spatial structures than pix2pixHD. Quantitative results show that, compared with pix2pixHD, images synthesized by KCG-GAN are more similar to original optical images, and SAR-optical image matching based on KCG-GAN obtains at most 3.15 times more qualified matchings. Robustness tests demonstrate that SAR-optical image matching based on KCG-GAN is robust to rotation and scale changing. We also test three SIFT-like algorithms on matching original SAR-optical image pairs and matching KCG-GAN synthesized optical-optical image pairs. Experimental results show that our KCG-GAN significantly improves the performances of the three algorithms on SAR-optical image matching.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
رادار الفتحة الاصطناعية ومطابقة الصور البصرية (SAR - optical) هي تقنية للعثور على التطابقات بين SAR والصور البصرية. يمكن تبسيط مطابقة الصورة الضوئية SAR لمطابقة الصورة أحادية الوضع من خلال توليف الصورة. ومع ذلك، فإن طرق تركيب الصور الضوئية SAR الحالية غير قادرة على توفير صور مؤهلة لمطابقة الصور الضوئية SAR. في هذا العمل، نقدم دليل K - means للشبكات العدائية التوليدية (KCG - GAN) لتحسين جودة الصورة للتوليف من خلال تقييد توليف المعلومات المكانية. تستخدم KCG - GAN تجزئة k - means كأحد مدخلات مولد الصور وتقدم ميزة مطابقة الخسارة، وفقدان التجزئة، وفقدان L1 إلى وظيفة الهدف. وفي الوقت نفسه، لتوفير تجزئة k - means قابلة للتكرار، نقوم بتطوير خوارزمية k - means 1D مباشرة. نقارن KCG - GAN بطريقة توليف الصور الرائدة - pix2pixHD. توضح النتائج النوعية أن KCG - GAN تحافظ على هياكل مكانية أكثر من pix2pixHD. تظهر النتائج الكمية أنه، مقارنةً بـ pix2pixHD، فإن الصور التي تم تصنيعها بواسطة KCG - GAN أكثر تشابهًا مع الصور البصرية الأصلية، ومطابقة الصور الضوئية SAR استنادًا إلى KCG - GAN تحصل على مطابقات أكثر تأهيلاً بمقدار 3.15 مرة على الأكثر. تُظهر اختبارات المتانة أن مطابقة الصور الضوئية لـ SAR استنادًا إلى KCG - GAN قوية للدوران وتغيير الحجم. نختبر أيضًا ثلاث خوارزميات تشبه SIFT على مطابقة أزواج الصور الضوئية SAR الأصلية ومطابقة أزواج الصور الضوئية المركبة KCG - GAN. تظهر النتائج التجريبية أن KCG - GAN يحسن بشكل كبير أداء الخوارزميات الثلاث في مطابقة الصور الضوئية لـ SAR.Translated Description (French)
Le radar à synthèse d'ouverture et la mise en correspondance d'images optiques (SAR-optique) est une technique de recherche de correspondances entre les images SAR et optiques. La correspondance d'image optique SAR peut être simplifiée en correspondance d'image monomode grâce à la synthèse d'image. Cependant, les méthodes de synthèse d'images optiques SAR existantes sont incapables de fournir des images qualifiées pour la correspondance d'images optiques SAR. Dans ce travail, nous présentons un K-means Clustering Guide Generative Adversarial Networks (KCG-GAN) pour améliorer la qualité d'image de la synthèse en contraignant la synthèse d'informations spatiales. KCG-GAN utilise les segmentations k-means comme l'une des entrées du générateur d'images et introduit la perte de correspondance des caractéristiques, la perte de segmentation et la perte L1 à la fonction objectif. Pendant ce temps, pour fournir des segmentations k-moyennes répétables, nous développons un algorithme k-moyennes 1D simple. Nous comparons KCG-GAN avec une méthode de synthèse d'image de premier plan - pix2pixHD. Les résultats qualitatifs illustrent que KCG-GAN préserve plus de structures spatiales que pix2pixHD. Les résultats quantitatifs montrent que, par rapport à pix2pixHD, les images synthétisées par KCG-GAN sont plus similaires aux images optiques originales, et la correspondance d'images optiques SAR basée sur KCG-GAN obtient au plus 3,15 fois plus de correspondances qualifiées. Les tests de robustesse démontrent que la correspondance d'image optique SAR basée sur KCG-GAN est robuste à la rotation et aux changements d'échelle. Nous testons également trois algorithmes de type SIFT sur la correspondance des paires d'images optiques SAR originales et des paires d'images optiques synthétisées KCG-GAN correspondantes. Les résultats expérimentaux montrent que notre KCG-GAN améliore considérablement les performances des trois algorithmes sur l'appariement d'images optiques SAR.Translated Description (Spanish)
El radar de apertura sintética y la coincidencia de imágenes ópticas (SAR-ópticas) es una técnica para encontrar correspondencias entre imágenes SAR y ópticas. La coincidencia de imágenes ópticas SAR se puede simplificar a la coincidencia de imágenes monomodo a través de la síntesis de imágenes. Sin embargo, los métodos de síntesis de imágenes ópticas SAR existentes no pueden proporcionar imágenes calificadas para la coincidencia de imágenes ópticas SAR. En este trabajo, presentamos una Guía de agrupamiento de K-medias de redes adversarias generativas (KCG-GAN) para mejorar la calidad de imagen de la síntesis al restringir la síntesis de información espacial. KCG-GAN utiliza segmentaciones k-means como una de las entradas del generador de imágenes e introduce la pérdida de coincidencia de características, la pérdida de segmentación y la pérdida L1 en la función objetivo. Mientras tanto, para proporcionar segmentaciones de k-medias repetibles, desarrollamos un algoritmo de k-medias 1D sencillo. Comparamos KCG-GAN con un método líder de síntesis de imágenes-pix2pixHD. Los resultados cualitativos ilustran que KCG-GAN conserva más estructuras espaciales que pix2pixHD. Los resultados cuantitativos muestran que, en comparación con pix2pixHD, las imágenes sintetizadas por KCG-GAN son más similares a las imágenes ópticas originales, y la coincidencia de imágenes ópticas SAR basada en KCG-GAN obtiene como máximo 3,15 veces más coincidencias calificadas. Las pruebas de robustez demuestran que la coincidencia de imágenes ópticas SAR basada en KCG-GAN es robusta para la rotación y el cambio de escala. También probamos tres algoritmos similares a SIFT para emparejar pares de imágenes ópticas SAR originales y emparejar pares de imágenes ópticas sintetizadas KCG-GAN. Los resultados experimentales muestran que nuestro KCG-GAN mejora significativamente el rendimiento de los tres algoritmos en la coincidencia de imágenes ópticas SAR.Files
09279214.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:2b7f80dc7cc567ad3cc0df3797a3e760
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- K - Means تجميع شبكات الخصومة التوليدية الموجهة لمطابقة الصور البصرية لـ SAR
- Translated title (French)
- K-Means Clustering Guided Generative Adversarial Networks for SAR-Optical Image Matching
- Translated title (Spanish)
- Redes generativas adversarias guiadas por agrupación de K-Means para coincidencia de imágenes ópticas SAR
Identifiers
- Other
- https://openalex.org/W3107879303
- DOI
- 10.1109/access.2020.3042213
References
- https://openalex.org/W1561797649
- https://openalex.org/W1584663654
- https://openalex.org/W1598123022
- https://openalex.org/W1968693529
- https://openalex.org/W1993120651
- https://openalex.org/W2030233108
- https://openalex.org/W2102481828
- https://openalex.org/W2119605622
- https://openalex.org/W2133665775
- https://openalex.org/W2133714060
- https://openalex.org/W2142838865
- https://openalex.org/W2151103935
- https://openalex.org/W2290038429
- https://openalex.org/W2312984074
- https://openalex.org/W2339754110
- https://openalex.org/W2548389775
- https://openalex.org/W2554820184
- https://openalex.org/W2559871160
- https://openalex.org/W2592403248
- https://openalex.org/W2593173520
- https://openalex.org/W2593414223
- https://openalex.org/W2608922915
- https://openalex.org/W2624146161
- https://openalex.org/W2754395699
- https://openalex.org/W2760923572
- https://openalex.org/W2762941833
- https://openalex.org/W2786355301
- https://openalex.org/W2791559636
- https://openalex.org/W2792431031
- https://openalex.org/W2810454813
- https://openalex.org/W2894275433
- https://openalex.org/W2894544606
- https://openalex.org/W2895854890
- https://openalex.org/W2900468052
- https://openalex.org/W2913323966
- https://openalex.org/W2913398339
- https://openalex.org/W2917905493
- https://openalex.org/W2934318214
- https://openalex.org/W2948182274
- https://openalex.org/W2956776104
- https://openalex.org/W2962793481
- https://openalex.org/W2962974533
- https://openalex.org/W2963073614
- https://openalex.org/W2963800363
- https://openalex.org/W2967822867
- https://openalex.org/W2970141505
- https://openalex.org/W2972279533
- https://openalex.org/W2974658607
- https://openalex.org/W2984599236
- https://openalex.org/W2987537249
- https://openalex.org/W2987678239
- https://openalex.org/W2988209417
- https://openalex.org/W2995295250
- https://openalex.org/W3007629215
- https://openalex.org/W3015653929
- https://openalex.org/W3084280717
- https://openalex.org/W3092215047
- https://openalex.org/W3121068881
- https://openalex.org/W3145984249