Published January 1, 2021
| Version v1
Publication
Open
Robust UAV Thermal Infrared Remote Sensing Images Stitching Via Overlap-Prior-Based Global Similarity Prior Model
- 1. Northwest A&F University
- 2. Ministry of Agriculture and Rural Affairs
Description
The main problem of stitching unmanned aerial vehicle (UAV) thermal infrared remote sensing (TIRS) images lies in that the cumulative error caused by the inaccurate alignment of image matching pairs easily leads to deformation and even failure. Few studies in the literature are reported in stitching TIRS images. For the first time, we propose a simple and robust TIRS image stitching method by exploring prior information during flight. First, according to the position and orientation system information and parameter of camera, the overlap ratio of adjacent images is estimated, and the image pairs with high overlap ratio and high matching confidence in different directions are selected. Then, they are added into the alignment term of global similarity prior (GSP) model. Therefore, each image has more matching pairs constraints compared to the traditional construction method of matching pairs, which greatly improves the local registration capability of GSP and then prevents it from converging to the local optimal solution. The proposed method was extensively evaluated on a dataset including to 24 groups of large-scale farmland TIRS images collected in four experimental areas under different crop growth periods and meteorological conditions. Compared with two commercial tools and two representative stitching algorithms, the proposed method significantly improves the local alignment ability and overall stitching quality on both qualitative and quantitative evaluation. Besides, when the front overlap ratio is reduced from 85% to 70%, the proposed method still shows obvious advantages over the related methods and commercial tools, which improves the acquisition efficiency of UAV TIRS images.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تكمن المشكلة الرئيسية في خياطة صور الاستشعار عن بعد بالأشعة تحت الحمراء الحرارية للمركبات الجوية غير المأهولة (TIRS) في أن الخطأ التراكمي الناجم عن المحاذاة غير الدقيقة لأزواج مطابقة الصور يؤدي بسهولة إلى التشوه وحتى الفشل. تم الإبلاغ عن عدد قليل من الدراسات في الأدبيات في خياطة صور TIRS. لأول مرة، نقترح طريقة بسيطة وقوية لخياطة صور TIRS من خلال استكشاف المعلومات السابقة أثناء الرحلة. أولاً، وفقًا لمعلومات نظام الموضع والاتجاه ومعامل الكاميرا، يتم تقدير نسبة التداخل للصور المجاورة، ويتم تحديد أزواج الصور ذات نسبة التداخل العالية والثقة المتطابقة العالية في اتجاهات مختلفة. ثم يتم إضافتها إلى مصطلح المواءمة لنموذج التشابه العالمي السابق (GSP). لذلك، تحتوي كل صورة على قيود أزواج متطابقة أكثر مقارنة بطريقة البناء التقليدية لمطابقة الأزواج، مما يحسن بشكل كبير من قدرة التسجيل المحلية لنظام الأفضليات المعمم ثم يمنعها من التقارب مع الحل الأمثل المحلي. تم تقييم الطريقة المقترحة على نطاق واسع على مجموعة بيانات تشمل 24 مجموعة من صور TIRS للأراضي الزراعية واسعة النطاق التي تم جمعها في أربع مناطق تجريبية في ظل فترات نمو المحاصيل المختلفة وظروف الأرصاد الجوية. بالمقارنة مع أداتين تجاريتين وخوارزميتين تمثيليتين للخياطة، فإن الطريقة المقترحة تحسن بشكل كبير من قدرة المحاذاة المحلية وجودة الخياطة الشاملة في كل من التقييم النوعي والكمي. إلى جانب ذلك، عندما يتم تقليل نسبة التداخل الأمامي من 85 ٪ إلى 70 ٪، لا تزال الطريقة المقترحة تظهر مزايا واضحة على الطرق والأدوات التجارية ذات الصلة، مما يحسن كفاءة الاستحواذ على صور الطائرات بدون طيار TIRS.Translated Description (French)
Le principal problème de la couture des images de télédétection infrarouge thermique (TIRS) des véhicules aériens sans pilote (UAV) réside dans le fait que l'erreur cumulative causée par l'alignement inexact des paires de correspondance d'images conduit facilement à la déformation et même à la défaillance. Peu d'études dans la littérature sont rapportées dans la couture des images TIRS. Pour la première fois, nous proposons une méthode d'assemblage d'images TIRS simple et robuste en explorant les informations préalables pendant le vol. Tout d'abord, en fonction des informations du système de position et d'orientation et du paramètre de la caméra, le rapport de chevauchement des images adjacentes est estimé, et les paires d'images avec un rapport de chevauchement élevé et une confiance de correspondance élevée dans différentes directions sont sélectionnées. Ensuite, ils sont ajoutés dans le terme d'alignement du modèle global de similarité préalable (GSP). Par conséquent, chaque image a plus de contraintes de paires correspondantes par rapport à la méthode traditionnelle de construction de paires correspondantes, ce qui améliore considérablement la capacité d'enregistrement local de GSP et l'empêche ensuite de converger vers la solution optimale locale. La méthode proposée a été largement évaluée sur un ensemble de données comprenant 24 groupes d'images TIRS de terres agricoles à grande échelle collectées dans quatre zones expérimentales sous différentes périodes de croissance des cultures et conditions météorologiques. Par rapport à deux outils commerciaux et deux algorithmes de couture représentatifs, la méthode proposée améliore considérablement la capacité d'alignement local et la qualité globale de couture sur l'évaluation qualitative et quantitative. En outre, lorsque le taux de chevauchement avant est réduit de 85 % à 70 %, la méthode proposée présente toujours des avantages évidents par rapport aux méthodes et outils commerciaux connexes, ce qui améliore l'efficacité d'acquisition des images TIRS de l'UAV.Translated Description (Spanish)
El principal problema de coser imágenes de teledetección infrarroja térmica (TIRS) de vehículos aéreos no tripulados (UAV) radica en que el error acumulativo causado por la alineación inexacta de los pares de coincidencia de imágenes conduce fácilmente a la deformación e incluso al fallo. Se informan pocos estudios en la literatura sobre la costura de imágenes TIRS. Por primera vez, proponemos un método de costura de imágenes TIRS simple y robusto mediante la exploración de información previa durante el vuelo. En primer lugar, de acuerdo con la información del sistema de posición y orientación y el parámetro de la cámara, se estima la relación de superposición de las imágenes adyacentes y se seleccionan los pares de imágenes con alta relación de superposición y alta confianza de coincidencia en diferentes direcciones. Luego, se añaden al término de alineación del modelo de similitud global previa (GSP). Por lo tanto, cada imagen tiene más restricciones de emparejamiento de pares en comparación con el método de construcción tradicional de emparejamiento de pares, lo que mejora en gran medida la capacidad de registro local de GSP y luego evita que converja con la solución óptima local. El método propuesto se evaluó exhaustivamente en un conjunto de datos que incluía 24 grupos de imágenes TIRS de tierras agrícolas a gran escala recopiladas en cuatro áreas experimentales bajo diferentes períodos de crecimiento de cultivos y condiciones meteorológicas. En comparación con dos herramientas comerciales y dos algoritmos de costura representativos, el método propuesto mejora significativamente la capacidad de alineación local y la calidad general de la costura en la evaluación cualitativa y cuantitativa. Además, cuando la relación de superposición frontal se reduce del 85% al 70%, el método propuesto aún muestra ventajas obvias sobre los métodos y herramientas comerciales relacionados, lo que mejora la eficiencia de adquisición de imágenes TIRS de UAV.Files
09229104.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:f32088bd7402fe8b829983d2a1811201
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- خياطة صور الاستشعار عن بعد بالأشعة تحت الحمراء الحرارية للطائرات بدون طيار القوية عبر النموذج السابق للتشابه العالمي القائم على التداخل
- Translated title (French)
- Image de télédétection infrarouge thermique d'UAV robuste cousue via un modèle antérieur de similarité globale basé sur le chevauchement
- Translated title (Spanish)
- Robustas imágenes de teledetección infrarroja térmica de UAV que se cosen a través del modelo prioritario de similitud global basado en la superposición
Identifiers
- Other
- https://openalex.org/W3093558401
- DOI
- 10.1109/jstars.2020.3032011
References
- https://openalex.org/W129840998
- https://openalex.org/W1963246386
- https://openalex.org/W1983683849
- https://openalex.org/W2006273284
- https://openalex.org/W2010339833
- https://openalex.org/W2055283780
- https://openalex.org/W2066941820
- https://openalex.org/W2071525319
- https://openalex.org/W2125935279
- https://openalex.org/W2126060993
- https://openalex.org/W2153958436
- https://openalex.org/W2222612055
- https://openalex.org/W2520293138
- https://openalex.org/W2585058772
- https://openalex.org/W2752952151
- https://openalex.org/W2766361846
- https://openalex.org/W2770525750
- https://openalex.org/W2791160863
- https://openalex.org/W2800324071
- https://openalex.org/W2893336346
- https://openalex.org/W2922104401
- https://openalex.org/W2964011874
- https://openalex.org/W2983376237
- https://openalex.org/W2986659054
- https://openalex.org/W2992725730
- https://openalex.org/W3022843305
- https://openalex.org/W4206610958
- https://openalex.org/W4243493583
- https://openalex.org/W4249418251