PERFORMANCE ASSESSMENT OF OBJECT DETECTION FROM MULTI SATELLITES AND AERIAL IMAGES
- 1. University of Calgary
- 2. Military Technical College
- 3. Port Said University
Description
Abstract. Object detection in remote sensing imagery plays an important role in many applications, such as tracking and change detection. With the development of deep learning algorithms and advancement in hardware systems, improved accuracies have been achieved in the detection of various objects from remote sensing images. However, object detection across heterogeneous remote sensing imagery remains an important issue, particularly for satellite and aerial imagery. The colour variation for the same ground objects, variable resolutions, different platform heights, the parallax effect, and image distortion brought on by diverse shooting angles are the biggest hurdles in satellite-aerial detection applications. The research aims to obtain successful model for detecting aircrafts from satellite and aerial images and reduce cost and the gap of revisit time between sensors. The networks were tested using aerial, GF-2, Jilin-1 (JL-1) and Pleiades satellites test sets after being trained individually using the RGB high-resolution aerial set and panchromatic low-resolution GF-2 satellite set to validate the efficiency of the trained models. Also, the aerial-trained model and GF-2 satellite-trained model as dedicated models were compared with each other, and model trained by all dataset for Object Detection in Aerial Images (DOTA). It is observed that the anchor sizes and augmentation methods can enhance the performance of detection models. k-means algorithm and data augmentation were applied to produce better anchor box selection and avoid overfitting, atmospheric conditions problems, respectively. The accuracy assessment results demonstrate that the aerial-trained model outperforms the GF-2 satellite-trained model. In addition, the results of two dedicated detection models show improved accuracy compared to the DOTA-trained model.
Translated Descriptions
Translated Description (Arabic)
الملخص: يلعب الكشف عن الأجسام في صور الاستشعار عن بعد دورًا مهمًا في العديد من التطبيقات، مثل التتبع وكشف التغيير. مع تطوير خوارزميات التعلم العميق والتقدم في أنظمة الأجهزة، تم تحقيق دقة محسنة في اكتشاف الكائنات المختلفة من صور الاستشعار عن بعد. ومع ذلك، لا يزال اكتشاف الأجسام عبر صور الاستشعار عن بعد غير المتجانسة يمثل مشكلة مهمة، لا سيما بالنسبة للصور الساتلية والجوية. إن تباين الألوان لنفس الأجسام الأرضية، والدقة المتغيرة، وارتفاعات المنصة المختلفة، وتأثير المنظر، وتشوه الصورة الناجم عن زوايا التصوير المتنوعة هي أكبر العقبات في تطبيقات الكشف الجوي عبر الأقمار الصناعية. يهدف البحث إلى الحصول على نموذج ناجح للكشف عن الطائرات من صور الأقمار الصناعية والجوية وتقليل التكلفة والفجوة في وقت إعادة النظر بين أجهزة الاستشعار. تم اختبار الشبكات باستخدام مجموعات اختبار الأقمار الصناعية الجوية و GF -2 و Jilin -1 (JL -1) و Pleiades بعد تدريبها بشكل فردي باستخدام مجموعة RGB الهوائية عالية الدقة ومجموعة الأقمار الصناعية GF -2 منخفضة الدقة للتحقق من كفاءة النماذج المدربة. كما تمت مقارنة النموذج المدرّب جوًا والنموذج المدرّب بالأقمار الصناعية GF -2 كنماذج مخصصة مع بعضهما البعض، والنموذج المدرّب من قبل جميع مجموعات البيانات للكشف عن الأجسام في الصور الجوية (DOTA). لوحظ أن أحجام المرساة وطرق التعزيز يمكن أن تعزز أداء نماذج الكشف. تم تطبيق خوارزمية k - means وزيادة البيانات لإنتاج اختيار أفضل لصندوق المرساة وتجنب التجهيز الزائد، ومشاكل الظروف الجوية، على التوالي. تُظهر نتائج تقييم الدقة أن النموذج المدرّب جوًا يتفوق على النموذج المدرّب بالأقمار الصناعية GF -2. بالإضافة إلى ذلك، تُظهر نتائج نموذجين مخصصين للكشف دقة محسنة مقارنة بالنموذج المدرّب من DOTA.Translated Description (French)
Résumé. La détection d'objets dans l'imagerie de télédétection joue un rôle important dans de nombreuses applications, telles que le suivi et la détection de changements. Avec le développement d'algorithmes d'apprentissage profond et l'avancement des systèmes matériels, des précisions améliorées ont été obtenues dans la détection de divers objets à partir d'images de télédétection. Cependant, la détection d'objets à travers l'imagerie de télédétection hétérogène reste un problème important, en particulier pour l'imagerie satellitaire et aérienne. La variation de couleur pour les mêmes objets au sol, les résolutions variables, les différentes hauteurs de plate-forme, l'effet de parallaxe et la distorsion d'image provoquée par divers angles de prise de vue sont les plus grands obstacles dans les applications de détection aérienne par satellite. La recherche vise à obtenir un modèle réussi pour la détection des avions à partir d'images satellitaires et aériennes et à réduire les coûts et l'écart de temps de revisite entre les capteurs. Les réseaux ont été testés à l'aide d'ensembles de test de satellites aériens, GF-2, Jilin-1 (JL-1) et Pléiades après avoir été entraînés individuellement à l'aide de l'ensemble aérien haute résolution RVB et de l'ensemble de satellites panchromatiques basse résolution GF-2 pour valider l'efficacité des modèles entraînés. En outre, le modèle à formation aérienne et le modèle à formation par satellite GF-2 en tant que modèles dédiés ont été comparés les uns aux autres, et le modèle a été formé par tous les ensembles de données pour la détection d'objets dans les images aériennes (DOTA). On observe que les tailles d'ancrage et les méthodes d'augmentation peuvent améliorer la performance des modèles de détection. L'algorithme k-means et l'augmentation des données ont été appliqués pour produire une meilleure sélection de boîte d'ancrage et éviter les problèmes de surajustement et de conditions atmosphériques, respectivement. Les résultats de l'évaluation de la précision démontrent que le modèle à entraînement aérien surpasse le modèle à entraînement par satellite GF-2. De plus, les résultats de deux modèles de détection dédiés montrent une précision améliorée par rapport au modèle formé par DOTA.Translated Description (Spanish)
Resumen. La detección de objetos en imágenes de teledetección juega un papel importante en muchas aplicaciones, como el seguimiento y la detección de cambios. Con el desarrollo de algoritmos de aprendizaje profundo y el avance en los sistemas de hardware, se han logrado precisiones mejoradas en la detección de diversos objetos a partir de imágenes de teledetección. Sin embargo, la detección de objetos a través de imágenes heterogéneas de teledetección sigue siendo un tema importante, particularmente para imágenes satelitales y aéreas. La variación de color para los mismos objetos terrestres, las resoluciones variables, las diferentes alturas de plataforma, el efecto de paralaje y la distorsión de la imagen provocada por diversos ángulos de disparo son los mayores obstáculos en las aplicaciones de detección aérea por satélite. La investigación tiene como objetivo obtener un modelo exitoso para detectar aeronaves a partir de imágenes satelitales y aéreas y reducir el costo y la brecha de tiempo de revisión entre los sensores. Las redes se probaron utilizando conjuntos de pruebas de satélites aéreos, GF-2, Jilin-1 (JL-1) y Pleiades después de haber sido entrenados individualmente utilizando el conjunto de antenas de alta resolución RGB y el conjunto de satélites GF-2 pancromáticos de baja resolución para validar la eficiencia de los modelos entrenados. Además, el modelo entrenado en vuelo y el modelo entrenado en satélite GF-2 como modelos dedicados se compararon entre sí, y el modelo fue entrenado por todos los conjuntos de datos para la detección de objetos en imágenes aéreas (DOTA). Se observa que los tamaños de anclaje y los métodos de aumento pueden mejorar el rendimiento de los modelos de detección. Se aplicaron el algoritmo k-means y el aumento de datos para producir una mejor selección de la caja de anclaje y evitar problemas de sobreajuste y condiciones atmosféricas, respectivamente. Los resultados de la evaluación de precisión demuestran que el modelo entrenado en vuelo supera al modelo entrenado en satélite GF-2. Además, los resultados de dos modelos de detección dedicados muestran una precisión mejorada en comparación con el modelo entrenado por dota.Files
isprs-annals-X-1-W1-2023-763-2023.pdf.pdf
Files
(1.2 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:614e3c5429b2443673b99b7078872ca0
|
1.2 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تقييم أداء الكشف عن الأجسام من الأقمار الصناعية المتعددة والصور الجوية
- Translated title (French)
- ÉVALUATION DES PERFORMANCES DE LA DÉTECTION D'OBJET À PARTIR DE PLUSIEURS SATELLITES ET D'IMAGES
- Translated title (Spanish)
- EVALUACIÓN DEL RENDIMIENTO DE LA DETECCIÓN DE OBJETOS DESDE MÚLTIPLES SATÉLITES E IMÁGENES AÉREAS
Identifiers
- Other
- https://openalex.org/W4389396005
- DOI
- 10.5194/isprs-annals-x-1-w1-2023-763-2023