Published November 30, 2023 | Version v1
Publication Open

A hybrid Cycle GAN-based lightweight road perception pipeline for road dataset generation for Urban mobility

Creators

  • 1. SRM Institute of Science and Technology
  • 2. Najran University
  • 3. Al Jouf University
  • 4. Future University in Egypt
  • 5. Mansoura University

Description

One of the major problems that cause continual trouble in deep learning networks is that training a large network requires massive labelled datasets. The preparation of a massive labelled dataset is a cumbersome task and requires lot of human interventions. This paper proposes a novel generator network 'Sim2Real' transfer is a recent and fast-developing field in machine learning used to bridge the gap between simulated and real data. Training with simulated datasets often converges due to its size but fails to generalize real-world applications. Simulated datasets can be used to train and test deep learning models, enables the development and evaluation of new algorithms and architectures. By simulating road dataset, researchers can generate large amounts of realistic road-traffic dataset that can be used to study and understand several problems such as vehicular object tracking and classification, traffic situation analysis etc. The main advantage of such a transfer algorithm is to use the abundance of a simulated dataset to generate huge realistic-looking datasets to solve data-intense tasks. This work presents a novel, robust sim2real algorithm that converts the labels of a semantic segmentation map to a realistic-looking street view using the Cityscapes dataset and aims to achieve robust urban mobility for smart cities. Further, the generalizability of the Cycle Generative Adversarial Network (CycleGAN) architecture was tested by using an origami robot dataset for sim2real transfer. We show that the results were found to be qualitatively satisfactory for different traffic analysis applications. In addition, road perception was done using a lightweight SVM pipeline and evaluated on the KITTI dataset. We have incorporated Cycle Consistency Loss and Identity Loss as the metrics to evaluate the performance of the proposed Cycle GAN model. We inferred that the proposed Cycle GAN model provides an Identity loss of less than 0.2 in both the Cityscapes dataset and KITTI datasets. Also, we understand that the super-pixel resolution has a good impact on the quantitative results of the proposed Cycle GAN models.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

تتمثل إحدى المشكلات الرئيسية التي تسبب مشكلة مستمرة في شبكات التعلم العميق في أن تدريب شبكة كبيرة يتطلب مجموعات بيانات ضخمة موسومة. يعد إعداد مجموعة بيانات ضخمة موسومة مهمة مرهقة وتتطلب الكثير من التدخلات البشرية. تقترح هذه الورقة أن نقل شبكة المولدات الجديدة "Sim2Real" هو مجال حديث وسريع التطور في التعلم الآلي يستخدم لسد الفجوة بين البيانات المحاكية والحقيقية. غالبًا ما يتقارب التدريب باستخدام مجموعات البيانات المحاكاة بسبب حجمه ولكنه يفشل في تعميم تطبيقات العالم الحقيقي. يمكن استخدام مجموعات البيانات المحاكاة لتدريب واختبار نماذج التعلم العميق، وتمكين تطوير وتقييم الخوارزميات والبنى الجديدة. من خلال محاكاة مجموعة بيانات الطريق، يمكن للباحثين توليد كميات كبيرة من مجموعة بيانات حركة المرور على الطرق الواقعية التي يمكن استخدامها لدراسة وفهم العديد من المشاكل مثل تتبع وتصنيف كائنات المركبات، وتحليل حالة حركة المرور وما إلى ذلك. تتمثل الميزة الرئيسية لخوارزمية النقل هذه في استخدام وفرة مجموعة بيانات محاكاة لإنشاء مجموعات بيانات ضخمة ذات مظهر واقعي لحل المهام كثيفة البيانات. يقدم هذا العمل خوارزمية سيم 2 حقيقية جديدة وقوية تحول تسميات خريطة التجزئة الدلالية إلى عرض شارع ذي مظهر واقعي باستخدام مجموعة بيانات Cityscapes وتهدف إلى تحقيق تنقل حضري قوي للمدن الذكية. علاوة على ذلك، تم اختبار قابلية تعميم بنية Cycle Generative Adversarial Network (CycleGAN) باستخدام مجموعة بيانات روبوت اوريغامي لنقل sim2real. نظهر أن النتائج كانت مرضية نوعيًا لتطبيقات تحليل حركة المرور المختلفة. بالإضافة إلى ذلك، تم تصور الطريق باستخدام خط أنابيب SVM خفيف الوزن وتم تقييمه على مجموعة بيانات KITTI. لقد أدرجنا فقدان تناسق الدورة وفقدان الهوية كمقاييس لتقييم أداء نموذج دورة GAN المقترح. استنتجنا أن نموذج Cycle GAN المقترح يوفر فقدان هوية أقل من 0.2 في كل من مجموعة بيانات Cityscapes ومجموعات بيانات KITTI. كما ندرك أن دقة البكسل الفائق لها تأثير جيد على النتائج الكمية لنماذج Cycle GAN المقترحة.

Translated Description (French)

L'un des principaux problèmes qui causent des problèmes continus dans les réseaux d'apprentissage profond est que la formation d'un grand réseau nécessite des ensembles de données massifs étiquetés. La préparation d'un ensemble de données massivement étiqueté est une tâche fastidieuse et nécessite de nombreuses interventions humaines. Cet article propose un nouveau réseau de générateurs. Le transfert « Sim2Real » est un domaine récent et en développement rapide de l'apprentissage automatique utilisé pour combler le fossé entre les données simulées et réelles. La formation avec des ensembles de données simulés converge souvent en raison de sa taille, mais ne parvient pas à généraliser les applications du monde réel. Les ensembles de données simulés peuvent être utilisés pour former et tester des modèles d'apprentissage profond, ce qui permet le développement et l'évaluation de nouveaux algorithmes et architectures. En simulant un ensemble de données routières, les chercheurs peuvent générer de grandes quantités de données réalistes sur le trafic routier qui peuvent être utilisées pour étudier et comprendre plusieurs problèmes tels que le suivi et la classification des objets véhiculaires, l'analyse de la situation du trafic, etc. Le principal avantage d'un tel algorithme de transfert est d'utiliser l'abondance d'un ensemble de données simulées pour générer d'énormes ensembles de données réalistes pour résoudre des tâches gourmandes en données. Ce travail présente un nouvel algorithme sim2real robuste qui convertit les étiquettes d'une carte de segmentation sémantique en une vue de rue réaliste à l'aide de l'ensemble de données Cityscapes et vise à réaliser une mobilité urbaine robuste pour les villes intelligentes. En outre, la généralisabilité de l'architecture Cycle Generative Adversarial Network (CycleGAN) a été testée en utilisant un ensemble de données de robot origami pour le transfert sim2real. Nous montrons que les résultats ont été jugés qualitativement satisfaisants pour différentes applications d'analyse de trafic. En outre, la perception de la route a été effectuée à l'aide d'un pipeline SVM léger et évaluée sur l'ensemble de données KITTI. Nous avons incorporé la perte de cohérence du cycle et la perte d'identité comme mesures pour évaluer la performance du modèle de GaN DE cycle proposé. Nous avons déduit que le modèle de GaN DE cycle proposé fournit une perte d'identité inférieure à 0,2 dans l'ensemble de données Cityscapes et les ensembles de données KITTI. En outre, nous comprenons que la résolution en super-pixels a un bon impact sur les résultats quantitatifs des modèles de GaN DE cycle proposés.

Translated Description (Spanish)

Uno de los principales problemas que causan problemas continuos en las redes de aprendizaje profundo es que la capacitación de una gran red requiere conjuntos de datos etiquetados masivos. La preparación de un conjunto de datos etiquetado masivo es una tarea engorrosa y requiere muchas intervenciones humanas. Este documento propone una nueva red de generadores de transferencia 'Sim2Real', un campo reciente y de rápido desarrollo en el aprendizaje automático utilizado para cerrar la brecha entre los datos simulados y reales. La capacitación con conjuntos de datos simulados a menudo converge debido a su tamaño, pero no logra generalizar las aplicaciones del mundo real. Los conjuntos de datos simulados se pueden utilizar para entrenar y probar modelos de aprendizaje profundo, lo que permite el desarrollo y la evaluación de nuevos algoritmos y arquitecturas. Al simular el conjunto de datos de carreteras, los investigadores pueden generar grandes cantidades de datos realistas de tráfico por carretera que se pueden utilizar para estudiar y comprender varios problemas, como el seguimiento y la clasificación de objetos vehiculares, el análisis de la situación del tráfico, etc. La principal ventaja de un algoritmo de transferencia de este tipo es utilizar la abundancia de un conjunto de datos simulado para generar enormes conjuntos de datos de aspecto realista para resolver tareas de datos intensos. Este trabajo presenta un novedoso y robusto algoritmo sim2real que convierte las etiquetas de un mapa de segmentación semántica en una vista de calle de aspecto realista utilizando el conjunto de datos Cityscapes y tiene como objetivo lograr una movilidad urbana robusta para las ciudades inteligentes. Además, se probó la generalización de la arquitectura Cycle Generative Adversarial Network (CycleGAN) utilizando un conjunto de datos de robots origami para la transferencia sim2real. Mostramos que los resultados fueron cualitativamente satisfactorios para diferentes aplicaciones de análisis de tráfico. Además, la percepción de la carretera se realizó utilizando un oleoducto SVM liviano y se evaluó en el conjunto de datos KITTI. Hemos incorporado la Pérdida de Consistencia del Ciclo y la Pérdida de Identidad como las métricas para evaluar el desempeño del modelo Cycle GAN propuesto. Dedujimos que el modelo Cycle GAN propuesto proporciona una pérdida de identidad de menos de 0,2 tanto en el conjunto de datos Cityscapes como en los conjuntos de datos KITTI. Además, entendemos que la resolución de superpíxeles tiene un buen impacto en los resultados cuantitativos de los modelos Cycle GAN propuestos.

Files

journal.pone.0293978&type=printable.pdf

Files (3.1 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:4b4fdc7362d41d83f2a74fcdb7081d96
3.1 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
خط أنابيب هجين لتصور الطرق خفيف الوزن قائم على GAN لتوليد مجموعة بيانات الطرق للتنقل الحضري
Translated title (French)
Un pipeline de perception routière léger basé sur le GaN à cycle hybride pour la génération d'ensembles de données routières pour la mobilité urbaine
Translated title (Spanish)
Una tubería de percepción de carreteras ligera basada en Cycle GAN para la generación de conjuntos de datos de carreteras para la movilidad urbana

Identifiers

Other
https://openalex.org/W4389166913
DOI
10.1371/journal.pone.0293978

Is supplement to
https://openalex.org/W4375928479 (Other)
https://openalex.org/W4281381188 (Other)
https://openalex.org/W4206357785 (Other)
https://openalex.org/W3198847674 (Other)
https://openalex.org/W3192840557 (Other)
https://openalex.org/W3167935049 (Other)
https://openalex.org/W3131673289 (Other)
https://openalex.org/W3103940333 (Other)
https://openalex.org/W3023427754 (Other)
https://openalex.org/W2951211570 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
India

References

  • https://openalex.org/W2118246710
  • https://openalex.org/W2512479688
  • https://openalex.org/W2735456451
  • https://openalex.org/W2737186053
  • https://openalex.org/W2806276686
  • https://openalex.org/W2811401051
  • https://openalex.org/W2883090707
  • https://openalex.org/W2920384866
  • https://openalex.org/W2962750014
  • https://openalex.org/W2962793481
  • https://openalex.org/W2962974533
  • https://openalex.org/W2963390419
  • https://openalex.org/W2963800363
  • https://openalex.org/W3003507729
  • https://openalex.org/W3014130736
  • https://openalex.org/W3034600949
  • https://openalex.org/W3034667262
  • https://openalex.org/W3035574324
  • https://openalex.org/W3120785768
  • https://openalex.org/W3149982501
  • https://openalex.org/W3195019475
  • https://openalex.org/W3196616669
  • https://openalex.org/W3206611156
  • https://openalex.org/W4210683627
  • https://openalex.org/W4214912899
  • https://openalex.org/W4296848699
  • https://openalex.org/W4311001965