Published October 4, 2021
| Version v1
Publication
Open
SFGAN: Unsupervised Generative Adversarial Learning of 3D Scene Flow from the 3D Scene Self
- 1. Shanghai Jiao Tong University
- 2. China University of Mining and Technology
- 3. Ministry of Education of the People's Republic of China
Description
3D scene flow presents the 3D motion of each point in the 3D space, which forms the fundamental 3D motion perception for autonomous driving and server robots. Although the RGBD camera or LiDAR capture discrete 3D points in space, the objects and motions usually are continuous in the macro world. That is, the objects keep themselves consistent as they flow from the current frame to the next frame. Based on this insight, the Generative Adversarial Networks (GAN) is utilized to self-learn 3D scene flow with no need for ground truth. The fake point cloud of the second frame is synthesized from the predicted scene flow and the point cloud of the first frame. The adversarial training of the generator and discriminator is realized through synthesizing indistinguishable fake point cloud and discriminating the real point cloud and the synthesized fake point cloud. The experiments on KITTI scene flow dataset show that our method realizes promising results without ground truth. Just like a human observing a real-world scene, the proposed approach is capable of determining the consistency of the scene at different moments in spite of the exact flow value of each point is unknown in advance. Corresponding author(s) Email: wanghesheng@sjtu.edu.cn
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يعرض تدفق المشهد ثلاثي الأبعاد الحركة ثلاثية الأبعاد لكل نقطة في الفضاء ثلاثي الأبعاد، والتي تشكل الإدراك الأساسي للحركة ثلاثية الأبعاد للقيادة الذاتية وروبوتات الخادم. على الرغم من أن كاميرا RGBD أو LiDAR تلتقط نقاطًا ثلاثية الأبعاد منفصلة في الفضاء، إلا أن الكائنات والحركات عادة ما تكون مستمرة في العالم الكلي. أي أن الأجسام تحافظ على اتساقها أثناء تدفقها من الإطار الحالي إلى الإطار التالي. بناءً على هذه الرؤية، يتم استخدام شبكات الخصومة التوليدية (GAN) للتعلم الذاتي لتدفق المشهد ثلاثي الأبعاد دون الحاجة إلى الحقيقة الأرضية. يتم تصنيع السحابة النقطية المزيفة للإطار الثاني من تدفق المشهد المتوقع والسحابة النقطية للإطار الأول. يتم تحقيق التدريب العدائي للمولد والمميز من خلال تجميع سحابة نقطية مزيفة لا يمكن تمييزها وتمييز السحابة النقطية الحقيقية والسحابة النقطية المزيفة المركبة. تُظهر التجارب على مجموعة بيانات تدفق مشهد كيتي أن طريقتنا تحقق نتائج واعدة دون معرفة الحقيقة على أرض الواقع. تمامًا مثل الإنسان الذي يراقب مشهدًا في العالم الحقيقي، فإن النهج المقترح قادر على تحديد اتساق المشهد في لحظات مختلفة على الرغم من أن قيمة التدفق الدقيقة لكل نقطة غير معروفة مسبقًا. المؤلف(المؤلفون) المراسلون البريد الإلكتروني: wanghesheng@sjtu.edu.cnTranslated Description (French)
Le flux de scène 3D présente le mouvement 3D de chaque point de l'espace 3D, qui forme la perception de mouvement 3D fondamentale pour les robots de conduite autonome et de serveur. Bien que la caméra RGBD ou le LiDAR capturent des points 3D discrets dans l'espace, les objets et les mouvements sont généralement continus dans le monde macro. C'est-à-dire que les objets restent cohérents lorsqu'ils passent de l'image actuelle à l'image suivante. Sur la base de ces informations, le Generative Adversarial Networks (GaN) est utilisé pour auto-apprendre le flux de scène 3D sans avoir besoin de vérité sur le terrain. Le faux nuage de points de la deuxième image est synthétisé à partir du flux de scène prédit et du nuage de points de la première image. La formation contradictoire du générateur et du discriminateur est réalisée en synthétisant un faux nuage de points indiscernable et en discriminant le vrai nuage de points et le faux nuage de points synthétisé. Les expériences sur l'ensemble de données de flux de scène KITTI montrent que notre méthode réalise des résultats prometteurs sans vérité de terrain. Tout comme un humain observant une scène du monde réel, l'approche proposée est capable de déterminer la cohérence de la scène à différents moments malgré que la valeur exacte du débit de chaque point soit inconnue à l'avance. Auteur(s) correspondant (s) Email : wanghesheng@sjtu.edu.cnTranslated Description (Spanish)
El flujo de escena 3D presenta el movimiento 3D de cada punto en el espacio 3D, que forma la percepción de movimiento 3D fundamental para la conducción autónoma y los robots servidores. Aunque la cámara RGBD o LiDAR capturan puntos 3D discretos en el espacio, los objetos y movimientos suelen ser continuos en el mundo macro. Es decir, los objetos se mantienen consistentes a medida que fluyen del fotograma actual al siguiente. Con base en esta información, las Redes Generativas Adversarias (GAN) se utilizan para autoaprender el flujo de escenas en 3D sin necesidad de verdad en el terreno. La nube de puntos falsa del segundo fotograma se sintetiza a partir del flujo de escena previsto y la nube de puntos del primer fotograma. El entrenamiento contradictorio del generador y el discriminador se realiza sintetizando una nube de puntos falsa indistinguible y discriminando la nube de puntos real y la nube de puntos falsa sintetizada. Los experimentos en el conjunto de datos de flujo de escena KITTI muestran que nuestro método logra resultados prometedores sin la verdad fundamental. Al igual que un humano que observa una escena del mundo real, el enfoque propuesto es capaz de determinar la consistencia de la escena en diferentes momentos a pesar de que se desconoce de antemano el valor exacto del flujo de cada punto. Autor(es) correspondiente (s) Correo electrónico: wanghesheng@sjtu.edu.cnFiles
au.163335790.03073492.pdf
Files
(1.4 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:93aa304be3ab054c370b86ec075c6397
|
1.4 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- SFGAN: التعلم العدائي التوليدي غير الخاضع للإشراف لتدفق المشهد ثلاثي الأبعاد من ذات المشهد ثلاثي الأبعاد
- Translated title (French)
- SFGAN : Apprentissage Adversarial Génératif Non Supervisé du Flux de Scène 3D à partir du Soi de Scène 3D
- Translated title (Spanish)
- SFGAN: Aprendizaje adversario generativo no supervisado del flujo de escena 3D desde el yo de la escena 3D
Identifiers
- Other
- https://openalex.org/W3213294445
- DOI
- 10.22541/au.163335790.03073492/v1
References
- https://openalex.org/W1495986922
- https://openalex.org/W1921093919
- https://openalex.org/W2044096295
- https://openalex.org/W2088692258
- https://openalex.org/W2119090229
- https://openalex.org/W2123277060
- https://openalex.org/W2150066425
- https://openalex.org/W2161914072
- https://openalex.org/W2779333428
- https://openalex.org/W2962771259
- https://openalex.org/W2963231572
- https://openalex.org/W2963782415
- https://openalex.org/W2971686478
- https://openalex.org/W2990613095
- https://openalex.org/W3000681136
- https://openalex.org/W3007774126
- https://openalex.org/W3034321406
- https://openalex.org/W3040403216
- https://openalex.org/W3092856933
- https://openalex.org/W3100388886
- https://openalex.org/W3100901464
- https://openalex.org/W3127986322
- https://openalex.org/W3128818397
- https://openalex.org/W3130140376
- https://openalex.org/W3187838476
- https://openalex.org/W3198502935
- https://openalex.org/W4242919709
- https://openalex.org/W4254347079