The Deep Learning based Smart Navigational Stick for Blind People
- 1. University of Balochistan
- 2. Balochistan University of Information Technology, Engineering and Management Sciences
Description
Blind and visually impaired people find difficulty in detecting obstacles and recognizing people in their way, which makes it dangerous for them to walk, to work, or to go in a crowded area/place. They have to be cautious all the time to move, while avoiding any solid obstacles in their way. Typically, they use different aid devices to reach their destination or to accomplish their daily task. The normal stick is useless for blind and visually impaired people since it cannot detect barriers or people's faces. Visually impaired individuals are unable to distinguish between different types of objects in front of them. They are unable to gauge the size of an object or its distance from them. Several works have been done by public individuals and scientific investigators but their work is dearth in technological aspect. This technological aspect need to be addressed by adding artificial intelligence (AI). This prototype aims to help blind and visually impaired individuals in several aspects to simply obtain/perform everyday tasks and help these individuals to live with the same confidence as sighted people live.Therefore, this study inclined deep learning Mobile-Net Single Shot MultiBox detection (SSD) algorithm for object recognition and Dlib library for face recognition. Subsequently, the proposed solution is using an Open CV and Python. Additionally, Ultrasonic sensors are used for distance measurement, which can be a great help for visually impaired people. These components are grouped together to work effectively and efficiently for the development of visually impaired people. The recognition procedure was revealed through headphones, which notifies the visually impaired when face or any object get recognized. Inclusively, the innovative solution would be a great aid for the blind and visually impaired individuals. As a result, to test and validate the accuracy of the smart navigational stick, several experiments have been conducted on a range of objects and faces. Hence, this study's modified navigational system was adequate and valid for visually impaired people.
Translated Descriptions
Translated Description (Arabic)
يجد الأشخاص المكفوفون وضعاف البصر صعوبة في اكتشاف العقبات والتعرف على الأشخاص في طريقهم، مما يجعل من الخطر عليهم المشي أو العمل أو الذهاب في منطقة/مكان مزدحم. يجب أن يكونوا حذرين طوال الوقت للتحرك، مع تجنب أي عقبات قوية في طريقهم. وعادة ما يستخدمون أجهزة مساعدة مختلفة للوصول إلى وجهتهم أو لإنجاز مهمتهم اليومية. العصا العادية عديمة الفائدة للمكفوفين وضعاف البصر لأنها لا تستطيع اكتشاف الحواجز أو وجوه الناس. الأفراد ضعاف البصر غير قادرين على التمييز بين أنواع مختلفة من الأشياء أمامهم. فهم غير قادرين على قياس حجم جسم ما أو بعده عنهم. تم إنجاز العديد من الأعمال من قبل الأفراد العموميين والمحققين العلميين ولكن عملهم نادر في الجانب التكنولوجي. يجب معالجة هذا الجانب التكنولوجي بإضافة الذكاء الاصطناعي (AI). يهدف هذا النموذج الأوّلي إلى مساعدة الأفراد المكفوفين وضعاف البصر في عدة جوانب للحصول ببساطة على/أداء المهام اليومية ومساعدة هؤلاء الأفراد على العيش بنفس الثقة التي يعيشها الأشخاص المبصرون. لذلك، مالت هذه الدراسة إلى خوارزمية التعلم العميق Mobile - Net Single Shot MultiBox detection (SSD) للتعرف على الأشياء ومكتبة Dlib للتعرف على الوجوه. بعد ذلك، يستخدم الحل المقترح سيرة ذاتية مفتوحة وبايثون. بالإضافة إلى ذلك، يتم استخدام أجهزة الاستشعار بالموجات فوق الصوتية لقياس المسافة، والتي يمكن أن تكون مساعدة كبيرة لضعاف البصر. يتم تجميع هذه المكونات معًا للعمل بفعالية وكفاءة لتطوير الأشخاص ضعاف البصر. تم الكشف عن إجراء التعرف من خلال سماعات الرأس، التي تخطر ضعاف البصر عند التعرف على الوجه أو أي شيء. وبشكل شامل، سيكون الحل المبتكر بمثابة مساعدة كبيرة للأفراد المكفوفين وضعاف البصر. ونتيجة لذلك، لاختبار دقة عصا الملاحة الذكية والتحقق من صحتها، أجريت العديد من التجارب على مجموعة من الأشياء والوجوه. وبالتالي، كان النظام الملاحي المعدل لهذه الدراسة مناسبًا وصالحًا لضعاف البصر.Translated Description (French)
Les aveugles et les malvoyants ont du mal à détecter les obstacles et à reconnaître les personnes qui se trouvent sur leur chemin, ce qui les rend dangereux de marcher, de travailler ou d'aller dans une zone/un endroit surpeuplé. Ils doivent être prudents tout le temps pour bouger, tout en évitant les obstacles solides sur leur chemin. En règle générale, ils utilisent différents dispositifs d'aide pour atteindre leur destination ou pour accomplir leur tâche quotidienne. Le bâton normal est inutile pour les personnes aveugles et malvoyantes car il ne peut pas détecter les barrières ou les visages des personnes. Les personnes malvoyantes sont incapables de faire la distinction entre les différents types d'objets qui se trouvent devant elles. Ils sont incapables d'évaluer la taille d'un objet ou sa distance par rapport à eux. Plusieurs travaux ont été réalisés par des personnes publiques et des chercheurs scientifiques, mais leur travail manque d'aspect technologique. Cet aspect technologique doit être abordé en ajoutant l'intelligence artificielle (IA). Ce prototype vise à aider les personnes aveugles et malvoyantes à plusieurs égards à simplement obtenir/effectuer des tâches quotidiennes et à aider ces personnes à vivre avec la même confiance que les personnes voyantes.Par conséquent, cette étude a incliné l'algorithme de détection MultiBox Mobile-Net Single Shot (SSD) pour la reconnaissance d'objets et la bibliothèque Dlib pour la reconnaissance faciale. Par la suite, la solution proposée utilise un CV ouvert et Python. De plus, les capteurs à ultrasons sont utilisés pour la mesure de distance, ce qui peut être d'une grande aide pour les personnes malvoyantes. Ces composantes sont regroupées pour travailler de manière efficace et efficiente pour le développement des personnes malvoyantes. La procédure de reconnaissance a été révélée par des écouteurs, qui avertissent les malvoyants lorsque le visage ou tout objet est reconnu. Inclusivement, la solution innovante serait d'une grande aide pour les personnes aveugles et malvoyantes. En conséquence, pour tester et valider la précision du bâton de navigation intelligent, plusieurs expériences ont été menées sur une gamme d'objets et de visages. Par conséquent, le système de navigation modifié de cette étude était adéquat et valable pour les personnes malvoyantes.Translated Description (Spanish)
Las personas ciegas y con discapacidad visual tienen dificultades para detectar obstáculos y reconocer a las personas en su camino, lo que hace que sea peligroso para ellos caminar, trabajar o ir a una zona/lugar concurrido. Tienen que ser cautelosos todo el tiempo para moverse, evitando cualquier obstáculo sólido en su camino. Por lo general, utilizan diferentes dispositivos de ayuda para llegar a su destino o para realizar su tarea diaria. El bastón normal es inútil para las personas ciegas y con discapacidad visual, ya que no puede detectar barreras o rostros de las personas. Las personas con discapacidad visual no pueden distinguir entre los diferentes tipos de objetos que tienen delante. Son incapaces de medir el tamaño de un objeto o su distancia de ellos. Varios trabajos han sido realizados por individuos públicos e investigadores científicos, pero su trabajo es escaso en el aspecto tecnológico. Este aspecto tecnológico debe abordarse añadiendo inteligencia artificial (IA). Este prototipo tiene como objetivo ayudar a las personas ciegas y con discapacidad visual en varios aspectos a simplemente obtener/realizar tareas cotidianas y ayudar a estas personas a vivir con la misma confianza que las personas videntes. Por lo tanto, este estudio inclinó el algoritmo de detección de múltiples cajas de disparo único (SSD) de aprendizaje profundo de Mobile-Net para el reconocimiento de objetos y la biblioteca Dlib para el reconocimiento facial. Posteriormente, la solución propuesta es utilizar un CV abierto y Python. Además, los sensores ultrasónicos se utilizan para medir la distancia, lo que puede ser de gran ayuda para las personas con discapacidad visual. Estos componentes se agrupan para trabajar de manera efectiva y eficiente para el desarrollo de las personas con discapacidad visual. El procedimiento de reconocimiento se reveló a través de auriculares, que notifican a las personas con discapacidad visual cuando se reconoce la cara o cualquier objeto. Inclusivamente, la solución innovadora sería una gran ayuda para las personas ciegas y con discapacidad visual. Como resultado, para probar y validar la precisión de la palanca de navegación inteligente, se han realizado varios experimentos en una variedad de objetos y caras. Por lo tanto, el sistema de navegación modificado de este estudio fue adecuado y válido para personas con discapacidad visual.Additional details
Additional titles
- Translated title (Arabic)
- عصا التنقل الذكية القائمة على التعلم العميق للمكفوفين
- Translated title (French)
- Le bâton de navigation intelligent basé sur l'apprentissage en profondeur pour les personnes aveugles
- Translated title (Spanish)
- La palanca de navegación inteligente basada en el aprendizaje profundo para personas ciegas
Identifiers
- Other
- https://openalex.org/W4353076813
- DOI
- 10.32350/umtair.22.05