Published August 13, 2020
| Version v1
Publication
Open
Reinforcement Learning-Based Routing Protocol to Minimize Channel Switching and Interference for Cognitive Radio Networks
Description
In the existing network-layered architectural stack of Cognitive Radio Ad Hoc Network (CRAHN), channel selection is performed at the Medium Access Control (MAC) layer. However, routing is done on the network layer. Due to this limitation, the Secondary/Unlicensed Users (SUs) need to access the channel information from the MAC layer whenever the channel switching event occurred during the data transmission. This issue delayed the channel selection process during the immediate routing decision for the channel switching event to continue the transmission. In this paper, a protocol is proposed to implement the channel selection decisions at the network layer during the routing process. The decision is based on past and expected future routing decisions of Primary Users (PUs). A learning agent operating in the cross-layer mode of the network-layered architectural stack is implemented in the spectrum mobility manager to pass the channel information to the network layer. This information is originated at the MAC layer. The channel selection is performed on the basis of reinforcement learning algorithms such as No-External Regret Learning, Q -Learning, and Learning Automata. This leads to minimizing the channel switching events and user interferences in the Reinforcement Learning- (RL-) based routing protocol. Simulations are conducted using Cognitive Radio Cognitive Network simulator based on Network Simulator (NS-2). The simulation results showed that the proposed routing protocol performed better than all the other comparative routing protocols in terms of number of channel switching events, average data rate, packet collision, packet loss, and end-to-end delay. The proposed routing protocol implies the improved Quality of Service (QoS) of the delay sensitive and real-time networks such as Cellular and Tele Vision (TV) networks.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
في المكدس المعماري الحالي ذي الطبقات الشبكية للشبكة المخصصة للراديو المعرفي (CRAHN)، يتم اختيار القناة في طبقة التحكم في الوصول المتوسط (MAC). ومع ذلك، يتم التوجيه على طبقة الشبكة. نظرًا لهذا القيد، يحتاج المستخدمون الثانويون/غير المرخص لهم (SUs) إلى الوصول إلى معلومات القناة من طبقة MAC كلما حدث حدث تبديل القناة أثناء نقل البيانات. أدت هذه المشكلة إلى تأخير عملية اختيار القناة أثناء قرار التوجيه الفوري لحدث تبديل القناة لمواصلة الإرسال. في هذه الورقة، يُقترح بروتوكول لتنفيذ قرارات اختيار القناة في طبقة الشبكة أثناء عملية التوجيه. يعتمد القرار على قرارات التوجيه السابقة والمستقبلية المتوقعة للمستخدمين الأساسيين (PUs). يتم تنفيذ عامل التعلم الذي يعمل في وضع الطبقات المتقاطعة للمكدس المعماري ذي الطبقات الشبكية في مدير تنقل الطيف لتمرير معلومات القناة إلى طبقة الشبكة. نشأت هذه المعلومات في طبقة MAC. يتم اختيار القناة على أساس خوارزميات التعلم المعزز مثل التعلم بدون ندم خارجي، والتعلم Q، والتعلم الآلي. وهذا يؤدي إلى تقليل أحداث تبديل القناة وتدخلات المستخدم في بروتوكول التوجيه القائم على التعلم المعزز (RL -). يتم إجراء المحاكاة باستخدام محاكي الشبكة المعرفية للراديو المعرفي بناءً على محاكي الشبكة (NS -2). أظهرت نتائج المحاكاة أن بروتوكول التوجيه المقترح كان أداؤه أفضل من جميع بروتوكولات التوجيه المقارن الأخرى من حيث عدد أحداث تبديل القنوات، ومتوسط معدل البيانات، وتصادم الحزم، وفقدان الحزم، والتأخير من طرف إلى طرف. يتضمن بروتوكول التوجيه المقترح تحسين جودة الخدمة (QoS) للشبكات الحساسة للتأخير وفي الوقت الفعلي مثل الشبكات الخلوية والرؤية عن بعد (TV).Translated Description (French)
Dans la pile architecturale existante du réseau CRAHN (Cognitive Radio Ad Hoc Network), la sélection des canaux est effectuée au niveau de la couche MAC (Medium Access Control). Cependant, le routage se fait sur la couche réseau. En raison de cette limitation, les utilisateurs secondaires/sans licence (SU) doivent accéder aux informations de canal à partir de la couche MAC chaque fois que l'événement de commutation de canal s'est produit pendant la transmission de données. Ce problème a retardé le processus de sélection de canal pendant la décision de routage immédiate pour que l'événement de commutation de canal continue la transmission. Dans cet article, un protocole est proposé pour mettre en œuvre les décisions de sélection de canal au niveau de la couche réseau pendant le processus de routage. La décision est basée sur les décisions de routage passées et futures attendues des utilisateurs principaux (PU). Un agent d'apprentissage fonctionnant dans le mode intercouche de la pile architecturale à couche réseau est mis en œuvre dans le gestionnaire de mobilité de spectre pour transmettre les informations de canal à la couche réseau. Ces informations proviennent de la couche MAC. La sélection du canal est effectuée sur la base d'algorithmes d'apprentissage par renforcement tels que No-External Regret Learning, Q-Learning et Learning Automata. Cela permet de minimiser les événements de commutation de canal et les interférences des utilisateurs dans le protocole de routage basé sur l'apprentissage par renforcement (RL-). Les simulations sont effectuées à l'aide du simulateur de réseau cognitif radioélectrique basé sur le simulateur de réseau (NS-2). Les résultats de la simulation ont montré que le protocole de routage proposé fonctionnait mieux que tous les autres protocoles de routage comparatifs en termes de nombre d'événements de commutation de canal, de débit de données moyen, de collision de paquets, de perte de paquets et de retard de bout en bout. Le protocole de routage proposé implique l'amélioration de la qualité de service (QoS) des réseaux sensibles au retard et en temps réel tels que les réseaux cellulaires et télévisuels (TV).Translated Description (Spanish)
En la pila arquitectónica de capas de red existente de Cognitive Radio Ad Hoc Network (CRAHN), la selección de canales se realiza en la capa de control de acceso al medio (MAC). Sin embargo, el enrutamiento se realiza en la capa de red. Debido a esta limitación, los usuarios secundarios/sin licencia (SU) deben acceder a la información del canal desde la capa MAC siempre que se produzca el evento de conmutación de canal durante la transmisión de datos. Este problema retrasó el proceso de selección de canal durante la decisión de enrutamiento inmediata para que el evento de conmutación de canal continuara la transmisión. En este documento, se propone un protocolo para implementar las decisiones de selección de canal en la capa de red durante el proceso de enrutamiento. La decisión se basa en decisiones de enrutamiento pasadas y futuras esperadas de los Usuarios Primarios (PU). Un agente de aprendizaje que opera en el modo de capas cruzadas de la pila arquitectónica de capas de red se implementa en el administrador de movilidad de espectro para pasar la información de canal a la capa de red. Esta información se origina en la capa MAC. La selección del canal se realiza sobre la base de algoritmos de aprendizaje de refuerzo como No-External Regret Learning, Q-Learning y Learning Automata. Esto lleva a minimizar los eventos de conmutación de canal y las interferencias del usuario en el protocolo de enrutamiento basado en el aprendizaje de refuerzo (RL). Las simulaciones se realizan utilizando el simulador Cognitive Radio Cognitive Network basado en Network Simulator (NS-2). Los resultados de la simulación mostraron que el protocolo de enrutamiento propuesto funcionó mejor que todos los demás protocolos de enrutamiento comparativos en términos de número de eventos de conmutación de canal, velocidad de datos promedio, colisión de paquetes, pérdida de paquetes y retardo de extremo a extremo. El protocolo de enrutamiento propuesto implica la mejora de la Calidad de Servicio (QoS) de las redes sensibles al retardo y en tiempo real, como las redes de Visión Celular y Tele (TV).Files
8257168.pdf.pdf
Files
(15.9 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:26b5c17269ef5bb3d9f8d2473a1cbb94
|
15.9 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- بروتوكول التوجيه القائم على التعلم المعزز لتقليل تبديل القنوات والتداخل لشبكات الراديو المعرفية
- Translated title (French)
- Protocole de routage basé sur l'apprentissage par renforcement pour minimiser la commutation de canaux et les interférences pour les réseaux radio cognitifs
- Translated title (Spanish)
- Protocolo de enrutamiento basado en el aprendizaje de refuerzo para minimizar el cambio de canal y la interferencia para redes de radio cognitivas
Identifiers
- Other
- https://openalex.org/W3048787335
- DOI
- 10.1155/2020/8257168
References
- https://openalex.org/W1987239321
- https://openalex.org/W2018061752
- https://openalex.org/W2033434994
- https://openalex.org/W2092752578
- https://openalex.org/W2120327309
- https://openalex.org/W2131700166
- https://openalex.org/W2133268018
- https://openalex.org/W2133858407
- https://openalex.org/W2162233859
- https://openalex.org/W2168078104
- https://openalex.org/W2169762591
- https://openalex.org/W2406560613
- https://openalex.org/W2756428024
- https://openalex.org/W2784070668
- https://openalex.org/W2789983832
- https://openalex.org/W2797287332
- https://openalex.org/W2913310381
- https://openalex.org/W2946429761
- https://openalex.org/W2979313478
- https://openalex.org/W2981734274
- https://openalex.org/W2987823372
- https://openalex.org/W3013439889
- https://openalex.org/W3021352524
- https://openalex.org/W3022169318
- https://openalex.org/W3028754899
- https://openalex.org/W3031276691