Published September 1, 2023
| Version v1
Publication
Open
Security Robustness Evolution of Split Edge-Cloud Neural Networks
Creators
- 1. Mohammed V University
- 2. Al Akhawayn University
- 3. Columbus State University
- 4. University of Houston
Description
Abstract Cloud computing, with its novel presence at the cloud Edge, proves indispensable to the success of the fifth (5G) and sixth-generation (6G) networks. This due to the myriad set of expected applications and required stringent constraints on latency and bandwidth, e.g., eHealth and Automotive vehicles which fall under the 5G URLLC (Ultra Reliable and Low Latency Communication) set. In order to reduce bandwidth usage at the Cloud core network and allow for faster latency responses, edge computing proposes a new servicing paradigm consisting of bringing computation and intelligence near where the end users reside, i.e., at the edge of the cloud. This is achieved by the edge infrastructure's ability to support a variety of intelligent and computational jobs at the radio access network (RAN) level. However, many AI tasks, particularly those involving deep learning, pose a challenge as they require significantly more memory and processing capacity, which cannot be provisioned at the edge. Only cloud data centers can do. To address this issue, different edge intelligence methods, such as quantization, pruning, distributed inference, etc., have been proposed in the literature. This research investigates split neural networks (SNN), a neural network architecture with numerous early exits. SNN greatly decreases memory and computing, making it a promising NN architecture for edge devices and applications. Moreover, as the use of these SNNs grows, it becomes increasingly essential to study and validate their safety properties, notably their tolerance to small perturbations, before deploying them in safety-critical applications. This paper presents, as far as we know, the first exploratory work on the robustness assessment of split Edge Cloud neural networks. We evaluated SNN robustness using auto_LiRPA an advance neural network verification tool that is base on bounds calculation. We also compared the relative robustness of SNN to a normal NN, considering the many parameters that influence SNN's robustness. Our experiment results show that SNN not only reduces the average inference time by 3/4. But it also proved to be four to ten times more resilient against adversarial attacks than normal NN.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تثبت الحوسبة السحابية المجردة، بوجودها المبتكر في Cloud Edge، أنها لا غنى عنها لنجاح شبكات الجيل الخامس (5G) والجيل السادس (6G). ويرجع ذلك إلى مجموعة لا تعد ولا تحصى من التطبيقات المتوقعة والقيود الصارمة المطلوبة على الكمون وعرض النطاق الترددي، على سبيل المثال، الصحة الإلكترونية ومركبات السيارات التي تندرج تحت مجموعة 5G URLLC (اتصالات موثوقة للغاية ومنخفضة الكمون). من أجل تقليل استخدام عرض النطاق الترددي في الشبكة الأساسية للسحابة والسماح باستجابات أسرع للكمون، تقترح حوسبة الحافة نموذج خدمة جديدًا يتكون من جلب الحوسبة والذكاء بالقرب من مكان إقامة المستخدمين النهائيين، أي على حافة السحابة. ويتحقق ذلك من خلال قدرة البنية التحتية المتطورة على دعم مجموعة متنوعة من الوظائف الذكية والحسابية على مستوى شبكة الوصول اللاسلكي (RAN). ومع ذلك، فإن العديد من مهام الذكاء الاصطناعي، لا سيما تلك التي تنطوي على التعلم العميق، تشكل تحديًا لأنها تتطلب ذاكرة وقدرة معالجة أكبر بكثير، والتي لا يمكن توفيرها على الحافة. يمكن لمراكز البيانات السحابية فقط القيام بذلك. لمعالجة هذه المشكلة، تم اقتراح طرق مختلفة لذكاء الحواف، مثل التكميم والتقليم والاستدلال الموزع وما إلى ذلك، في الأدبيات. يبحث هذا البحث في الشبكات العصبية المنقسمة (SNN)، وهي بنية شبكة عصبية لها العديد من المخارج المبكرة. يقلل SNN بشكل كبير من الذاكرة والحوسبة، مما يجعله بنية NN واعدة للأجهزة والتطبيقات الطرفية. علاوة على ذلك، مع نمو استخدام SNNs هذه، يصبح من الضروري بشكل متزايد دراسة خصائص سلامتها والتحقق من صحتها، ولا سيما تحملها للاضطرابات الصغيرة، قبل نشرها في التطبيقات الحرجة للسلامة. تقدم هذه الورقة، على حد علمنا، أول عمل استكشافي حول تقييم متانة الشبكات العصبية لسحابة الحافة المنقسمة. قمنا بتقييم متانة SNN باستخدام AUTO_LiRPA وهي أداة متقدمة للتحقق من الشبكة العصبية تستند إلى حساب الحدود. كما قارنا المتانة النسبية لـ SNN بـ NN طبيعي، مع الأخذ في الاعتبار العديد من المعلمات التي تؤثر على متانة SNN. تظهر نتائج تجربتنا أن SNN لا يقلل فقط من متوسط وقت الاستدلال بمقدار 3/4. لكنه أثبت أيضًا أنه أكثر مرونة من أربع إلى عشر مرات ضد الهجمات العدائية من NN العادية.Translated Description (French)
Le cloud computing abstrait, avec sa présence inédite à la périphérie du cloud, s'avère indispensable au succès des réseaux de cinquième (5G) et de sixième génération (6G). Cela est dû à la myriade d'applications attendues et aux contraintes strictes requises sur la latence et la bande passante, par exemple, les véhicules eHealth et automobiles qui relèvent de l'ensemble 5G URLLC (Ultra Reliable and Low Latency Communication). Afin de réduire l'utilisation de la bande passante au niveau du réseau central du cloud et de permettre des réponses de latence plus rapides, l'edge computing propose un nouveau paradigme de service consistant à rapprocher le calcul et l'intelligence de l'endroit où résident les utilisateurs finaux, c'est-à-dire à la périphérie du cloud. Ceci est réalisé par la capacité de l'infrastructure Edge à prendre en charge une variété d'emplois intelligents et informatiques au niveau du réseau d'accès radio (RAN). Cependant, de nombreuses tâches d'IA, en particulier celles impliquant l'apprentissage profond, posent un défi car elles nécessitent beaucoup plus de mémoire et de capacité de traitement, qui ne peuvent pas être provisionnées à la périphérie. Seuls les datacenters cloud peuvent le faire. Pour résoudre ce problème, différentes méthodes d'intelligence de bord, telles que la quantification, l'élagage, l'inférence distribuée, etc., ont été proposées dans la littérature. Cette recherche étudie les réseaux neuronaux divisés (SNN), une architecture de réseau neuronal avec de nombreuses sorties précoces. SNN réduit considérablement la mémoire et l'informatique, ce qui en fait une architecture NN prometteuse pour les périphériques et les applications de pointe. De plus, à mesure que l'utilisation de ces SNN augmente, il devient de plus en plus essentiel d'étudier et de valider leurs propriétés de sécurité, notamment leur tolérance aux petites perturbations, avant de les déployer dans des applications critiques pour la sécurité. Cet article présente, à notre connaissance, les premiers travaux exploratoires sur l'évaluation de la robustesse des réseaux de neurones split Edge Cloud. Nous avons évalué la robustesse du SNN à l'aide d'auto_LiRPA, un outil de vérification avancée du réseau neuronal basé sur le calcul des limites. Nous avons également comparé la robustesse relative du SNN à un NN normal, compte tenu des nombreux paramètres qui influencent la robustesse du SNN. Nos résultats d'expérience montrent que le SNN réduit non seulement le temps d'inférence moyen de 3/4. Mais il s'est également avéré quatre à dix fois plus résistant contre les attaques contradictoires que la NN normale.Translated Description (Spanish)
La computación en la nube abstracta, con su novedosa presencia en el borde de la nube, resulta indispensable para el éxito de las redes de quinta (5G) y sexta generación (6G). Esto se debe a la gran cantidad de aplicaciones esperadas y a las estrictas restricciones requeridas en cuanto a latencia y ancho de banda, por ejemplo, los vehículos eHealth y Automotive que se incluyen en el conjunto 5G URLLC (comunicación ultra confiable y de baja latencia). Con el fin de reducir el uso de ancho de banda en la red central de la nube y permitir respuestas de latencia más rápidas, la computación perimetral propone un nuevo paradigma de servicio que consiste en llevar la computación y la inteligencia cerca de donde residen los usuarios finales, es decir, en el borde de la nube. Esto se logra mediante la capacidad de la infraestructura perimetral para admitir una variedad de trabajos inteligentes y computacionales a nivel de red de acceso por radio (RAN). Sin embargo, muchas tareas de IA, particularmente aquellas que involucran aprendizaje profundo, plantean un desafío, ya que requieren significativamente más memoria y capacidad de procesamiento, que no se pueden aprovisionar en el borde. Solo los centros de datos en la nube pueden hacerlo. Para abordar este problema, se han propuesto diferentes métodos de inteligencia de borde, como la cuantificación, la poda, la inferencia distribuida, etc., en la literatura. Esta investigación investiga las redes neuronales divididas (SNN), una arquitectura de red neuronal con numerosas salidas tempranas. SNN disminuye en gran medida la memoria y la informática, lo que la convierte en una arquitectura NN prometedora para dispositivos y aplicaciones perimetrales. Además, a medida que crece el uso de estas SNN, se vuelve cada vez más esencial estudiar y validar sus propiedades de seguridad, en particular su tolerancia a pequeñas perturbaciones, antes de desplegarlas en aplicaciones críticas para la seguridad. Este documento presenta, hasta donde sabemos, el primer trabajo exploratorio sobre la evaluación de la robustez de las redes neuronales divididas de Edge Cloud. Evaluamos la robustez de SNN utilizando auto_LiRPA, una herramienta avanzada de verificación de redes neuronales que se basa en el cálculo de límites. También comparamos la robustez relativa de SNN con una NN normal, considerando los muchos parámetros que influyen en la robustez de SNN. Los resultados de nuestro experimento muestran que SNN no solo reduce el tiempo medio de inferencia en 3/4. Pero también demostró ser de cuatro a diez veces más resistente contra los ataques adversarios que la NN normal.Files
latest.pdf.pdf
Files
(695.5 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:3d9e0f70b0b874d54cf7084b4137cf42
|
695.5 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- متانة الأمان تطور الشبكات العصبية ذات الحافة المنقسمة
- Translated title (French)
- Robustesse de la sécurité Évolution des réseaux neuronaux Edge-Cloud divisés
- Translated title (Spanish)
- Evolución de la robustez de la seguridad de las redes neuronales de Split Edge-Cloud
Identifiers
- Other
- https://openalex.org/W4386314269
- DOI
- 10.21203/rs.3.rs-3304497/v1
References
- https://openalex.org/W2342045095
- https://openalex.org/W2612193523
- https://openalex.org/W2618530766
- https://openalex.org/W2750384547
- https://openalex.org/W2753783305
- https://openalex.org/W2788160806
- https://openalex.org/W2891698621
- https://openalex.org/W2931743911
- https://openalex.org/W2962677625
- https://openalex.org/W2962835968
- https://openalex.org/W2964121744
- https://openalex.org/W2980361376
- https://openalex.org/W2980856918
- https://openalex.org/W2987686867
- https://openalex.org/W3022426592
- https://openalex.org/W3041782238
- https://openalex.org/W3047565185
- https://openalex.org/W3091661482
- https://openalex.org/W3094179137
- https://openalex.org/W3096000766
- https://openalex.org/W3103245149
- https://openalex.org/W3119097278
- https://openalex.org/W3124022277
- https://openalex.org/W3139123974
- https://openalex.org/W3158020960
- https://openalex.org/W3163307436
- https://openalex.org/W3192448578
- https://openalex.org/W3206423279
- https://openalex.org/W3206767190
- https://openalex.org/W4223940398
- https://openalex.org/W4285112901
- https://openalex.org/W4285151947
- https://openalex.org/W4287281002
- https://openalex.org/W4287553197
- https://openalex.org/W4287864733
- https://openalex.org/W4293649366
- https://openalex.org/W4318619660