Published August 1, 2020
| Version v1
Publication
Open
Exploring the Impact of Random Telegraph Noise-Induced Accuracy Loss on Resistive RAM-Based Deep Neural Network
Creators
- 1. Shanghai Jiao Tong University
- 2. Loughborough University
- 3. Peking University
- 4. Institute of Microelectronics
- 5. Liverpool John Moores University
Description
For resistive RAM (RRAM)-based deep neural network (DNN), random telegraph noise (RTN) causes accuracy loss during inference. In this article, we systematically investigated the impact of RTN on the complex DNNs with different data sets. By using eight mainstream DNNs and four data sets, we explored the origin that caused the RTN-induced accuracy loss. Based on the understanding, for the first time, we proposed a new method to estimate the accuracy loss. The method was verified with other ten DNN/data set combinations that were not used for establishing the method. Finally, we discussed its potential adoption for the cooptimization of the DNN architecture and the RRAM technology, paving ways to RTN-induced accuracy loss mitigation for future neuromorphic hardware systems.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
بالنسبة للشبكة العصبية العميقة القائمة على الكبش المقاوم (RRAM)، تتسبب ضوضاء التلغراف العشوائية (RTN) في فقدان الدقة أثناء الاستدلال. في هذه المقالة، قمنا بالتحقيق بشكل منهجي في تأثير RTN على DNNs المعقدة بمجموعات بيانات مختلفة. استكشفنا الأصل الذي تسبب في فقدان الدقة الناجم عن RTN من خلال استخدام ثمانية DNNs السائدة وأربع مجموعات من البيانات. بناءً على الفهم، اقترحنا لأول مرة طريقة جديدة لتقدير فقدان الدقة. تم التحقق من الطريقة مع عشر مجموعات أخرى من أسماء النطاقات/مجموعات البيانات التي لم يتم استخدامها لإنشاء الطريقة. أخيرًا، ناقشنا اعتمادها المحتمل لتحسين بنية DNN وتقنية RRAM، مما يمهد الطريق لتخفيف فقدان الدقة الناجم عن RTN لأنظمة الأجهزة العصبية المستقبلية.Translated Description (French)
Pour le réseau neuronal profond (DNN)basé sur la RAM résistive (RRAM), le bruit télégraphique aléatoire (RTN) entraîne une perte de précision lors de l'inférence. Dans cet article, nous avons systématiquement étudié l'impact du RTN sur les DNN complexes avec différents ensembles de données. En utilisant huit DNN traditionnels et quatre ensembles de données, nous avons exploré l'origine qui a causé la perte de précision induite par le RTN. Sur la base de cette compréhension, nous avons proposé pour la première fois une nouvelle méthode pour estimer la perte de précision. La méthode a été vérifiée avec dix autres combinaisons DNN/ensemble de données qui n'ont pas été utilisées pour établir la méthode. Enfin, nous avons discuté de son adoption potentielle pour la cooptimisation de l'architecture DNN et de la technologie RRAM, ouvrant la voie à l'atténuation des pertes de précision induites par RTN pour les futurs systèmes matériels neuromorphes.Translated Description (Spanish)
Para la red neuronal profunda (DNN)basada en RAM resistiva (RRAM), el ruido telegráfico aleatorio (RTN) causa pérdida de precisión durante la inferencia. En este artículo, investigamos sistemáticamente el impacto de RTN en las DNN complejas con diferentes conjuntos de datos. Mediante el uso de ocho DNN principales y cuatro conjuntos de datos, exploramos el origen que causó la pérdida de precisión inducida por RTN. Basándonos en el entendimiento, por primera vez, propusimos un nuevo método para estimar la pérdida de precisión. El método se verificó con otras diez combinaciones de DNN/conjunto de datos que no se utilizaron para establecer el método. Finalmente, discutimos su posible adopción para la cooptimización de la arquitectura DNN y la tecnología RRAM, allanando el camino para la mitigación de la pérdida de precisión inducida por RTN para futuros sistemas de hardware neuromórficos.Files
22968629.pdf.pdf
Files
(853.5 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:8821baba3acc7066b4964ff50ccc1f43
|
853.5 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- استكشاف تأثير فقدان الدقة الناجم عن ضوضاء التلغراف العشوائي على الشبكة العصبية العميقة القائمة على ذاكرة الوصول العشوائي المقاومة
- Translated title (French)
- Exploration de l'impact de la perte de précision induite par le bruit télégraphique aléatoire sur le réseau neuronal profond résistif basé sur la RAM
- Translated title (Spanish)
- Explorando el impacto de la pérdida de precisión inducida por el ruido del telégrafo aleatorio en la red neuronal profunda basada en RAM resistiva
Identifiers
- Other
- https://openalex.org/W3034602727
- DOI
- 10.1109/ted.2020.3002736
References
- https://openalex.org/W1571862906
- https://openalex.org/W1987760418
- https://openalex.org/W2112796928
- https://openalex.org/W2163605009
- https://openalex.org/W2194775991
- https://openalex.org/W2288519604
- https://openalex.org/W2328903318
- https://openalex.org/W2585407525
- https://openalex.org/W2600958979
- https://openalex.org/W2610452982
- https://openalex.org/W2610764740
- https://openalex.org/W2785141883
- https://openalex.org/W2786427112
- https://openalex.org/W2792791240
- https://openalex.org/W2793167577
- https://openalex.org/W2800050615
- https://openalex.org/W2805362231
- https://openalex.org/W2806113867
- https://openalex.org/W2892120106
- https://openalex.org/W2901020704
- https://openalex.org/W2902747250
- https://openalex.org/W2903012893
- https://openalex.org/W2943365647
- https://openalex.org/W2962697884
- https://openalex.org/W2963446712
- https://openalex.org/W2981743243