Hardware-Efficient Stochastic Binary CNN Architectures for Near-Sensor Computing
- 1. Indian Institute of Technology Delhi
- 2. Centre for Nanoscience and Nanotechnology
Description
With recent advances in the field of artificial intelligence (AI) such as binarized neural networks (BNNs), a wide variety of vision applications with energy-optimized implementations have become possible at the edge. Such networks have the first layer implemented with high precision, which poses a challenge in deploying a uniform hardware mapping for the network implementation. Stochastic computing can allow conversion of such high-precision computations to a sequence of binarized operations while maintaining equivalent accuracy. In this work, we propose a fully binarized hardware-friendly computation engine based on stochastic computing as a proof of concept for vision applications involving multi-channel inputs. Stochastic sampling is performed by sampling from a non-uniform (normal) distribution based on analog hardware sources. We first validate the benefits of the proposed pipeline on the CIFAR-10 dataset. To further demonstrate its application for real-world scenarios, we present a case-study of microscopy image diagnostics for pathogen detection. We then evaluate benefits of implementing such a pipeline using OxRAM-based circuits for stochastic sampling as well as in-memory computing-based binarized multiplication. The proposed implementation is about 1,000 times more energy efficient compared to conventional floating-precision-based digital implementations, with memory savings of a factor of 45.
Translated Descriptions
Translated Description (Arabic)
مع التطورات الحديثة في مجال الذكاء الاصطناعي (AI) مثل الشبكات العصبية ثنائية الاستقطاب (BNNs)، أصبحت مجموعة واسعة من تطبيقات الرؤية مع تطبيقات محسنة للطاقة ممكنة على الحافة. تحتوي هذه الشبكات على الطبقة الأولى التي يتم تنفيذها بدقة عالية، مما يشكل تحديًا في نشر تخطيط موحد للأجهزة لتنفيذ الشبكة. يمكن أن تسمح الحوسبة العشوائية بتحويل هذه الحسابات عالية الدقة إلى سلسلة من العمليات الثنائية مع الحفاظ على دقة مكافئة. في هذا العمل، نقترح محرك حوسبة صديق للأجهزة ثنائي الاستقطاب بالكامل يعتمد على الحوسبة العشوائية كدليل على مفهوم تطبيقات الرؤية التي تنطوي على مدخلات متعددة القنوات. يتم إجراء أخذ العينات العشوائية عن طريق أخذ العينات من توزيع غير منتظم (طبيعي) بناءً على مصادر الأجهزة التناظرية. نتحقق أولاً من فوائد خط الأنابيب المقترح على مجموعة بيانات CIFAR -10. لمزيد من توضيح تطبيقه على سيناريوهات العالم الحقيقي، نقدم دراسة حالة لتشخيص صور الفحص المجهري للكشف عن مسببات الأمراض. ثم نقوم بتقييم فوائد تنفيذ خط الأنابيب هذا باستخدام الدوائر القائمة على OxRAM لأخذ العينات العشوائية وكذلك الضرب الثنائي القائم على الحوسبة داخل الذاكرة. التنفيذ المقترح هو حوالي 1000 مرة أكثر كفاءة في استخدام الطاقة مقارنة بالتطبيقات الرقمية التقليدية القائمة على الدقة العائمة، مع توفير الذاكرة بعامل 45.Translated Description (French)
Avec les progrès récents dans le domaine de l'intelligence artificielle (IA) tels que les réseaux neuronaux binarisés (BNN), une grande variété d'applications de vision avec des implémentations optimisées en énergie sont devenues possibles à la périphérie. De tels réseaux ont la première couche mise en œuvre avec une grande précision, ce qui pose un défi dans le déploiement d'un mappage matériel uniforme pour la mise en œuvre du réseau. Le calcul stochastique peut permettre la conversion de tels calculs de haute précision en une séquence d'opérations binarisées tout en maintenant une précision équivalente. Dans ce travail, nous proposons un moteur de calcul compatible avec le matériel entièrement binarisé basé sur le calcul stochastique comme preuve de concept pour les applications de vision impliquant des entrées multicanaux. L'échantillonnage stochastique est effectué par échantillonnage à partir d'une distribution non uniforme (normale) basée sur des sources matérielles analogiques. Nous validons d'abord les avantages du pipeline proposé sur l'ensemble de données CIFAR-10. Pour démontrer davantage son application pour des scénarios du monde réel, nous présentons une étude de cas de diagnostics d'images microscopiques pour la détection d'agents pathogènes. Nous évaluons ensuite les avantages de la mise en œuvre d'un tel pipeline en utilisant des circuits basés sur OxRAM pour l'échantillonnage stochastique ainsi que la multiplication binarisée basée sur le calcul en mémoire. La mise en œuvre proposée est environ 1 000 fois plus économe en énergie que les mises en œuvre numériques conventionnelles basées sur la précision flottante, avec des économies de mémoire d'un facteur 45.Translated Description (Spanish)
Con los recientes avances en el campo de la inteligencia artificial (IA), como las redes neuronales binarizadas (BNN), se ha hecho posible una amplia variedad de aplicaciones de visión con implementaciones de energía optimizada en el borde. Dichas redes tienen la primera capa implementada con alta precisión, lo que plantea un desafío en el despliegue de un mapeo de hardware uniforme para la implementación de la red. La computación estocástica puede permitir la conversión de dichos cálculos de alta precisión a una secuencia de operaciones binarizadas mientras se mantiene una precisión equivalente. En este trabajo, proponemos un motor de cálculo amigable con el hardware completamente binarizado basado en computación estocástica como prueba de concepto para aplicaciones de visión que involucran entradas multicanal. El muestreo estocástico se realiza mediante el muestreo de una distribución no uniforme (normal) basada en fuentes de hardware analógicas. Primero validamos los beneficios del pipeline propuesto en el conjunto de datos CIFAR-10. Para demostrar aún más su aplicación en escenarios del mundo real, presentamos un estudio de caso de diagnósticos de imágenes de microscopía para la detección de patógenos. A continuación, evaluamos los beneficios de implementar dicha canalización utilizando circuitos basados en OxRAM para el muestreo estocástico, así como la multiplicación binarizada basada en computación en memoria. La implementación propuesta es aproximadamente 1.000 veces más eficiente energéticamente en comparación con las implementaciones digitales convencionales basadas en precisión flotante, con un ahorro de memoria de un factor de 45.Files
pdf.pdf
Files
(4.2 MB)
Name | Size | Download all |
---|---|---|
md5:b6686dc1562b2d37794ef2d5d882e45f
|
4.2 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- معماريات سي إن إن الثنائية العشوائية الموفرة للأجهزة للحوسبة شبه المستشعرة
- Translated title (French)
- Architectures CNN binaires stochastiques efficaces sur le plan matériel pour l'informatique proche du capteur
- Translated title (Spanish)
- Arquitecturas CNN binarias estocásticas eficientes en hardware para computación de sensor cercano
Identifiers
- Other
- https://openalex.org/W4205483694
- DOI
- 10.3389/fnins.2021.781786
References
- https://openalex.org/W1494052777
- https://openalex.org/W2003056114
- https://openalex.org/W2162899289
- https://openalex.org/W2163605009
- https://openalex.org/W2319920447
- https://openalex.org/W2344162344
- https://openalex.org/W2521732732
- https://openalex.org/W2569973891
- https://openalex.org/W2588666075
- https://openalex.org/W2762731122
- https://openalex.org/W2765234579
- https://openalex.org/W2767240032
- https://openalex.org/W2768900401
- https://openalex.org/W2889292885
- https://openalex.org/W2897750474
- https://openalex.org/W2905949027
- https://openalex.org/W2912358078
- https://openalex.org/W2942693802
- https://openalex.org/W2943178787
- https://openalex.org/W2945146780
- https://openalex.org/W2946942415
- https://openalex.org/W2950865323
- https://openalex.org/W2953883537
- https://openalex.org/W2963029056
- https://openalex.org/W2963671426
- https://openalex.org/W2963820107
- https://openalex.org/W2964121744
- https://openalex.org/W2971887892
- https://openalex.org/W2975565280
- https://openalex.org/W2981124343
- https://openalex.org/W2997055188
- https://openalex.org/W2999068160
- https://openalex.org/W3005812750
- https://openalex.org/W3006566323
- https://openalex.org/W3018017823
- https://openalex.org/W3033896703
- https://openalex.org/W3044327318
- https://openalex.org/W3104775050
- https://openalex.org/W3125908175