Learning heterogeneous delays in a layer of spiking neurons for fast motion detection
- 1. Aix-Marseille Université
- 2. Institut de Neurosciences de la Timone
- 3. Centre National de la Recherche Scientifique
- 4. Centre National pour la Recherche Scientifique et Technique (CNRST)
Description
Abstract The response of a biological neuron depends on the precise timing of afferent spikes. This temporal aspect of the neuronal code is essential in understanding information processing in neurobiology and applies particularly well to the output of neuromorphic hardware such as event-based cameras. However, most artificial neuronal models do not take advantage of this minute temporal dimension. Inspired by this neuroscientific observation, we develop a model for the efficient detection of temporal spiking motifs based on a layer of neurons with heterogeneous delays which we apply to the computer vision task of motion detection. Indeed, the variety of synaptic delays on the dendritic tree allows to synchronize synaptic inputs as they reach the basal dendritic tree. We show this can be formalized as a time-invariant logistic regression which can be trained using labeled data. We apply this model to solve the specific computer vision problem of motion detection, and demonstrate its application to synthetic naturalistic videos transformed into event streams similar to the output of event-based cameras. In particular, we quantify how the accuracy of the model can vary with the total computational load. This end-to-end event-driven computational brick could help improve the performance of future Spiking Neural Network (SNN) algorithms and their prospective use in neuromorphic chips.
Translated Descriptions
Translated Description (Arabic)
الخلاصة تعتمد استجابة الخلية العصبية البيولوجية على التوقيت الدقيق للطفرات الواردة. هذا الجانب الزمني من الشفرة العصبية ضروري لفهم معالجة المعلومات في علم الأحياء العصبي وينطبق بشكل جيد على مخرجات الأجهزة العصبية مثل الكاميرات القائمة على الأحداث. ومع ذلك، فإن معظم النماذج العصبية الاصطناعية لا تستفيد من هذا البعد الزمني الدقيق. مستوحاة من هذه الملاحظة العلمية العصبية، نقوم بتطوير نموذج للكشف الفعال عن الزخارف المتصاعدة الزمنية بناءً على طبقة من الخلايا العصبية مع تأخيرات غير متجانسة نطبقها على مهمة رؤية الكمبيوتر للكشف عن الحركة. في الواقع، يسمح تنوع التأخيرات المتشابكة على الشجرة المتغصنة بمزامنة المدخلات المتشابكة عند وصولها إلى الشجرة المتغصنة القاعدية. نظهر أن هذا يمكن إضفاء الطابع الرسمي عليه باعتباره انحدارًا لوجستيًا متغيرًا زمنيًا يمكن تدريبه باستخدام بيانات مصنفة. نطبق هذا النموذج لحل مشكلة رؤية الكمبيوتر المحددة للكشف عن الحركة، ونوضح تطبيقه على مقاطع الفيديو الطبيعية الاصطناعية التي تحولت إلى تدفقات أحداث مماثلة لإخراج الكاميرات القائمة على الأحداث. على وجه الخصوص، نحدد كيف يمكن أن تختلف دقة النموذج مع إجمالي الحمل الحسابي. يمكن أن يساعد هذا الطوب الحسابي الذي يحركه الحدث من البداية إلى النهاية في تحسين أداء خوارزميات الشبكة العصبية المتصاعدة المستقبلية (SNN) واستخدامها المحتمل في الرقائق العصبية.Translated Description (French)
Résumé La réponse d'un neurone biologique dépend du moment précis des pics afférents. Cet aspect temporel du code neuronal est essentiel pour comprendre le traitement de l'information en neurobiologie et s'applique particulièrement bien à la sortie de matériel neuromorphe tel que les caméras événementielles. Cependant, la plupart des modèles neuronaux artificiels ne profitent pas de cette dimension temporelle minuscule. Inspirés par cette observation neuroscientifique, nous développons un modèle pour la détection efficace de motifs de pointes temporelles basé sur une couche de neurones avec des retards hétérogènes que nous appliquons à la tâche de vision par ordinateur de détection de mouvement. En effet, la variété des retards synaptiques sur l'arbre dendritique permet de synchroniser les entrées synaptiques au fur et à mesure qu'elles atteignent l'arbre dendritique basal. Nous montrons que cela peut être formalisé comme une régression logistique invariante dans le temps qui peut être formée à l'aide de données étiquetées. Nous appliquons ce modèle pour résoudre le problème spécifique de vision par ordinateur de la détection de mouvement, et démontrons son application aux vidéos naturalistes synthétiques transformées en flux d'événements similaires à la sortie des caméras basées sur les événements. En particulier, nous quantifions comment la précision du modèle peut varier avec la charge totale de calcul. Cette brique de calcul de bout en bout axée sur les événements pourrait aider à améliorer les performances des futurs algorithmes de réseau neuronal de pointe (SNN) et leur utilisation prospective dans les puces neuromorphiques.Translated Description (Spanish)
Resumen La respuesta de una neurona biológica depende del momento preciso de los picos aferentes. Este aspecto temporal del código neuronal es esencial para comprender el procesamiento de la información en neurobiología y se aplica particularmente bien a la producción de hardware neuromórfico, como las cámaras basadas en eventos. Sin embargo, la mayoría de los modelos neuronales artificiales no aprovechan esta diminuta dimensión temporal. Inspirándonos en esta observación neurocientífica, desarrollamos un modelo para la detección eficiente de motivos de picos temporales basado en una capa de neuronas con retrasos heterogéneos que aplicamos a la tarea de visión por ordenador de detección de movimiento. De hecho, la variedad de retrasos sinápticos en el árbol dendrítico permite sincronizar las entradas sinápticas a medida que llegan al árbol dendrítico basal. Mostramos que esto se puede formalizar como una regresión logística invariante en el tiempo que se puede entrenar utilizando datos etiquetados. Aplicamos este modelo para resolver el problema específico de visión artificial de la detección de movimiento y demostramos su aplicación a videos naturalistas sintéticos transformados en flujos de eventos similares a la salida de cámaras basadas en eventos. En particular, cuantificamos cómo la precisión del modelo puede variar con la carga computacional total. Este ladrillo computacional impulsado por eventos de extremo a extremo podría ayudar a mejorar el rendimiento de los futuros algoritmos de redes neuronales de punta (SNN) y su uso prospectivo en chips neuromórficos.Files
latest.pdf.pdf
Files
(586.6 kB)
Name | Size | Download all |
---|---|---|
md5:d94450a79f4c69267abb78ee51a85f30
|
586.6 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تعلم التأخيرات غير المتجانسة في طبقة من الخلايا العصبية المتصاعدة للكشف السريع عن الحركة
- Translated title (French)
- Apprentissage de retards hétérogènes dans une couche de neurones dopants pour une détection de mouvement rapide
- Translated title (Spanish)
- Aprendizaje de retrasos heterogéneos en una capa de neuronas puntiagudas para la detección rápida de movimiento
Identifiers
- Other
- https://openalex.org/W4304193035
- DOI
- 10.21203/rs.3.rs-2120999/v1
References
- https://openalex.org/W1771450670
- https://openalex.org/W1926086117
- https://openalex.org/W1967615410
- https://openalex.org/W1972152996
- https://openalex.org/W1973752972
- https://openalex.org/W1980574122
- https://openalex.org/W1984757472
- https://openalex.org/W1998339166
- https://openalex.org/W2001465022
- https://openalex.org/W2003400208
- https://openalex.org/W2007815184
- https://openalex.org/W2012189712
- https://openalex.org/W2021046196
- https://openalex.org/W2021107755
- https://openalex.org/W2021173792
- https://openalex.org/W2034173946
- https://openalex.org/W2041247265
- https://openalex.org/W2043175164
- https://openalex.org/W2064869244
- https://openalex.org/W2098881438
- https://openalex.org/W2102176678
- https://openalex.org/W2104477723
- https://openalex.org/W2105848238
- https://openalex.org/W2107281198
- https://openalex.org/W2112796928
- https://openalex.org/W2114866738
- https://openalex.org/W2115831804
- https://openalex.org/W2117565363
- https://openalex.org/W2117761613
- https://openalex.org/W2124440336
- https://openalex.org/W2127388521
- https://openalex.org/W2128432504
- https://openalex.org/W2130589631
- https://openalex.org/W2142143511
- https://openalex.org/W2145749918
- https://openalex.org/W2145889472
- https://openalex.org/W2162489171
- https://openalex.org/W2172122397
- https://openalex.org/W2192309165
- https://openalex.org/W2265054862
- https://openalex.org/W2296890747
- https://openalex.org/W2341008280
- https://openalex.org/W2378464239
- https://openalex.org/W2469278928
- https://openalex.org/W2554193445
- https://openalex.org/W2569813014
- https://openalex.org/W2581270637
- https://openalex.org/W2766843815
- https://openalex.org/W2800860906
- https://openalex.org/W2892496125
- https://openalex.org/W2901297858
- https://openalex.org/W2921082809
- https://openalex.org/W2950764922
- https://openalex.org/W2962835968
- https://openalex.org/W3015854248
- https://openalex.org/W3101221933
- https://openalex.org/W3103043140
- https://openalex.org/W3123243010
- https://openalex.org/W3124478039
- https://openalex.org/W4200269789
- https://openalex.org/W4220653961
- https://openalex.org/W4226494289
- https://openalex.org/W4239406220
- https://openalex.org/W4240035482
- https://openalex.org/W4246582271
- https://openalex.org/W4286208472
- https://openalex.org/W4286787795
- https://openalex.org/W4385216929