Published April 8, 2021
| Version v1
Publication
Multitasking in RNN: an analysis exploring the combination of simple tasks
Creators
- 1. National University of Quilmes
- 2. Consejo Nacional de Investigaciones Científicas y Técnicas
Description
Abstract The brain and artificial neural networks are capable of performing multiple tasks. The mechanisms through which simultaneous tasks are performed by the same set of units in the brain are not yet entirely clear. Such systems can be modular or mixed selective through some variables such as sensory stimulus. Recurrent neural networks can help to a better understanding of those mechanisms. Based on simple tasks studied previously in Jarne 2020 arXiv Preprint 2005.13074, multitasking networks were trained and analyzed. In present work, a simple model that can perform multiple tasks using a contextual signal was studied, trying to illuminate mechanisms similar to those that could occur in biological brains. Backpropagation through time allows training networks with multitasking, but the realizations obtained are not unique. Different realizations for the same set of tasks are possible. Here the analysis of the dynamics and emergent behavior of their units is presented. The goal is to try to describe better the models used to describe different processes in the cortex.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
الملخص: الدماغ والشبكات العصبية الاصطناعية قادرة على أداء مهام متعددة. الآليات التي يتم من خلالها تنفيذ المهام المتزامنة من قبل نفس مجموعة الوحدات في الدماغ ليست واضحة تمامًا بعد. يمكن أن تكون هذه الأنظمة معيارية أو انتقائية مختلطة من خلال بعض المتغيرات مثل المنبه الحسي. يمكن أن تساعد الشبكات العصبية المتكررة في فهم أفضل لتلك الآليات. استنادًا إلى المهام البسيطة التي تمت دراستها سابقًا في Jarne 2020 arXiv Preprint 2005.13074، تم تدريب شبكات تعدد المهام وتحليلها. في العمل الحالي، تمت دراسة نموذج بسيط يمكنه أداء مهام متعددة باستخدام إشارة سياقية، في محاولة لإلقاء الضوء على آليات مماثلة لتلك التي يمكن أن تحدث في الأدمغة البيولوجية. يسمح الانتشار الخلفي عبر الزمن لشبكات التدريب بتعدد المهام، لكن الإنجازات التي تم الحصول عليها ليست فريدة من نوعها. من الممكن تحقيق إنجازات مختلفة لنفس المجموعة من المهام. هنا يتم تقديم تحليل الديناميكيات والسلوك الناشئ لوحداتهم. الهدف هو محاولة وصف النماذج المستخدمة لوصف العمليات المختلفة في القشرة بشكل أفضل.Translated Description (French)
Résumé Le cerveau et les réseaux de neurones artificiels sont capables d'effectuer de multiples tâches. Les mécanismes par lesquels les tâches simultanées sont effectuées par le même ensemble d'unités dans le cerveau ne sont pas encore tout à fait clairs. De tels systèmes peuvent être modulaires ou sélectifs mixtes par le biais de certaines variables telles que le stimulus sensoriel. Les réseaux de neurones récurrents peuvent aider à mieux comprendre ces mécanismes. Sur la base de tâches simples étudiées précédemment dans Jarne 2020 arXiv Preprint 2005.13074, des réseaux multitâches ont été formés et analysés. Dans le présent travail, un modèle simple capable d'effectuer plusieurs tâches à l'aide d'un signal contextuel a été étudié, en essayant d'éclairer des mécanismes similaires à ceux qui pourraient se produire dans les cerveaux biologiques. La rétropropagation dans le temps permet de former des réseaux avec du multitâche, mais les réalisations obtenues ne sont pas uniques. Différentes réalisations pour le même ensemble de tâches sont possibles. Ici, l'analyse de la dynamique et du comportement émergent de leurs unités est présentée. L'objectif est d'essayer de mieux décrire les modèles utilisés pour décrire les différents processus dans le cortex.Translated Description (Spanish)
Resumen El cerebro y las redes neuronales artificiales son capaces de realizar múltiples tareas. Los mecanismos a través de los cuales las tareas simultáneas son realizadas por el mismo conjunto de unidades en el cerebro aún no están del todo claros. Dichos sistemas pueden ser modulares o mixtos selectivos a través de algunas variables como el estímulo sensorial. Las redes neuronales recurrentes pueden ayudar a comprender mejor esos mecanismos. Con base en tareas simples estudiadas previamente en Jarne 2020 arXiv Preprint 2005.13074, se capacitaron y analizaron redes multitarea. En el presente trabajo, se estudió un modelo simple que puede realizar múltiples tareas utilizando una señal contextual, tratando de iluminar mecanismos similares a los que podrían ocurrir en los cerebros biológicos. La retropropagación a través del tiempo permite entrenar redes con multitarea, pero las realizaciones obtenidas no son únicas. Son posibles diferentes realizaciones para el mismo conjunto de tareas. Aquí se presenta el análisis de la dinámica y comportamiento emergente de sus unidades. El objetivo es tratar de describir mejor los modelos utilizados para describir diferentes procesos en la corteza.Additional details
Additional titles
- Translated title (Arabic)
- تعدد المهام في RNN: تحليل يستكشف مجموعة من المهام البسيطة
- Translated title (French)
- Multitâche dans RNN : une analyse explorant la combinaison de tâches simples
- Translated title (Spanish)
- Multitarea en RNN: un análisis que explora la combinación de tareas simples
Identifiers
- Other
- https://openalex.org/W3121459786
- DOI
- 10.1088/2632-072x/abdee3
References
- https://openalex.org/W1980324747
- https://openalex.org/W1995842804
- https://openalex.org/W2015803599
- https://openalex.org/W2017539895
- https://openalex.org/W2039611165
- https://openalex.org/W2047125104
- https://openalex.org/W2058047059
- https://openalex.org/W2097996618
- https://openalex.org/W2102701721
- https://openalex.org/W2103179919
- https://openalex.org/W2112246162
- https://openalex.org/W2121102898
- https://openalex.org/W2165150869
- https://openalex.org/W2725150524
- https://openalex.org/W2772691327
- https://openalex.org/W2787262037
- https://openalex.org/W2899576510
- https://openalex.org/W2908124316
- https://openalex.org/W2950139980
- https://openalex.org/W2963133696
- https://openalex.org/W2972324216
- https://openalex.org/W2973148902
- https://openalex.org/W3037645654
- https://openalex.org/W3041725488
- https://openalex.org/W3103661359