Published January 1, 2022
| Version v1
Publication
Open
Developing Novel Activation Functions Based Deep Learning LSTM for Classification
- 1. Al Azhar University
- 2. South Valley University
Description
This study proposes novel Long Short-Term Memory (LSTM)-based classifiers through developing the internal structure of LSTM neural networks using 26 state activation functions as alternatives to the traditional hyperbolic tangent (tanh) activation function.The LSTM networks have high performance in solving the vanishing gradient problem that is observed in recurrent neural networks.Performance investigations were carried out utilizing three distinct deep learning optimization algorithms to evaluate the efficiency of the proposed state activation functions-based LSTM classifiers for two different classification tasks.The simulation results demonstrate that the proposed classifiers that use the Modified Elliott, Softsign, Sech, Gaussian, Bitanh1, Bitanh2 and Wave as state activation functions trump the tanh-based LSTM classifiers in terms of classification accuracy.The proposed classifiers are encouraged to be utilized and tested for other classification tasks.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تقترح هذه الدراسة مصنفات جديدة قائمة على الذاكرة طويلة الأجل (LSTM) من خلال تطوير الهيكل الداخلي للشبكات العصبية LSTM باستخدام 26 وظيفة تنشيط حالة كبدائل لوظيفة تنشيط الظل الزائدي التقليدية (tanh). تتمتع شبكات LSTM بأداء عالٍ في حل مشكلة التدرج المتلاشي التي يتم ملاحظتها في الشبكات العصبية المتكررة. تم إجراء تحقيقات الأداء باستخدام ثلاث خوارزميات متميزة لتحسين التعلم العميق لتقييم كفاءة مصنفات LSTM القائمة على وظائف تنشيط الحالة المقترحة لمهمتين مختلفتين للتصنيف. تُظهر نتائج المحاكاة أن المصنفات المقترحة التي تستخدم مصنفات Modified Elliott و Softsign و Sech و Gaussian و Bitanh1 و Bitanh2 و Wave كوظائف تنشيط حالة تتفوق على مصنفات LSTM القائمة على tanh من حيث دقة التصنيف. يتم تشجيع المصنفات المقترحة على استخدامها واختبارها لمهام التصنيف الأخرى.Translated Description (French)
Cette étude propose de nouveaux classificateurs basés sur la mémoire à long terme (LSTM) en développant la structure interne des réseaux neuronaux LSTM en utilisant 26 fonctions d'activation d'état comme alternatives à la fonction traditionnelle d'activation de tangente hyperbolique (tanh). Les réseaux LSTM ont de hautes performances dans la résolution du problème de gradient de disparition qui est observé dans les réseaux neuronaux récurrents. Des enquêtes de performance ont été menées en utilisant trois algorithmes distincts d'optimisation d'apprentissage profond pour évaluer l'efficacité des classificateurs LSTM basés sur les fonctions d'activation d'état proposées pour deux tâches de classification différentes. Les résultats de simulation démontrent que les classificateurs proposés qui utilisent les fonctions Elliott, Softsign, Sech, Gaussian, Bitanh1, Bitanh2 et Wave modifiées comme fonctions d'activation d'état l'emportent sur les classificateurs LSTM basés sur tanh en termes de précision de classification. Les classificateurs proposés sont encouragés à être utilisés et testés pour d'autres tâches de classification.Translated Description (Spanish)
Este estudio propone clasificadores novedosos basados en la memoria a largo plazo (LSTM) a través del desarrollo de la estructura interna de las redes neuronales LSTM utilizando 26 funciones de activación de estado como alternativas a la función de activación tradicional de tangente hiperbólica (tanh). Las redes LSTM tienen un alto rendimiento en la resolución del problema de gradiente de fuga que se observa en las redes neuronales recurrentes. Las investigaciones de rendimiento se llevaron a cabo utilizando tres algoritmos distintos de optimización de aprendizaje profundo para evaluar la eficiencia de los clasificadores LSTM basados en funciones de activación de estado propuestos para dos tareas de clasificación diferentes. Los resultados de la simulación demuestran que los clasificadores propuestos que utilizan las funciones Elliott, Softsign, Sech, Gaussian, Bitanh1, Bitanh2 y Wave modificadas como funciones de activación de estado superan a los clasificadores LSTM basados en tanh en términos de precisión de clasificación. Se alienta a los clasificadores propuestos a ser utilizados y probados para otras tareas de clasificación.Files
09885032.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:35035905604e59b9037f47ca59168f63
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تطوير وظائف التنشيط الجديدة القائمة على التعلم العميق LSTM للتصنيف
- Translated title (French)
- Développement de nouvelles fonctions d'activation basées sur l'apprentissage profond LSTM pour la classification
- Translated title (Spanish)
- Desarrollo de nuevas funciones de activación basadas en aprendizaje profundo LSTM para la clasificación
Identifiers
- Other
- https://openalex.org/W4295308730
- DOI
- 10.1109/access.2022.3205774
References
- https://openalex.org/W150571132
- https://openalex.org/W1591801644
- https://openalex.org/W1970262304
- https://openalex.org/W1977964959
- https://openalex.org/W1990858802
- https://openalex.org/W2007295947
- https://openalex.org/W2032258609
- https://openalex.org/W2040940879
- https://openalex.org/W2042144603
- https://openalex.org/W2045101371
- https://openalex.org/W2064675550
- https://openalex.org/W2106258011
- https://openalex.org/W2122585011
- https://openalex.org/W2166880842
- https://openalex.org/W2173697373
- https://openalex.org/W2523246573
- https://openalex.org/W2565516711
- https://openalex.org/W2765421612
- https://openalex.org/W2782207423
- https://openalex.org/W2797521339
- https://openalex.org/W2808454187
- https://openalex.org/W2899663614
- https://openalex.org/W2938156102
- https://openalex.org/W2961231993
- https://openalex.org/W2990346675
- https://openalex.org/W3023212902
- https://openalex.org/W3024877706
- https://openalex.org/W3044015199
- https://openalex.org/W3120801341
- https://openalex.org/W3135094993
- https://openalex.org/W3140854437
- https://openalex.org/W3209677049
- https://openalex.org/W950853366