Improving the efficiency of RMSProp optimizer by utilizing Nestrove in deep learning
Description
There are several methods that have been discovered to improve the performance of Deep Learning (DL). Many of these methods reached the best performance of their models by tuning several parameters such as Transfer Learning, Data augmentation, Dropout, and Batch Normalization, while other selects the best optimizer and the best architecture for their model. This paper is mainly concerned with the optimization algorithms in DL. It proposes a modified version of Root Mean Squared Propagation (RMSProp) algorithm, called NRMSProp, to improve the speed of convergence, and to find the minimum of the loss function quicker than the original RMSProp optimizer. Moreover, NRMSProp takes the original algorithm, RMSProp, a step further by using the advantages of Nesterov Accelerated Gradient (NAG). It also takes in consideration the direction of the gradient at the next step, with respect to the history of the previous gradients, and adapts the value of the learning rate. As a result, this modification helps NRMSProp to convergence quicker than the original RMSProp, without any increase in the complexity of the RMSProp. In this work, many experiments had been conducted to evaluate the performance of NRMSProp with performing several tests with deep Convolution Neural Networks (CNNs) using different datasets on RMSProp, Adam, and NRMSProp optimizers. The experimental results showed that NRMSProp has achieved effective performance, and accuracy up to 0.97 in most cases, in comparison to RMSProp and Adam optimizers, without any increase in the complexity of the algorithm and with fine amount of memory and time.
Translated Descriptions
Translated Description (Arabic)
هناك العديد من الطرق التي تم اكتشافها لتحسين أداء التعلم العميق (DL). وصلت العديد من هذه الأساليب إلى أفضل أداء لنماذجها من خلال ضبط العديد من المعلمات مثل تعلم النقل، وزيادة البيانات، والتسرب، وتطبيع الدفعات، بينما تختار طرق أخرى أفضل محسن وأفضل بنية لنموذجها. تهتم هذه الورقة بشكل أساسي بخوارزميات التحسين في DL. يقترح نسخة معدلة من خوارزمية الانتشار التربيعي لمتوسط الجذر (RMSProp)، تسمى NRMSProp، لتحسين سرعة التقارب، والعثور على الحد الأدنى من وظيفة الفقد بشكل أسرع من محسن RMSProp الأصلي. علاوة على ذلك، تأخذ NRMSProp الخوارزمية الأصلية، RMSProp، خطوة أخرى إلى الأمام باستخدام مزايا Nesterov Accelerated Gradient (NAG). كما يأخذ في الاعتبار اتجاه التدرج في الخطوة التالية، فيما يتعلق بتاريخ التدرجات السابقة، ويكيف قيمة معدل التعلم. ونتيجة لذلك، يساعد هذا التعديل NRMSProp على التقارب بشكل أسرع من RMSProp الأصلي، دون أي زيادة في تعقيد RMSProp. في هذا العمل، تم إجراء العديد من التجارب لتقييم أداء NRMSProp مع إجراء العديد من الاختبارات مع الشبكات العصبية الالتوائية العميقة (CNNs) باستخدام مجموعات بيانات مختلفة على محسنات RMSProp و ADAM و NRMSProp. أظهرت النتائج التجريبية أن NRMSProp قد حققت أداءً فعالاً، ودقة تصل إلى 0.97 في معظم الحالات، مقارنةً بمُحسِّنات RMSProp و ADAM، دون أي زيادة في تعقيد الخوارزمية ومع كمية دقيقة من الذاكرة والوقت.Translated Description (French)
Plusieurs méthodes ont été découvertes pour améliorer les performances du Deep Learning (DL). Beaucoup de ces méthodes ont atteint les meilleures performances de leurs modèles en ajustant plusieurs paramètres tels que l'apprentissage par transfert, l'augmentation des données, le décrochage et la normalisation par lots, tandis que d'autres sélectionnent le meilleur optimiseur et la meilleure architecture pour leur modèle. Cet article concerne principalement les algorithmes d'optimisation en DL. Il propose une version modifiée de l'algorithme RMSProp (Root Mean Squared Propagation), appelée NRMSProp, pour améliorer la vitesse de convergence et trouver le minimum de la fonction de perte plus rapidement que l'optimiseur RMSProp original. De plus, NRMSProp pousse l'algorithme original, RMSProp, un peu plus loin en utilisant les avantages de Nesterov Accelerated Gradient (NAG). Il prend également en considération la direction du gradient à l'étape suivante, par rapport à l'historique des gradients précédents, et adapte la valeur du taux d'apprentissage. En conséquence, cette modification aide NRMSProp à converger plus rapidement que le RMSProp original, sans aucune augmentation de la complexité du RMSProp. Dans ce travail, de nombreuses expériences ont été menées pour évaluer les performances de NRMSProp en effectuant plusieurs tests avec des réseaux de neurones à convolution profonde (CNN) à l'aide de différents ensembles de données sur les optimiseurs RMSProp, Adam et NRMSProp. Les résultats expérimentaux ont montré que NRMSProp a atteint des performances efficaces et une précision allant jusqu'à 0,97 dans la plupart des cas, par rapport aux optimiseurs RMSProp et Adam, sans aucune augmentation de la complexité de l'algorithme et avec une quantité fine de mémoire et de temps.Translated Description (Spanish)
Se han descubierto varios métodos para mejorar el rendimiento del Deep Learning (DL). Muchos de estos métodos alcanzaron el mejor rendimiento de sus modelos ajustando varios parámetros como Transfer Learning, Data augmentation, Dropout y Batch Normalization, mientras que otros seleccionan el mejor optimizador y la mejor arquitectura para su modelo. Este documento se ocupa principalmente de los algoritmos de optimización en DL. Propone una versión modificada del algoritmo Root Mean Squared Propagation (RMSProp), llamado NRMSProp, para mejorar la velocidad de convergencia y encontrar el mínimo de la función de pérdida más rápido que el optimizador RMSProp original. Además, NRMSProp lleva el algoritmo original, RMSProp, un paso más allá al utilizar las ventajas del gradiente acelerado de Nesterov (NAG). También tiene en cuenta la dirección del gradiente en el siguiente paso, con respecto al historial de los gradientes anteriores, y adapta el valor de la tasa de aprendizaje. Como resultado, esta modificación ayuda a NRMSProp a converger más rápido que el RMSProp original, sin ningún aumento en la complejidad del RMSProp. En este trabajo, se realizaron muchos experimentos para evaluar el rendimiento de NRMSProp mediante la realización de varias pruebas con redes neuronales de convolución profunda (CNN) utilizando diferentes conjuntos de datos en optimizadores RMSProp, Adam y NRMSProp. Los resultados experimentales mostraron que NRMSProp ha logrado un rendimiento efectivo y una precisión de hasta 0.97 en la mayoría de los casos, en comparación con los optimizadores RMSProp y Adam, sin ningún aumento en la complejidad del algoritmo y con una buena cantidad de memoria y tiempo.Files
s41598-023-35663-x.pdf.pdf
Files
(3.5 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:27c9dfb367ebba942430cfc2a29b693b
|
3.5 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تحسين كفاءة محسن RMSProp من خلال استخدام Nestrove في التعلم العميق
- Translated title (French)
- Améliorer l'efficacité de l'optimiseur RMSProp en utilisant Nestrove dans l'apprentissage profond
- Translated title (Spanish)
- Mejorar la eficiencia del optimizador RMSProp utilizando Nestrove en el aprendizaje profundo
Identifiers
- Other
- https://openalex.org/W4378903438
- DOI
- 10.1038/s41598-023-35663-x
References
- https://openalex.org/W2002517365
- https://openalex.org/W2062227835
- https://openalex.org/W2108598243
- https://openalex.org/W2167634486
- https://openalex.org/W2194775991
- https://openalex.org/W2519796145
- https://openalex.org/W2782970864
- https://openalex.org/W2883837659
- https://openalex.org/W2942231644
- https://openalex.org/W2945367617
- https://openalex.org/W2969534524
- https://openalex.org/W2990426214
- https://openalex.org/W3004577623
- https://openalex.org/W4242121546
- https://openalex.org/W4282966553
- https://openalex.org/W4295789340