Published April 6, 2016 | Version v1
Publication Metadata-only

An efficient modification of the Hestenes-Stiefel nonlinear conjugate gradient method with restart property

Creators

  • 1. Universiti Malaysia Terengganu

Description

The conjugate gradient (CG) method is one of the most popular methods to solve nonlinear unconstrained optimization problems. The Hestenes-Stiefel (HS) CG formula is considered one of the most efficient methods developed in this century. In addition, the HS coefficient is related to the conjugacy condition regardless of the line search method used. However, the HS parameter may not satisfy the global convergence properties of the CG method with the Wolfe-Powell line search if the descent condition is not satisfied. In this paper, we use the original HS CG formula with a mild condition to construct a CG method with restart using the negative gradient. The convergence and descent properties with the strong Wolfe-Powell (SWP) and weak Wolfe-Powell (WWP) line searches are established. Using this condition, we guarantee that the HS formula is non-negative, its value is restricted, and the number of restarts is not too high. Numerical computations with the SWP line search and some standard optimization problems demonstrate the robustness and efficiency of the new version of the CG parameter in comparison with the latest and classical CG formulas. An example is used to describe the benefit of using different initial points to obtain different solutions for multimodal optimization functions.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

تعد طريقة التدرج المتقارن (CG) واحدة من أكثر الطرق شيوعًا لحل مشكلات التحسين غير المقيدة غير الخطية. تعتبر صيغة Hestenes - Stiefel (HS) CG واحدة من أكثر الطرق كفاءة التي تم تطويرها في هذا القرن. بالإضافة إلى ذلك، يرتبط معامل HS بحالة الاقتران بغض النظر عن طريقة البحث عن الخط المستخدمة. ومع ذلك، قد لا تفي معلمة HS بخصائص التقارب العالمي لطريقة CG من خلال البحث عن خط Wolfe - Powell إذا لم يتم استيفاء شرط النزول. في هذه الورقة، نستخدم صيغة HS CG الأصلية مع حالة خفيفة لإنشاء طريقة CG مع إعادة التشغيل باستخدام التدرج السلبي. يتم تحديد خصائص التقارب والنزول مع عمليات البحث القوية عن خط Wolfe - Powell (SWP) و Wolfe - Powell (WWP) الضعيف. باستخدام هذا الشرط، نضمن أن صيغة HS غير سلبية، وقيمتها مقيدة، وعدد عمليات إعادة التشغيل ليس مرتفعًا جدًا. تُظهر الحسابات العددية مع البحث عن خط تصريح العمل الآمن وبعض مشكلات التحسين القياسية متانة وكفاءة الإصدار الجديد من معلمة حوكمة الشركات مقارنة بأحدث صيغ حوكمة الشركات الكلاسيكية. يُستخدم مثال لوصف فائدة استخدام نقاط أولية مختلفة للحصول على حلول مختلفة لوظائف التحسين متعددة الوسائط.

Translated Description (French)

La méthode du gradient conjugué (CG) est l'une des méthodes les plus populaires pour résoudre les problèmes d'optimisation non linéaires sans contrainte. La formule CG Hestenes-Stiefel (HS) est considérée comme l'une des méthodes les plus efficaces développées au cours de ce siècle. En outre, le coefficient HS est lié à la condition de conjugaison quelle que soit la méthode de recherche de ligne utilisée. Cependant, le paramètre HS peut ne pas satisfaire les propriétés de convergence globale de la méthode CG avec la recherche de ligne de Wolfe-Powell si la condition de descente n'est pas satisfaite. Dans cet article, nous utilisons la formule originale HS CG avec une condition légère pour construire une méthode CG avec redémarrage en utilisant le gradient négatif. Les propriétés de convergence et de descente avec les recherches de lignes Wolfe-Powell fortes (SWP) et Wolfe-Powell faibles (WWP) sont établies. En utilisant cette condition, nous garantissons que la formule HS est non négative, que sa valeur est restreinte et que le nombre de redémarrages n'est pas trop élevé. Les calculs numériques avec la recherche de ligne SWP et certains problèmes d'optimisation standard démontrent la robustesse et l'efficacité de la nouvelle version du paramètre CG par rapport aux formules CG les plus récentes et classiques. Un exemple est utilisé pour décrire l'avantage d'utiliser différents points initiaux pour obtenir différentes solutions pour les fonctions d'optimisation multimodale.

Translated Description (Spanish)

El método del gradiente conjugado (CG) es uno de los métodos más populares para resolver problemas de optimización no lineales y sin restricciones. La fórmula CG de Hestenes-Stiefel (HS) se considera uno de los métodos más eficientes desarrollados en este siglo. Además, el coeficiente HS está relacionado con la condición de conjugación independientemente del método de búsqueda de línea utilizado. Sin embargo, el parámetro HS puede no satisfacer las propiedades de convergencia global del método CG con la búsqueda de línea Wolfe-Powell si no se cumple la condición de descenso. En este artículo, utilizamos la fórmula original de HS CG con una condición leve para construir un método de CG con reinicio utilizando el gradiente negativo. Se establecen las propiedades de convergencia y descenso con las búsquedas de línea Wolfe-Powell fuerte (SWP) y Wolfe-Powell débil (WWP). Con esta condición, garantizamos que la fórmula HS no es negativa, su valor está restringido y el número de reinicios no es demasiado alto. Los cálculos numéricos con la búsqueda de líneas SWP y algunos problemas de optimización estándar demuestran la solidez y eficiencia de la nueva versión del parámetro CG en comparación con las fórmulas CG más recientes y clásicas. Se utiliza un ejemplo para describir el beneficio de utilizar diferentes puntos iniciales para obtener diferentes soluciones para las funciones de optimización multimodal.

Additional details

Additional titles

Translated title (Arabic)
تعديل فعال لطريقة التدرج المترافق غير الخطي Hestenes - Stiefel مع خاصية إعادة التشغيل
Translated title (French)
Une modification efficace de la méthode du gradient conjugué non linéaire Hestenes-Stiefel avec propriété de redémarrage
Translated title (Spanish)
Una modificación eficiente del método de gradiente conjugado no lineal de Hestenes-Stiefel con propiedad de reinicio

Identifiers

Other
https://openalex.org/W2333170276
DOI
10.1186/s13660-016-1049-5

Is supplement to
https://openalex.org/W4319027779 (Other)
https://openalex.org/W4229957265 (Other)
https://openalex.org/W3107945686 (Other)
https://openalex.org/W2381924799 (Other)
https://openalex.org/W2375347328 (Other)
https://openalex.org/W2358414513 (Other)
https://openalex.org/W2356977358 (Other)
https://openalex.org/W2355738879 (Other)
https://openalex.org/W2349115186 (Other)
https://openalex.org/W2183734858 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Malaysia

References

  • https://openalex.org/W1517367249
  • https://openalex.org/W1966392521
  • https://openalex.org/W1968553199
  • https://openalex.org/W1979347641
  • https://openalex.org/W1988849934
  • https://openalex.org/W2012231377
  • https://openalex.org/W2012960907
  • https://openalex.org/W2053799091
  • https://openalex.org/W2091874256
  • https://openalex.org/W2108560279
  • https://openalex.org/W2122859623
  • https://openalex.org/W2149454052
  • https://openalex.org/W2230977749
  • https://openalex.org/W2316564661
  • https://openalex.org/W613054787
  • https://openalex.org/W955312132