A hierarchical expected improvement method for Bayesian optimization
Creators
- 1. Peking University First Hospital
- 2. Peking University
Description
The Expected Improvement (EI) method, proposed by Jones et al. (1998), is a widely-used Bayesian optimization method, which makes use of a fitted Gaussian process model for efficient black-box optimization. However, one key drawback of EI is that it is overly greedy in exploiting the fitted Gaussian process model for optimization, which results in suboptimal solutions even with large sample sizes. To address this, we propose a new hierarchical EI (HEI) framework, which makes use of a hierarchical Gaussian process model. HEI preserves a closed-form acquisition function, and corrects the over-greediness of EI by encouraging exploration of the optimization space. We then introduce hyperparameter estimation methods which allow HEI to mimic a fully Bayesian optimization procedure, while avoiding expensive Markov-chain Monte Carlo sampling steps. We prove the global convergence of HEI over a broad function space, and establish near-minimax convergence rates under certain prior specifications. Numerical experiments show the improvement of HEI over existing Bayesian optimization methods, for synthetic functions and a semiconductor manufacturing optimization problem.
Translated Descriptions
Translated Description (Arabic)
طريقة التحسين المتوقع (EI)، التي اقترحها جونز وآخرون. (1998)، هي طريقة تحسين بايزي مستخدمة على نطاق واسع، والتي تستخدم نموذج عملية غاوسي مناسب لتحسين الصندوق الأسود الفعال. ومع ذلك، فإن أحد العيوب الرئيسية للذكاء العاطفي هو أنه جشع للغاية في استغلال نموذج العملية الغاوسية المناسب للتحسين، مما يؤدي إلى حلول دون المستوى الأمثل حتى مع أحجام العينات الكبيرة. ولمعالجة هذا الأمر، نقترح إطارًا هرميًا جديدًا للذكاء العاطفي (HEI)، والذي يستخدم نموذج العملية الغاوسية الهرمي. تحافظ مؤسسة التعليم العالي على وظيفة الاستحواذ ذات الشكل المغلق، وتصحح الجشع المفرط للذكاء العاطفي من خلال تشجيع استكشاف مساحة التحسين. ثم نقدم طرق تقدير المعلمات الفائقة التي تسمح لمؤسسة التعليم العالي بمحاكاة إجراء تحسين بايزي بالكامل، مع تجنب خطوات أخذ عينات سلسلة ماركوف مونتي كارلو باهظة الثمن. نثبت التقارب العالمي لمؤسسة التعليم العالي على مساحة وظيفية واسعة، ونحدد معدلات تقارب شبه دقيقة بموجب مواصفات مسبقة معينة. تُظهر التجارب العددية تحسن مؤسسة التعليم العالي على طرق التحسين البايزية الحالية، للوظائف الاصطناعية ومشكلة تحسين تصنيع أشباه الموصلات.Translated Description (French)
La méthode d'amélioration attendue (EI), proposée par Jones et al. (1998), est une méthode d'optimisation bayésienne largement utilisée, qui utilise un modèle de processus gaussien adapté pour une optimisation efficace de la boîte noire. Cependant, l'un des principaux inconvénients de l'IE est qu'elle est trop gourmande pour exploiter le modèle de processus gaussien adapté à des fins d'optimisation, ce qui se traduit par des solutions sous-optimales même avec des échantillons de grande taille. Pour y remédier, nous proposons un nouveau cadre hiérarchique EI (HEI), qui utilise un modèle hiérarchique de processus gaussien. HEI préserve une fonction d'acquisition de forme fermée et corrige la surgravité de l'IE en encourageant l'exploration de l'espace d'optimisation. Nous introduisons ensuite des méthodes d'estimation hyperparamétriques qui permettent à HEI d'imiter une procédure d'optimisation entièrement bayésienne, tout en évitant les coûteuses étapes d'échantillonnage de la chaîne de Markov Monte Carlo. Nous prouvons la convergence globale de HEI sur un large espace de fonctions, et établissons des taux de convergence proches du minimum sous certaines spécifications antérieures. Les expériences numériques montrent l'amélioration de l'HEI par rapport aux méthodes d'optimisation bayésiennes existantes, pour des fonctions synthétiques et un problème d'optimisation de la fabrication de semi-conducteurs.Translated Description (Spanish)
El método de Mejora Esperada (EI), propuesto por Jones et al. (1998), es un método de optimización bayesiano ampliamente utilizado, que utiliza un modelo de proceso gaussiano ajustado para una optimización eficiente de la caja negra. Sin embargo, un inconveniente clave de la IE es que es demasiado codiciosa al explotar el modelo de proceso gaussiano ajustado para la optimización, lo que da como resultado soluciones subóptimas incluso con grandes tamaños de muestra. Para abordar esto, proponemos un nuevo marco jerárquico de EI (HEI), que hace uso de un modelo de proceso gaussiano jerárquico. La IES conserva una función de adquisición de forma cerrada y corrige la codicia excesiva de la IE al fomentar la exploración del espacio de optimización. A continuación, introducimos métodos de estimación de hiperparámetros que permiten a HEI imitar un procedimiento de optimización totalmente bayesiano, evitando al mismo tiempo los costosos pasos de muestreo de la cadena de Markov de Monte Carlo. Demostramos la convergencia global de HEI en un amplio espacio de funciones y establecemos tasas de convergencia casi mínimas bajo ciertas especificaciones anteriores. Los experimentos numéricos muestran la mejora de la IES con respecto a los métodos de optimización bayesianos existentes, para funciones sintéticas y un problema de optimización de la fabricación de semiconductores.Additional details
Additional titles
- Translated title (Arabic)
- طريقة تحسين هرمية متوقعة للتحسين البايزي
- Translated title (French)
- Une méthode d'amélioration attendue hiérarchique pour l'optimisation bayésienne
- Translated title (Spanish)
- Un método jerárquico de mejora esperada para la optimización bayesiana
Identifiers
- Other
- https://openalex.org/W4394462370
- DOI
- 10.6084/m9.figshare.22794929.v1