Published January 1, 2022
| Version v1
Publication
Open
BoostTree and BoostForest for Ensemble Learning
- 1. Huazhong University of Science and Technology
- 2. Ministry of Education of the People's Republic of China
Description
Bootstrap aggregating (Bagging) and boosting are two popular ensemble learning approaches, which combine multiple base learners to generate a composite model for more accurate and more reliable performance. They have been widely used in biology, engineering, healthcare, etc. This article proposes BoostForest, which is an ensemble learning approach using BoostTree as base learners and can be used for both classification and regression. BoostTree constructs a tree model by gradient boosting. It increases the randomness (diversity) by drawing the cut-points randomly at node splitting. BoostForest further increases the randomness by bootstrapping the training data in constructing different BoostTrees. BoostForest generally outperformed four classical ensemble learning approaches (Random Forest, Extra-Trees, XGBoost and LightGBM) on 35 classification and regression datasets. Remarkably, BoostForest tunes its parameters by simply sampling them randomly from a parameter pool, which can be easily specified, and its ensemble learning framework can also be used to combine many other base learners.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يعد تجميع البوتستراب (التعبئة) وتعزيزه من مناهج التعلم الجماعي الشائعة، والتي تجمع بين العديد من المتعلمين الأساسيين لإنشاء نموذج مركب للحصول على أداء أكثر دقة وموثوقية. وقد استخدمت على نطاق واسع في علم الأحياء والهندسة والرعاية الصحية، إلخ. تقترح هذه المقالة BoostForest، وهو نهج تعلم جماعي يستخدم BoostTree كمتعلمين أساسيين ويمكن استخدامه لكل من التصنيف والانحدار. تقوم BoostTree ببناء نموذج شجرة من خلال تعزيز التدرج. يزيد من العشوائية (التنوع) عن طريق رسم نقاط القطع بشكل عشوائي عند تقسيم العقدة. تزيد BoostForest من العشوائية عن طريق تمهيد بيانات التدريب في بناء أشجار BoostTrees مختلفة. تفوقت BoostForest عمومًا على أربعة مناهج تعلم جماعية كلاسيكية (Random Forest و Extra - Trees و XGBoost و LightGBM) في 35 مجموعة بيانات للتصنيف والانحدار. بشكل ملحوظ، تقوم BoostForest بضبط معالمها ببساطة عن طريق أخذ عينات منها بشكل عشوائي من مجموعة المعلمات، والتي يمكن تحديدها بسهولة، ويمكن أيضًا استخدام إطار التعلم الجماعي الخاص بها للجمع بين العديد من المتعلمين الأساسيين الآخرين.Translated Description (French)
L'agrégation Bootstrap (ensachage) et le boosting sont deux approches d'apprentissage d'ensemble populaires, qui combinent plusieurs apprenants de base pour générer un modèle composite pour des performances plus précises et plus fiables. Ils ont été largement utilisés en biologie, en ingénierie, en soins de santé, etc. Cet article propose BoostForest, qui est une approche d'apprentissage d'ensemble utilisant BoostTree comme apprenants de base et qui peut être utilisée à la fois pour la classification et la régression. BoostTree construit un modèle arborescent en augmentant le gradient. Il augmente le caractère aléatoire (diversité) en dessinant les points de coupe au hasard lors de la division des nœuds. BoostForest augmente encore le caractère aléatoire en amorçant les données d'entraînement dans la construction de différents BoostTrees. BoostForest a généralement surpassé quatre approches d'apprentissage d'ensemble classiques (Random Forest, Extra-Trees, XGBoost et LightGBM) sur 35 ensembles de données de classification et de régression. De manière remarquable, BoostForest ajuste ses paramètres en les échantillonnant simplement de manière aléatoire à partir d'un pool de paramètres, qui peut être facilement spécifié, et son cadre d'apprentissage d'ensemble peut également être utilisé pour combiner de nombreux autres apprenants de base.Translated Description (Spanish)
Bootstrap aggregating (Bagging) y boosting son dos enfoques populares de aprendizaje conjunto, que combinan múltiples aprendices base para generar un modelo compuesto para un rendimiento más preciso y confiable. Han sido ampliamente utilizados en biología, ingeniería, salud, etc. Este artículo propone BoostForest, que es un enfoque de aprendizaje conjunto que utiliza BoostTree como aprendiz básico y se puede utilizar tanto para la clasificación como para la regresión. BoostTree construye un modelo de árbol mediante el aumento de gradiente. Aumenta la aleatoriedad (diversidad) al dibujar los puntos de corte al azar en la división de los nodos. BoostForest aumenta aún más la aleatoriedad al arrancar los datos de entrenamiento en la construcción de diferentes BoostTrees. BoostForest generalmente superó a cuatro enfoques clásicos de aprendizaje conjunto (Random Forest, Extra-Trees, XGBoost y LightGBM) en 35 conjuntos de datos de clasificación y regresión. Sorprendentemente, BoostForest ajusta sus parámetros simplemente muestreándolos aleatoriamente de un grupo de parámetros, que se puede especificar fácilmente, y su marco de aprendizaje conjunto también se puede utilizar para combinar muchos otros estudiantes básicos.Files
latest.pdf.pdf
Files
(702.1 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:692c8d4212256b715746927377ba637a
|
702.1 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- BoostTree و BoostForest للتعلم الجماعي
- Translated title (French)
- BoostTree et BoostForest pour l'apprentissage d'ensemble
- Translated title (Spanish)
- BoostTree y BoostForest para el aprendizaje conjunto
Identifiers
- Other
- https://openalex.org/W4312279445
- DOI
- 10.1109/tpami.2022.3227370
References
- https://openalex.org/W1572978214
- https://openalex.org/W1581741702
- https://openalex.org/W1594031697
- https://openalex.org/W1678356000
- https://openalex.org/W1908020446
- https://openalex.org/W1968969471
- https://openalex.org/W1970074386
- https://openalex.org/W1981039744
- https://openalex.org/W2002016471
- https://openalex.org/W2024046085
- https://openalex.org/W2056132907
- https://openalex.org/W2070493638
- https://openalex.org/W2108263314
- https://openalex.org/W2108949035
- https://openalex.org/W2110065044
- https://openalex.org/W2111072639
- https://openalex.org/W2112076978
- https://openalex.org/W2113242816
- https://openalex.org/W2115629999
- https://openalex.org/W2120240539
- https://openalex.org/W2122892819
- https://openalex.org/W2125055259
- https://openalex.org/W2137226992
- https://openalex.org/W2154436219
- https://openalex.org/W2167055186
- https://openalex.org/W2171033594
- https://openalex.org/W2292355502
- https://openalex.org/W2768348081
- https://openalex.org/W2775614191
- https://openalex.org/W2886889705
- https://openalex.org/W2891895300
- https://openalex.org/W2911964244
- https://openalex.org/W2968325077
- https://openalex.org/W2976185208
- https://openalex.org/W2998886612
- https://openalex.org/W3049002444
- https://openalex.org/W3093489024
- https://openalex.org/W3098150009
- https://openalex.org/W3102422728
- https://openalex.org/W3102476541
- https://openalex.org/W3113046911
- https://openalex.org/W3117504517
- https://openalex.org/W4206073500
- https://openalex.org/W4212883601
- https://openalex.org/W4232478844
- https://openalex.org/W4232714830