Published November 18, 2022 | Version v1
Publication Open

Accurate discharge and water level forecasting using ensemble learning with genetic algorithm and singular spectrum analysis-based denoising

Description

Forecasting discharge (Q) and water level (H) are essential factors in hydrological research and flood prediction. In recent years, deep learning has emerged as a viable technique for capturing the non-linear relationship of historical data to generate highly accurate prediction results. Despite the success in various domains, applying deep learning in Q and H prediction is hampered by three critical issues: a shortage of training data, the occurrence of noise in the collected data, and the difficulty in adjusting the model's hyper-parameters. This work proposes a novel deep learning-based Q-H prediction model that overcomes all the shortcomings encountered by existing approaches. Specifically, to address data scarcity and increase prediction accuracy, we design an ensemble learning architecture that takes advantage of multiple deep learning techniques. Furthermore, we leverage the Singular-Spectrum Analysis (SSA) to remove noise and outliers from the original data. Besides, we exploit the Genetic Algorithm (GA) to propose a novel mechanism that can automatically determine the prediction model's optimal hyper-parameters. We conducted extensive experiments on two datasets collected from Vietnam's Red and Dakbla rivers. The results show that our proposed solution outperforms current techniques across a wide range of metrics, including NSE, MSE, MAE, and MAPE. Specifically, by exploiting the ensemble learning technique, we can improve the NSE by at least [Formula: see text]. Moreover, with the aid of the SSA-based data preprocessing technique, the NSE is further enhanced by more than [Formula: see text]. Finally, thanks to GA-based optimization, our proposed model increases the NSE by at least [Formula: see text] and up to [Formula: see text] in the best case.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

يعد التنبؤ بالتصريف (Q) ومستوى المياه (H) من العوامل الأساسية في البحث الهيدرولوجي والتنبؤ بالفيضانات. في السنوات الأخيرة، برز التعلم العميق كأسلوب قابل للتطبيق لالتقاط العلاقة غير الخطية للبيانات التاريخية لتوليد نتائج تنبؤ دقيقة للغاية. على الرغم من النجاح في مختلف المجالات، فإن تطبيق التعلم العميق في التنبؤ Q و H يعوقه ثلاث قضايا حرجة: نقص بيانات التدريب، وحدوث ضوضاء في البيانات التي تم جمعها، وصعوبة ضبط المعلمات المفرطة للنموذج. يقترح هذا العمل نموذج تنبؤ Q - H جديد قائم على التعلم العميق يتغلب على جميع أوجه القصور التي تواجهها النهج الحالية. على وجه التحديد، لمعالجة ندرة البيانات وزيادة دقة التنبؤ، نقوم بتصميم بنية تعلم جماعية تستفيد من تقنيات التعلم العميق المتعددة. علاوة على ذلك، فإننا نستفيد من تحليل الطيف المفرد (SSA) لإزالة الضوضاء والقيم المتطرفة من البيانات الأصلية. إلى جانب ذلك، نستغل الخوارزمية الوراثية (GA) لاقتراح آلية جديدة يمكنها تحديد المعلمات الفائقة المثلى لنموذج التنبؤ تلقائيًا. أجرينا تجارب مكثفة على مجموعتي بيانات تم جمعها من نهري الأحمر وداكبلا في فيتنام. تظهر النتائج أن حلنا المقترح يتفوق على التقنيات الحالية عبر مجموعة واسعة من المقاييس، بما في ذلك NSE و MSE و MAE و MAPE. على وجه التحديد، من خلال استغلال تقنية تعلم المجموعة، يمكننا تحسين NSE على الأقل [الصيغة: انظر النص]. علاوة على ذلك، بمساعدة تقنية المعالجة المسبقة للبيانات القائمة على SSA، يتم تعزيز NSE بشكل أكبر بأكثر من [الصيغة: انظر النص]. أخيرًا، بفضل التحسين القائم على GA، يزيد نموذجنا المقترح من NSE بنسبة [Formula: see text] على الأقل وحتى [Formula: see text] في أفضل الحالات.

Translated Description (French)

La prévision du débit (Q) et du niveau d'eau (H) sont des facteurs essentiels dans la recherche hydrologique et la prévision des inondations. Ces dernières années, l'apprentissage profond est apparu comme une technique viable pour capturer la relation non linéaire des données historiques afin de générer des résultats de prédiction très précis. Malgré le succès dans divers domaines, l'application de l'apprentissage profond dans la prédiction Q et H est entravée par trois problèmes critiques : une pénurie de données de formation, l'apparition de bruit dans les données collectées et la difficulté d'ajuster les hyper-paramètres du modèle. Ce travail propose un nouveau modèle de prédiction Q-H basé sur l'apprentissage profond qui surmonte toutes les lacunes rencontrées par les approches existantes. Plus précisément, pour répondre à la pénurie de données et augmenter la précision des prédictions, nous concevons une architecture d'apprentissage d'ensemble qui tire parti de plusieurs techniques d'apprentissage en profondeur. En outre, nous tirons parti de l'analyse du spectre singulier (SSA) pour éliminer le bruit et les valeurs aberrantes des données d'origine. Par ailleurs, nous exploitons l'Algorithme Génétique (AG) pour proposer un nouveau mécanisme capable de déterminer automatiquement les hyper-paramètres optimaux du modèle de prédiction. Nous avons mené des expériences approfondies sur deux ensembles de données collectés dans les rivières Rouge et Dakbla au Vietnam. Les résultats montrent que notre solution proposée surpasse les techniques actuelles dans un large éventail de paramètres, y compris NSE, MSE, MAE et MAPE. Plus précisément, en exploitant la technique d'apprentissage d'ensemble, nous pouvons améliorer l'ESN d'au moins [Formule : voir texte]. De plus, à l'aide de la technique de prétraitement des données basée sur SSA, le NSE est encore amélioré par plus de [Formule : voir texte]. Enfin, grâce à l'optimisation basée sur GA, notre modèle proposé augmente la NSE d'au moins [Formule : voir texte] et jusqu'à [Formule : voir texte] dans le meilleur des cas.

Translated Description (Spanish)

El pronóstico de la descarga (Q) y el nivel del agua (H) son factores esenciales en la investigación hidrológica y la predicción de inundaciones. En los últimos años, el aprendizaje profundo ha surgido como una técnica viable para capturar la relación no lineal de los datos históricos para generar resultados de predicción altamente precisos. A pesar del éxito en varios dominios, la aplicación del aprendizaje profundo en la predicción de Q y H se ve obstaculizada por tres cuestiones críticas: la escasez de datos de entrenamiento, la aparición de ruido en los datos recopilados y la dificultad para ajustar los hiperparámetros del modelo. Este trabajo propone un nuevo modelo de predicción Q-H basado en el aprendizaje profundo que supera todas las deficiencias encontradas por los enfoques existentes. Específicamente, para abordar la escasez de datos y aumentar la precisión de la predicción, diseñamos una arquitectura de aprendizaje en conjunto que aprovecha múltiples técnicas de aprendizaje profundo. Además, aprovechamos el análisis de espectro singular (SSA) para eliminar el ruido y los valores atípicos de los datos originales. Además, aprovechamos el algoritmo genético (AG) para proponer un mecanismo novedoso que puede determinar automáticamente los hiperparámetros óptimos del modelo de predicción. Realizamos extensos experimentos en dos conjuntos de datos recopilados de los ríos Rojo y Dakbla de Vietnam. Los resultados muestran que nuestra solución propuesta supera las técnicas actuales en una amplia gama de métricas, incluidas NSE, MSE, MAE y MAPE. Específicamente, al explotar la técnica de aprendizaje conjunto, podemos mejorar la NSE al menos [Fórmula: ver texto]. Además, con la ayuda de la técnica de preprocesamiento de datos basada en SSA, la NSE se mejora aún más con más de [Fórmula: ver texto]. Finalmente, gracias a la optimización basada en GA, nuestro modelo propuesto aumenta el NSE en al menos [Fórmula: ver texto] y hasta [Fórmula: ver texto] en el mejor de los casos.

Files

s41598-022-22057-8.pdf.pdf

Files (4.4 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:7cf4ae9c49de3b3347aa2e289ec9d042
4.4 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
التصريف الدقيق والتنبؤ بمستوى المياه باستخدام التعلم الجماعي مع الخوارزمية الجينية والتحليل المفرد للطيف الترددي
Translated title (French)
Prévision précise du débit et du niveau d'eau à l'aide d'un apprentissage d'ensemble avec un algorithme génétique et un débruitage basé sur l'analyse du spectre singulier
Translated title (Spanish)
Precisión de los vertidos y previsión del nivel del agua mediante el aprendizaje conjunto con algoritmo genético y eliminación de ruido basada en el análisis del espectro singular

Identifiers

Other
https://openalex.org/W4309326278
DOI
10.1038/s41598-022-22057-8

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Vietnam

References

  • https://openalex.org/W1563088657
  • https://openalex.org/W2012572451
  • https://openalex.org/W2043945250
  • https://openalex.org/W2046794274
  • https://openalex.org/W2151950896
  • https://openalex.org/W2163847932
  • https://openalex.org/W2256767201
  • https://openalex.org/W2367464402
  • https://openalex.org/W2496120601
  • https://openalex.org/W2510289107
  • https://openalex.org/W2592435569
  • https://openalex.org/W2605078333
  • https://openalex.org/W2769782412
  • https://openalex.org/W2896820361
  • https://openalex.org/W2908024272
  • https://openalex.org/W2947218679
  • https://openalex.org/W2966792341
  • https://openalex.org/W2982126231
  • https://openalex.org/W2994422074
  • https://openalex.org/W3009364545
  • https://openalex.org/W3011584394
  • https://openalex.org/W3013533105
  • https://openalex.org/W3035664094
  • https://openalex.org/W3045004532
  • https://openalex.org/W3087236291
  • https://openalex.org/W3092387575
  • https://openalex.org/W3095544058
  • https://openalex.org/W3157165089
  • https://openalex.org/W3197065975
  • https://openalex.org/W4213003514
  • https://openalex.org/W4281902005
  • https://openalex.org/W4293100435