Published January 1, 2021
| Version v1
Publication
Open
Evaluation of Deep Learning Models for Multi-Step Ahead Time Series Prediction
- 1. UNSW Sydney
- 2. Indian Institute of Technology Delhi
- 3. Indian Institute of Technology Kharagpur
Description
Time series prediction with neural networks has been the focus of much research in the past few decades. Given the recent deep learning revolution, there has been much attention in using deep learning models for time series prediction, and hence it is important to evaluate their strengths and weaknesses. In this paper, we present an evaluation study that compares the performance of deep learning models for multi-step ahead time series prediction. The deep learning methods comprise simple recurrent neural networks, long short-term memory (LSTM) networks, bidirectional LSTM networks, encoder-decoder LSTM networks, and convolutional neural networks. We provide a further comparison with simple neural networks that use stochastic gradient descent and adaptive moment estimation (Adam) for training. We focus on univariate time series for multi-step-ahead prediction from benchmark time-series datasets and provide a further comparison of the results with related methods from the literature. The results show that the bidirectional and encoder-decoder LSTM network provides the best performance in accuracy for the given time series problems.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
كان التنبؤ بالسلاسل الزمنية مع الشبكات العصبية محور الكثير من الأبحاث في العقود القليلة الماضية. بالنظر إلى ثورة التعلم العميق الأخيرة، كان هناك الكثير من الاهتمام في استخدام نماذج التعلم العميق للتنبؤ بالسلاسل الزمنية، وبالتالي من المهم تقييم نقاط قوتها وضعفها. في هذه الورقة، نقدم دراسة تقييمية تقارن أداء نماذج التعلم العميق للتنبؤ بالسلاسل الزمنية متعددة الخطوات. تشتمل طرق التعلم العميق على شبكات عصبية متكررة بسيطة، وشبكات ذاكرة طويلة المدى (LSTM)، وشبكات LSTM ثنائية الاتجاه، وشبكات LSTM لفك التشفير، والشبكات العصبية الالتفافية. نقدم مقارنة إضافية مع الشبكات العصبية البسيطة التي تستخدم نزول التدرج العشوائي وتقدير العزم التكيفي (ADAM) للتدريب. نحن نركز على السلاسل الزمنية أحادية المتغير للتنبؤ متعدد الخطوات من مجموعات بيانات السلاسل الزمنية المرجعية ونوفر مقارنة إضافية للنتائج مع الأساليب ذات الصلة من الأدبيات. تظهر النتائج أن شبكة LSTM ثنائية الاتجاه ووحدة فك الترميز توفر أفضل أداء في الدقة لمشكلات السلاسل الزمنية المحددة.Translated Description (French)
La prédiction des séries temporelles avec les réseaux de neurones a fait l'objet de nombreuses recherches au cours des dernières décennies. Compte tenu de la récente révolution de l'apprentissage en profondeur, l'utilisation de modèles d'apprentissage en profondeur pour la prédiction de séries chronologiques a fait l'objet d'une grande attention. Il est donc important d'évaluer leurs forces et leurs faiblesses. Dans cet article, nous présentons une étude d'évaluation qui compare la performance des modèles d'apprentissage profond pour la prédiction de séries temporelles à plusieurs étapes. Les procédés d'apprentissage profond comprennent des réseaux neuronaux récurrents simples, des réseaux de mémoire à long terme (LSTM), des réseaux LSTM bidirectionnels, des réseaux LSTM codeur-décodeur et des réseaux neuronaux convolutionnels. Nous fournissons une comparaison supplémentaire avec des réseaux neuronaux simples qui utilisent la descente de gradient stochastique et l'estimation adaptative du moment (Adam) pour l'entraînement. Nous nous concentrons sur les séries chronologiques univariées pour la prédiction à plusieurs étapes à partir d'ensembles de données de séries chronologiques de référence et fournissons une comparaison plus poussée des résultats avec les méthodes connexes de la littérature. Les résultats montrent que le réseau LSTM bidirectionnel et codeur-décodeur offre les meilleures performances en précision pour les problèmes de séries chronologiques donnés.Translated Description (Spanish)
La predicción de series temporales con redes neuronales ha sido el foco de muchas investigaciones en las últimas décadas. Dada la reciente revolución del aprendizaje profundo, se ha prestado mucha atención al uso de modelos de aprendizaje profundo para la predicción de series temporales y, por lo tanto, es importante evaluar sus fortalezas y debilidades. En este documento, presentamos un estudio de evaluación que compara el rendimiento de los modelos de aprendizaje profundo para la predicción de series temporales de varios pasos por delante. Los métodos de aprendizaje profundo comprenden redes neuronales recurrentes simples, redes de memoria a largo plazo (LSTM), redes LSTM bidireccionales, redes LSTM codificadoras-decodificadoras y redes neuronales convolucionales. Proporcionamos una comparación adicional con redes neuronales simples que utilizan el descenso de gradiente estocástico y la estimación adaptativa del momento (Adam) para el entrenamiento. Nos centramos en series temporales univariadas para la predicción de múltiples pasos a partir de conjuntos de datos de series temporales de referencia y proporcionamos una comparación adicional de los resultados con métodos relacionados de la literatura. Los resultados muestran que la red LSTM bidireccional y codificador-decodificador proporciona el mejor rendimiento en precisión para los problemas de series de tiempo dados.Files
09444453.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:20ea234a1934e4a8d17bdddf3341205d
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تقييم نماذج التعلم العميق للتنبؤ بالسلسلة الزمنية متعددة الخطوات إلى الأمام
- Translated title (French)
- Évaluation des modèles d'apprentissage approfondi pour la prédiction de séries chronologiques en plusieurs étapes
- Translated title (Spanish)
- Evaluación de modelos de aprendizaje profundo para la predicción de series de tiempo futuras de varios pasos
Identifiers
- Other
- https://openalex.org/W3139885963
- DOI
- 10.1109/access.2021.3085085
References
- https://openalex.org/W1485009520
- https://openalex.org/W1540337045
- https://openalex.org/W1549386224
- https://openalex.org/W1874739755
- https://openalex.org/W1924770834
- https://openalex.org/W1946238955
- https://openalex.org/W1967008192
- https://openalex.org/W1967989262
- https://openalex.org/W1973058638
- https://openalex.org/W1974429509
- https://openalex.org/W1986421176
- https://openalex.org/W1994217726
- https://openalex.org/W1996010635
- https://openalex.org/W2003702433
- https://openalex.org/W2003706483
- https://openalex.org/W2004796972
- https://openalex.org/W2005708641
- https://openalex.org/W2008814035
- https://openalex.org/W2012483024
- https://openalex.org/W2012787632
- https://openalex.org/W2014928429
- https://openalex.org/W2017377889
- https://openalex.org/W2019319598
- https://openalex.org/W2028072219
- https://openalex.org/W2028645868
- https://openalex.org/W2039708501
- https://openalex.org/W2040395995
- https://openalex.org/W2046432185
- https://openalex.org/W2060106113
- https://openalex.org/W2060123398
- https://openalex.org/W2064675550
- https://openalex.org/W2067688816
- https://openalex.org/W2069143585
- https://openalex.org/W2074656523
- https://openalex.org/W2076063813
- https://openalex.org/W2077179900
- https://openalex.org/W2079735306
- https://openalex.org/W2094631910
- https://openalex.org/W2095705004
- https://openalex.org/W2104533781
- https://openalex.org/W2105068790
- https://openalex.org/W2107466240
- https://openalex.org/W2107878631
- https://openalex.org/W2109204689
- https://openalex.org/W2110242546
- https://openalex.org/W2110371102
- https://openalex.org/W2112796928
- https://openalex.org/W2117829824
- https://openalex.org/W2125566231
- https://openalex.org/W2126546663
- https://openalex.org/W2128130077
- https://openalex.org/W2128716097
- https://openalex.org/W2130942839
- https://openalex.org/W2131774270
- https://openalex.org/W2133573607
- https://openalex.org/W2136429787
- https://openalex.org/W2141394518
- https://openalex.org/W2143096623
- https://openalex.org/W2150355110
- https://openalex.org/W2154579312
- https://openalex.org/W2157331557
- https://openalex.org/W2172198266
- https://openalex.org/W2194775991
- https://openalex.org/W2230528047
- https://openalex.org/W2250299594
- https://openalex.org/W2296438605
- https://openalex.org/W2332376943
- https://openalex.org/W2346006176
- https://openalex.org/W2347494083
- https://openalex.org/W2405206665
- https://openalex.org/W2510651935
- https://openalex.org/W2556106328
- https://openalex.org/W2560370080
- https://openalex.org/W2593430120
- https://openalex.org/W2604191397
- https://openalex.org/W2742473260
- https://openalex.org/W2812669263
- https://openalex.org/W2889390940
- https://openalex.org/W2890971822
- https://openalex.org/W2901072570
- https://openalex.org/W2908827354
- https://openalex.org/W2915893557
- https://openalex.org/W2919115771
- https://openalex.org/W2932653301
- https://openalex.org/W2962824919
- https://openalex.org/W2963625095
- https://openalex.org/W2963916433
- https://openalex.org/W2964121744
- https://openalex.org/W2964199361
- https://openalex.org/W2966792341
- https://openalex.org/W2970870904
- https://openalex.org/W2980994438
- https://openalex.org/W2998508934
- https://openalex.org/W3022787740
- https://openalex.org/W3123760665
- https://openalex.org/W4254816979
- https://openalex.org/W4298857966