Published March 1, 2024
| Version v1
Publication
Transfer learning model for cash-instrument prediction adopting a Transformer derivative
Description
Investors aiming for high market returns must accurately predict the prices of various cash instruments. However, making accurate predictions is challenging due to the complex cyclic and trending characteristic of markets, characterized by high volatility and unpredictable fluctuations. Furthermore, many studies overlook how interactions between different markets affect price movements. To address these problems, this research introduces a deep transfer-learning approach derived from the Transformer model, named the rotary-positional encoding autocorrelation Transformer (RAT). Unlike traditional methods, the RAT employs autocorrelation instead of self-attention to more effectively capture periodic features, while rotary-positional encoding preserves both the absolute and relative positioning within sequences to enhance trend understanding. Through transfer learning, the RAT model extracts deep features from a source domain and applies them to a target domain, demonstrating superior performance over LSTM, CNN-LSTM, gated recurrent units (GRUs), and Transformer models in multi-day predictions across 12 cash-instrument datasets. It achieved a substantial increase in accuracy, with a 35.83% reduction in mean squared error (MSE), a 23.95% reduction in mean absolute error (MAE), and a 32.63% increase in the coefficient of determination (R2). This study validates the RAT model's effectiveness in predicting financial instrument prices.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يجب على المستثمرين الذين يهدفون إلى تحقيق عوائد عالية في السوق التنبؤ بدقة بأسعار الأدوات النقدية المختلفة. ومع ذلك، فإن إجراء تنبؤات دقيقة يمثل تحديًا بسبب الخصائص الدورية المعقدة والاتجاهية للأسواق، والتي تتميز بالتقلبات العالية والتقلبات التي لا يمكن التنبؤ بها. علاوة على ذلك، تتجاهل العديد من الدراسات كيفية تأثير التفاعلات بين الأسواق المختلفة على تحركات الأسعار. لمعالجة هذه المشاكل، يقدم هذا البحث نهجًا عميقًا للنقل والتعلم مشتقًا من نموذج المحول، المسمى محول الارتباط الذاتي للتشفير الدوراني الموضعي (RAT). على عكس الطرق التقليدية، يستخدم الفئران الارتباط الذاتي بدلاً من الاهتمام الذاتي لالتقاط الميزات الدورية بشكل أكثر فعالية، بينما يحافظ الترميز الدوار على كل من الموضع المطلق والنسبي داخل التسلسلات لتعزيز فهم الاتجاه. من خلال تعلم النقل، يستخرج نموذج RAT ميزات عميقة من مجال المصدر ويطبقها على مجال مستهدف، مما يدل على أداء متفوق على LSTM و CNN - LSTM والوحدات المتكررة المسورة (GRUs) ونماذج المحولات في تنبؤات متعددة الأيام عبر 12 مجموعة بيانات للأدوات النقدية. حقق زيادة كبيرة في الدقة، مع انخفاض بنسبة 35.83 ٪ في متوسط الخطأ التربيعي (MSE)، وانخفاض بنسبة 23.95 ٪ في متوسط الخطأ المطلق (MAE)، وزيادة بنسبة 32.63 ٪ في معامل التحديد (R2). تتحقق هذه الدراسة من فعالية نموذج RAT في التنبؤ بأسعار الأدوات المالية.Translated Description (French)
Les investisseurs qui visent des rendements élevés sur le marché doivent prédire avec précision les prix de divers instruments de trésorerie. Cependant, il est difficile de faire des prévisions précises en raison des caractéristiques cycliques et tendancielles complexes des marchés, caractérisées par une forte volatilité et des fluctuations imprévisibles. En outre, de nombreuses études négligent la façon dont les interactions entre les différents marchés affectent les mouvements de prix. Pour résoudre ces problèmes, cette recherche introduit une approche d'apprentissage par transfert profond dérivée du modèle Transformateur, appelé Transformateur d'autocorrélation à codage en position rotative (RAT). Contrairement aux méthodes traditionnelles, le RAT utilise l'autocorrélation au lieu de l'auto-attention pour capturer plus efficacement les caractéristiques périodiques, tandis que le codage rotatif-positionnel préserve à la fois le positionnement absolu et relatif dans les séquences pour améliorer la compréhension des tendances. Grâce à l'apprentissage par transfert, le modèle RAT extrait les caractéristiques profondes d'un domaine source et les applique à un domaine cible, démontrant des performances supérieures à celles de LSTM, CNN-LSTM, des unités récurrentes déclenchées (GRU) et des modèles de transformateur dans des prédictions sur plusieurs jours à travers 12 ensembles de données d'instrument de trésorerie. Il a obtenu une augmentation substantielle de la précision, avec une réduction de 35,83 % de l'erreur quadratique moyenne (MSE), une réduction de 23,95 % de l'erreur absolue moyenne (MAE) et une augmentation de 32,63 % du coefficient de détermination (R2). Cette étude valide l'efficacité du modèle RAT pour prédire les prix des instruments financiers.Translated Description (Spanish)
Los inversores que buscan altos rendimientos de mercado deben predecir con precisión los precios de varios instrumentos de efectivo. Sin embargo, hacer predicciones precisas es un desafío debido a la compleja característica cíclica y de tendencia de los mercados, caracterizada por una alta volatilidad y fluctuaciones impredecibles. Además, muchos estudios pasan por alto cómo las interacciones entre diferentes mercados afectan los movimientos de precios. Para abordar estos problemas, esta investigación introduce un enfoque de aprendizaje de transferencia profunda derivado del modelo Transformer, denominado Transformer de autocorrelación de codificación rotativa-posicional (RAT). A diferencia de los métodos tradicionales, la RATA emplea la autocorrelación en lugar de la autoatención para capturar de manera más efectiva las características periódicas, mientras que la codificación rotatoria-posicional preserva tanto el posicionamiento absoluto como el relativo dentro de las secuencias para mejorar la comprensión de las tendencias. A través del aprendizaje por transferencia, el modelo RAT extrae características profundas de un dominio de origen y las aplica a un dominio de destino, lo que demuestra un rendimiento superior en LSTM, CNN-LSTM, unidades recurrentes cerradas (Gru) y modelos Transformer en predicciones de varios días en 12 conjuntos de datos de instrumentos de efectivo. Logró un aumento sustancial en la precisión, con una reducción del 35.83% en el error cuadrático medio (MSE), una reducción del 23.95% en el error absoluto medio (MAE) y un aumento del 32.63% en el coeficiente de determinación (R2). Este estudio valida la efectividad del modelo RAT para predecir los precios de los instrumentos financieros.Additional details
Additional titles
- Translated title (Arabic)
- نموذج تعلم التحويل للتنبؤ بالأداة النقدية باستخدام مشتق المحول
- Translated title (French)
- Transférer le modèle d'apprentissage pour la prédiction de l'instrument de trésorerie en adoptant un dérivé du Transformateur
- Translated title (Spanish)
- Modelo de aprendizaje de transferencia para la predicción de instrumentos de efectivo adoptando un derivado de Transformer
Identifiers
- Other
- https://openalex.org/W4392384897
- DOI
- 10.1016/j.jksuci.2024.102000
References
- https://openalex.org/W1924770834
- https://openalex.org/W1987150989
- https://openalex.org/W2000525448
- https://openalex.org/W2034368206
- https://openalex.org/W2064675550
- https://openalex.org/W2065981956
- https://openalex.org/W2099179901
- https://openalex.org/W2101926813
- https://openalex.org/W2116341502
- https://openalex.org/W2141399712
- https://openalex.org/W2162216530
- https://openalex.org/W2165698076
- https://openalex.org/W2395579298
- https://openalex.org/W2489487449
- https://openalex.org/W2612690371
- https://openalex.org/W2624385633
- https://openalex.org/W2789364533
- https://openalex.org/W2913797286
- https://openalex.org/W2964413206
- https://openalex.org/W2969829860
- https://openalex.org/W2979413074
- https://openalex.org/W3109995758
- https://openalex.org/W3110378470
- https://openalex.org/W3110420963
- https://openalex.org/W3122431931
- https://openalex.org/W3129883375
- https://openalex.org/W3186181777
- https://openalex.org/W3201423477
- https://openalex.org/W3212890323
- https://openalex.org/W3217252634
- https://openalex.org/W4205171949
- https://openalex.org/W4224220755
- https://openalex.org/W4240650748
- https://openalex.org/W4281490773
- https://openalex.org/W4282968465
- https://openalex.org/W4285402398
- https://openalex.org/W4289764000
- https://openalex.org/W4309456838
- https://openalex.org/W4313260873
- https://openalex.org/W4378513195
- https://openalex.org/W4384518871
- https://openalex.org/W4388979610