Towards a deep learning-based outlier detection approach in the context of streaming data
Description
Abstract Uncommon observations that significantly vary from the norm are referred to as outliers. Outlier detection, which aims to detect unexpected behavior, is a critical topic that has attracted significant attention in a wide range of research areas and application domains, including video surveillance, network intrusion detection, disease outbreak detection, and others. Deep learning-based techniques for outlier detection have currently outperformed machine learning and shallow approaches on streaming data, which are big and complicated datasets. Despite the fact that deep learning has been successfully applied in a variety of application domains, developing an effective and appropriate model is a difficult task due to the dynamic nature and variations of real-world applications and data. Hence, this research proposes a novel deep learning model based on a deep neural network (DNN) to handle the outlier detection problem in the context of streaming data. The proposed DNN model is developed with multiple hidden layers to improve feature abstraction and capabilities. Extensive experiments performed on four real-world outlier benchmark datasets, available at the UCI repository, and comparisons to state-of-the-art approaches are used to evaluate the proposed model's performance. Experiment results demonstrate that it outperforms both machine learning algorithms and deep learning competitors, resulting in significant performance gains. Particularly, when compared to other algorithms, the evaluation results clearly demonstrated the efficacy of the proposed approach, with much higher accuracy, recall and f1-score rates of 99.63%, 99.014% and 99.437%, respectively.
Translated Descriptions
Translated Description (Arabic)
يشار إلى الملاحظات غير الشائعة التي تختلف اختلافًا كبيرًا عن القاعدة على أنها قيم متطرفة. يعد الكشف الخارجي، الذي يهدف إلى اكتشاف السلوك غير المتوقع، موضوعًا حاسمًا جذب اهتمامًا كبيرًا في مجموعة واسعة من مجالات البحث والتطبيقات، بما في ذلك المراقبة بالفيديو، وكشف اختراق الشبكة، واكتشاف تفشي الأمراض، وغيرها. تفوقت التقنيات القائمة على التعلم العميق للكشف المتطرف حاليًا على التعلم الآلي والنهج الضحلة في تدفق البيانات، وهي مجموعات بيانات كبيرة ومعقدة. على الرغم من حقيقة أن التعلم العميق قد تم تطبيقه بنجاح في مجموعة متنوعة من مجالات التطبيقات، فإن تطوير نموذج فعال ومناسب هو مهمة صعبة بسبب الطبيعة الديناميكية والاختلافات في التطبيقات والبيانات في العالم الحقيقي. وبالتالي، يقترح هذا البحث نموذجًا جديدًا للتعلم العميق يعتمد على شبكة عصبية عميقة (DNN) للتعامل مع مشكلة الكشف المتطرف في سياق تدفق البيانات. تم تطوير نموذج DNN المقترح بطبقات خفية متعددة لتحسين تجريد الميزات وقدراتها. يتم استخدام التجارب المكثفة التي يتم إجراؤها على أربع مجموعات بيانات مرجعية خارجية في العالم الحقيقي، والمتاحة في مستودع UCI، والمقارنات مع أحدث الأساليب لتقييم أداء النموذج المقترح. تُظهر نتائج التجربة أنها تتفوق على كل من خوارزميات التعلم الآلي ومنافسي التعلم العميق، مما يؤدي إلى مكاسب كبيرة في الأداء. على وجه الخصوص، عند مقارنتها بالخوارزميات الأخرى، أظهرت نتائج التقييم بوضوح فعالية النهج المقترح، مع معدلات دقة وتذكر و f1 أعلى بكثير بنسبة 99.63 ٪ و 99.014 ٪ و 99.437 ٪ على التوالي.Translated Description (French)
Résumé Les observations rares qui s'écartent considérablement de la norme sont appelées valeurs aberrantes. La détection des valeurs aberrantes, qui vise à détecter les comportements inattendus, est un sujet critique qui a attiré une attention significative dans un large éventail de domaines de recherche et de domaines d'application, y compris la vidéosurveillance, la détection des intrusions dans le réseau, la détection des épidémies et autres. Les techniques d'apprentissage en profondeur pour la détection des valeurs aberrantes ont actuellement surpassé l'apprentissage automatique et les approches superficielles sur les données en continu, qui sont des ensembles de données volumineux et compliqués. Malgré le fait que l'apprentissage profond a été appliqué avec succès dans une variété de domaines d'application, le développement d'un modèle efficace et approprié est une tâche difficile en raison de la nature dynamique et des variations des applications et des données du monde réel. Par conséquent, cette recherche propose un nouveau modèle d'apprentissage profond basé sur un réseau neuronal profond (DNN) pour gérer le problème de détection des valeurs aberrantes dans le contexte du streaming de données. Le modèle DNN proposé est développé avec de multiples couches cachées pour améliorer l'abstraction et les capacités des fonctionnalités. Des expériences approfondies effectuées sur quatre ensembles de données de référence aberrants du monde réel, disponibles dans le référentiel UCI, et des comparaisons avec des approches de pointe sont utilisées pour évaluer les performances du modèle proposé. Les résultats des expériences démontrent qu'il surpasse à la fois les algorithmes d'apprentissage automatique et les concurrents d'apprentissage profond, ce qui entraîne des gains de performance significatifs. En particulier, par rapport à d'autres algorithmes, les résultats de l'évaluation ont clairement démontré l'efficacité de l'approche proposée, avec des taux de précision, de rappel et de score f1 beaucoup plus élevés de 99,63 %, 99,014 % et 99,437 %, respectivement.Translated Description (Spanish)
Resumen Las observaciones poco frecuentes que varían significativamente de la norma se denominan valores atípicos. La detección de valores atípicos, que tiene como objetivo detectar comportamientos inesperados, es un tema crítico que ha atraído una atención significativa en una amplia gama de áreas de investigación y dominios de aplicación, incluida la videovigilancia, la detección de intrusiones en la red, la detección de brotes de enfermedades y otros. Las técnicas basadas en el aprendizaje profundo para la detección de valores atípicos actualmente han superado el aprendizaje automático y los enfoques superficiales en la transmisión de datos, que son conjuntos de datos grandes y complicados. A pesar de que el aprendizaje profundo se ha aplicado con éxito en una variedad de dominios de aplicación, desarrollar un modelo efectivo y apropiado es una tarea difícil debido a la naturaleza dinámica y las variaciones de las aplicaciones y los datos del mundo real. Por lo tanto, esta investigación propone un nuevo modelo de aprendizaje profundo basado en una red neuronal profunda (DNN) para manejar el problema de detección de valores atípicos en el contexto de la transmisión de datos. El modelo DNN propuesto se desarrolla con múltiples capas ocultas para mejorar la abstracción y las capacidades de las características. Se utilizan experimentos exhaustivos realizados en cuatro conjuntos de datos de referencia atípicos del mundo real, disponibles en el repositorio UCI, y comparaciones con enfoques de vanguardia para evaluar el rendimiento del modelo propuesto. Los resultados del experimento demuestran que supera tanto a los algoritmos de aprendizaje automático como a los competidores de aprendizaje profundo, lo que resulta en ganancias de rendimiento significativas. Particularmente, en comparación con otros algoritmos, los resultados de la evaluación demostraron claramente la eficacia del enfoque propuesto, con tasas de precisión, recuerdo y puntuación f1 mucho más altas de 99.63%, 99.014% y 99.437%, respectivamente.Files
s40537-022-00670-8.pdf
Files
(2.3 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:8dfc141f47105c5663cfbc994cfa3df8
|
2.3 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- نحو نهج كشف متطرف قائم على التعلم العميق في سياق تدفق البيانات
- Translated title (French)
- Vers une approche de détection des valeurs aberrantes basée sur l'apprentissage en profondeur dans le contexte du streaming de données
- Translated title (Spanish)
- Hacia un enfoque de detección de valores atípicos basado en el aprendizaje profundo en el contexto de la transmisión de datos
Identifiers
- Other
- https://openalex.org/W4311691758
- DOI
- 10.1186/s40537-022-00670-8
References
- https://openalex.org/W182707955
- https://openalex.org/W1987799824
- https://openalex.org/W2010254953
- https://openalex.org/W2049058890
- https://openalex.org/W2152576712
- https://openalex.org/W2548218624
- https://openalex.org/W2559950244
- https://openalex.org/W2591507999
- https://openalex.org/W2750549038
- https://openalex.org/W2770458211
- https://openalex.org/W2783741806
- https://openalex.org/W2810103615
- https://openalex.org/W2884885372
- https://openalex.org/W2887597525
- https://openalex.org/W2896412072
- https://openalex.org/W2897537125
- https://openalex.org/W2898322594
- https://openalex.org/W2899895429
- https://openalex.org/W2906498146
- https://openalex.org/W2910096450
- https://openalex.org/W2944768478
- https://openalex.org/W2945594226
- https://openalex.org/W2947330499
- https://openalex.org/W2996592004
- https://openalex.org/W2996880361
- https://openalex.org/W2997967197
- https://openalex.org/W3001398650
- https://openalex.org/W3005299290
- https://openalex.org/W3010079658
- https://openalex.org/W3014932122
- https://openalex.org/W3026646233
- https://openalex.org/W3043187969
- https://openalex.org/W3086699455
- https://openalex.org/W3093275957
- https://openalex.org/W3104712462
- https://openalex.org/W3107582219
- https://openalex.org/W3121913363
- https://openalex.org/W3132446542
- https://openalex.org/W3135550350
- https://openalex.org/W3152296300
- https://openalex.org/W3168992578
- https://openalex.org/W3169046747
- https://openalex.org/W3178945061
- https://openalex.org/W4241492760
- https://openalex.org/W4287598444