A Large-Scale Benchmark Dataset for Anomaly Detection and Rare Event Classification for Audio Forensics
Creators
- 1. Air University
- 2. Comenius University Bratislava
- 3. Prince Sattam Bin Abdulaziz University
Description
With the emergence of new digital technologies, a significant surge has been seen in the volume of multimedia data generated from various smart devices. Several challenges for data analysis have emerged to extract useful information from multimedia data. One such challenge is the early and accurate detection of anomalies in multimedia data. This study proposes an efficient technique for anomaly detection and classification of rare events in audio data. In this paper, we develop a vast audio dataset containing seven different rare events (anomalies) with 15 different background environmental settings (e.g., beach, restaurant, and train) to focus on both detection of anomalous audio and classification of rare sound (e.g., events—baby cry, gunshots, broken glasses, footsteps) events for audio forensics. The proposed approach uses the supreme feature extraction technique by extracting mel-frequency cepstral coefficients (MFCCs) features from the audio signals of the newly created dataset and selects the minimum number of best-performing features for optimum performance using principal component analysis (PCA). These features are input to state-of-the-art machine learning algorithms for performance analysis. We also apply machine learning algorithms to the state-of-the-art dataset and realize good results. Experimental results reveal that the proposed approach effectively detects all anomalies and superior performance to existing approaches in all environments and cases.
Translated Descriptions
Translated Description (Arabic)
مع ظهور تقنيات رقمية جديدة، لوحظت طفرة كبيرة في حجم بيانات الوسائط المتعددة المتولدة من مختلف الأجهزة الذكية. ظهرت العديد من التحديات لتحليل البيانات لاستخراج معلومات مفيدة من بيانات الوسائط المتعددة. ويتمثل أحد هذه التحديات في الكشف المبكر والدقيق عن الحالات الشاذة في بيانات الوسائط المتعددة. تقترح هذه الدراسة تقنية فعالة للكشف عن الحالات الشاذة وتصنيف الأحداث النادرة في البيانات الصوتية. في هذه الورقة، نطور مجموعة بيانات صوتية واسعة تحتوي على سبعة أحداث نادرة مختلفة (حالات شاذة) مع 15 إعدادًا بيئيًا مختلفًا للخلفية (على سبيل المثال، الشاطئ والمطعم والقطار) للتركيز على كل من اكتشاف الصوت الشاذ وتصنيف الصوت النادر (على سبيل المثال، الأحداث - بكاء الطفل، الطلقات النارية، النظارات المكسورة، خطوات الأقدام) أحداث للطب الشرعي الصوتي. يستخدم النهج المقترح تقنية استخراج السمات العليا من خلال استخراج ميزات المعاملات الكابسية ذات التردد MEL (MFCCs) من الإشارات الصوتية لمجموعة البيانات التي تم إنشاؤها حديثًا ويختار الحد الأدنى لعدد الميزات الأفضل أداءً لتحقيق الأداء الأمثل باستخدام تحليل المكونات الرئيسية (PCA). هذه الميزات هي مدخلات لخوارزميات التعلم الآلي الحديثة لتحليل الأداء. كما نطبق خوارزميات التعلم الآلي على مجموعة البيانات الحديثة ونحقق نتائج جيدة. تكشف النتائج التجريبية أن النهج المقترح يكتشف بشكل فعال جميع الحالات الشاذة والأداء المتفوق للنهج الحالية في جميع البيئات والحالات.Translated Description (French)
Avec l'émergence des nouvelles technologies numériques, une augmentation significative du volume de données multimédias générées à partir de divers appareils intelligents a été observée. Plusieurs défis pour l'analyse des données ont émergé pour extraire des informations utiles à partir de données multimédias. L'un de ces défis est la détection précoce et précise des anomalies dans les données multimédias. Cette étude propose une technique efficace pour la détection d'anomalies et la classification d'événements rares dans les données audio. Dans cet article, nous développons un vaste ensemble de données audio contenant sept événements rares différents (anomalies) avec 15 paramètres environnementaux de fond différents (par exemple, plage, restaurant et train) pour se concentrer à la fois sur la détection d'un son anormal et sur la classification d'événements sonores rares (par exemple, événements - pleurs de bébé, coups de feu, lunettes cassées, pas) pour la criminalistique audio. L'approche proposée utilise la technique d'extraction de caractéristiques suprêmes en extrayant les caractéristiques des coefficients cepstraux de fréquence mel (MFCC) des signaux audio de l'ensemble de données nouvellement créé et sélectionne le nombre minimum de caractéristiques les plus performantes pour une performance optimale à l'aide de l'analyse en composantes principales (ACP). Ces fonctionnalités sont entrées dans des algorithmes d'apprentissage automatique de pointe pour l'analyse des performances. Nous appliquons également des algorithmes d'apprentissage automatique à l'ensemble de données de pointe et obtenons de bons résultats. Les résultats expérimentaux révèlent que l'approche proposée détecte efficacement toutes les anomalies et des performances supérieures aux approches existantes dans tous les environnements et cas.Translated Description (Spanish)
Con la aparición de las nuevas tecnologías digitales, se ha visto un aumento significativo en el volumen de datos multimedia generados desde varios dispositivos inteligentes. Han surgido varios desafíos para el análisis de datos para extraer información útil de los datos multimedia. Uno de esos desafíos es la detección temprana y precisa de anomalías en los datos multimedia. Este estudio propone una técnica eficiente para la detección de anomalías y la clasificación de eventos raros en datos de audio. En este documento, desarrollamos un vasto conjunto de datos de audio que contiene siete eventos raros diferentes (anomalías) con 15 entornos ambientales de fondo diferentes (por ejemplo, playa, restaurante y tren) para centrarnos tanto en la detección de audio anómalo como en la clasificación de sonidos raros (por ejemplo, eventos: llanto de bebé, disparos, vidrios rotos, pasos) eventos para análisis forense de audio. El enfoque propuesto utiliza la técnica de extracción de características supremas mediante la extracción de características de coeficientes cepstrales de frecuencia mel (MFCC) de las señales de audio del conjunto de datos recién creado y selecciona el número mínimo de características de mejor rendimiento para un rendimiento óptimo utilizando el análisis de componentes principales (PCA). Estas características se introducen en algoritmos de aprendizaje automático de última generación para el análisis del rendimiento. También aplicamos algoritmos de aprendizaje automático al conjunto de datos de última generación y obtenemos buenos resultados. Los resultados experimentales revelan que el enfoque propuesto detecta eficazmente todas las anomalías y un rendimiento superior a los enfoques existentes en todos los entornos y casos.Files
09755147.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:a6149d2a614bdbaad33224dfef25d915
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- مجموعة بيانات مرجعية واسعة النطاق للكشف عن الشذوذ وتصنيف الأحداث النادرة للطب الشرعي الصوتي
- Translated title (French)
- Un ensemble de données de référence à grande échelle pour la détection des anomalies et la classification des événements rares pour la criminalistique audio
- Translated title (Spanish)
- Un conjunto de datos de referencia a gran escala para la detección de anomalías y la clasificación de eventos raros para análisis forense de audio
Identifiers
- Other
- https://openalex.org/W4225692608
- DOI
- 10.1109/access.2022.3166602
References
- https://openalex.org/W2119577488
- https://openalex.org/W2121562595
- https://openalex.org/W2122646361
- https://openalex.org/W2161036973
- https://openalex.org/W2566935005
- https://openalex.org/W2612810660
- https://openalex.org/W2678199776
- https://openalex.org/W2736090641
- https://openalex.org/W2771164042
- https://openalex.org/W2798905217
- https://openalex.org/W2799741169
- https://openalex.org/W2807062934
- https://openalex.org/W2903442965
- https://openalex.org/W2939422005
- https://openalex.org/W2941548268
- https://openalex.org/W2982872774
- https://openalex.org/W2997572448
- https://openalex.org/W3005923092
- https://openalex.org/W3020666568
- https://openalex.org/W3042687732
- https://openalex.org/W3090907207
- https://openalex.org/W3093516977
- https://openalex.org/W3095715663
- https://openalex.org/W3104463187
- https://openalex.org/W3158109590
- https://openalex.org/W3165474736
- https://openalex.org/W3173922570
- https://openalex.org/W3200181601
- https://openalex.org/W4287324006
- https://openalex.org/W4287325286