Published October 6, 2021 | Version v1
Publication Open

Improving deep learning performance by using Explainable Artificial Intelligence (XAI) approaches

Creators

  • 1. Pontifical Catholic University of Rio de Janeiro
  • 2. Universidade do Estado do Rio de Janeiro

Description

Abstract In this work we propose a workflow to deal with overlaid images—images with superimposed text and company logos—, which is very common in underwater monitoring videos and surveillance camera footage. It is demonstrated that it is possible to use Explaining Artificial Intelligence to improve deep learning models performance for image classification tasks in general. A deep learning model trained to classify metal surface defect, which previously had a low performance, is then evaluated with Layer-wise relevance propagation—an Explaining Artificial Intelligence technique—to identify problems in a dataset that hinder the training of deep learning models in a wide range of applications. Thereafter, it is possible to remove this unwanted information from the dataset—using different approaches: from cutting part of the images to training a Generative Inpainting neural network model—and retrain the model with the new preprocessed images. This proposed methodology improved F1 score in 20% when compared to the original trained dataset, validating the proposed workflow.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

نبذة مختصرة في هذا العمل، نقترح سير عمل للتعامل مع الصور المتراكبة - الصور ذات النص المتراكب وشعارات الشركة - وهو أمر شائع جدًا في مقاطع فيديو المراقبة تحت الماء ولقطات كاميرا المراقبة. ثبت أنه من الممكن استخدام شرح الذكاء الاصطناعي لتحسين أداء نماذج التعلم العميق لمهام تصنيف الصور بشكل عام. ثم يتم تقييم نموذج التعلم العميق المدرب على تصنيف عيب السطح المعدني، والذي كان له في السابق أداء منخفض، من خلال نشر الصلة بالطبقة - وهي تقنية شرح الذكاء الاصطناعي - لتحديد المشكلات في مجموعة البيانات التي تعيق تدريب نماذج التعلم العميق في مجموعة واسعة من التطبيقات. بعد ذلك، من الممكن إزالة هذه المعلومات غير المرغوب فيها من مجموعة البيانات - باستخدام مناهج مختلفة: من قص جزء من الصور إلى تدريب نموذج الشبكة العصبية التلوين التوليدي - وإعادة تدريب النموذج على الصور الجديدة المعالجة مسبقًا. حسنت هذه المنهجية المقترحة درجة F1 بنسبة 20 ٪ عند مقارنتها بمجموعة البيانات المدربة الأصلية، مما أدى إلى التحقق من سير العمل المقترح.

Translated Description (French)

Résumé Dans ce travail, nous proposons un flux de travail pour traiter les images superposées - images avec texte superposé et logos d'entreprise -, ce qui est très courant dans les vidéos de surveillance sous-marine et les séquences de caméras de surveillance. Il est démontré qu'il est possible d'utiliser Explaining Artificial Intelligence pour améliorer les performances des modèles d'apprentissage profond pour les tâches de classification d'images en général. Un modèle d'apprentissage profond formé pour classer les défauts de surface métallique, qui avaient auparavant une faible performance, est ensuite évalué avec une propagation de pertinence par couche - une technique d'intelligence artificielle explicative - pour identifier les problèmes dans un ensemble de données qui entravent la formation de modèles d'apprentissage profond dans un large éventail d'applications. Par la suite, il est possible de supprimer ces informations indésirables de l'ensemble de données - en utilisant différentes approches : de la coupe d'une partie des images à la formation d'un modèle de réseau neuronal Generative Inpainting - et de recycler le modèle avec les nouvelles images prétraitées. Cette méthodologie proposée a amélioré le score F1 de 20% par rapport à l'ensemble de données formé d'origine, validant le flux de travail proposé.

Translated Description (Spanish)

Resumen En este trabajo proponemos un flujo de trabajo para hacer frente a las imágenes superpuestas -imágenes con texto superpuesto y logotipos de la empresa-, que es muy común en los vídeos de monitorización subacuática y en el metraje de las cámaras de vigilancia. Se demuestra que es posible utilizar la Explicación de la Inteligencia Artificial para mejorar el rendimiento de los modelos de aprendizaje profundo para las tareas de clasificación de imágenes en general. Un modelo de aprendizaje profundo entrenado para clasificar el defecto de la superficie metálica, que anteriormente tenía un bajo rendimiento, se evalúa luego con la propagación de relevancia por capas, una técnica de Explicación de la Inteligencia Artificial, para identificar problemas en un conjunto de datos que dificultan el entrenamiento de modelos de aprendizaje profundo en una amplia gama de aplicaciones. A partir de entonces, es posible eliminar esta información no deseada del conjunto de datos, utilizando diferentes enfoques: desde cortar parte de las imágenes hasta entrenar un modelo de red neuronal de pintura generativa, y volver a entrenar el modelo con las nuevas imágenes preprocesadas. Esta metodología propuesta mejoró la puntuación F1 en un 20% en comparación con el conjunto de datos entrenado original, validando el flujo de trabajo propuesto.

Files

s44163-021-00008-y.pdf.pdf

Files (6.8 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:4509d0aeffd40c8dad556615125deb6a
6.8 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
تحسين أداء التعلم العميق باستخدام مناهج الذكاء الاصطناعي القابلة للتفسير (XAI)
Translated title (French)
Améliorer les performances d'apprentissage en profondeur en utilisant des approches d'intelligence artificielle explicable (XAI)
Translated title (Spanish)
Mejorar el rendimiento del aprendizaje profundo mediante el uso de enfoques de Inteligencia Artificial Explicable (XAI)

Identifiers

Other
https://openalex.org/W3201952397
DOI
10.1007/s44163-021-00008-y

Is supplement to
https://openalex.org/W4380086463 (Other)
https://openalex.org/W4380075502 (Other)
https://openalex.org/W4364306694 (Other)
https://openalex.org/W4360585206 (Other)
https://openalex.org/W4312200629 (Other)
https://openalex.org/W4250304930 (Other)
https://openalex.org/W4225161397 (Other)
https://openalex.org/W4223943233 (Other)
https://openalex.org/W3164822677 (Other)
https://openalex.org/W3014300295 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Brazil

References

  • https://openalex.org/W1787224781
  • https://openalex.org/W2105767494
  • https://openalex.org/W2117539524
  • https://openalex.org/W2155503253
  • https://openalex.org/W2164700406
  • https://openalex.org/W2194775991
  • https://openalex.org/W2582187633
  • https://openalex.org/W2583832915
  • https://openalex.org/W277238768
  • https://openalex.org/W2927351257
  • https://openalex.org/W2963327228
  • https://openalex.org/W2978968642
  • https://openalex.org/W3000716014
  • https://openalex.org/W3006682208
  • https://openalex.org/W3012374719
  • https://openalex.org/W3012566059
  • https://openalex.org/W3035376925
  • https://openalex.org/W3043547428
  • https://openalex.org/W3096831136
  • https://openalex.org/W3098691969
  • https://openalex.org/W4241913361
  • https://openalex.org/W4255427351
  • https://openalex.org/W4300273322