Published January 1, 2024 | Version v1
Publication Open

MMGANGuard: A Robust Approach for Detecting Fake Images Generated by GANs using Multi-Model Techniques

  • 1. National University of Computer and Emerging Sciences
  • 2. University of South Wales

Description

Recent advances in Generative Adversarial Networks (GANs) have produced synthetic images with high visual fidelity, making them nearly indistinguishable from human-created images.These synthetic images referred to as deepfakes, have become a major source of misinformation due to social media.Technology is advancing rapidly, so reliable methods for distinguishing real from fake images are needed.The current detection mechanisms require image forensics tools such as error level analysis (ELA), and clone detection to detect manipulated images.These approaches are limited because they require forensics expertise to use, are manual in application nature, and are unscalable, creating a need for a framework for a scalable tool that experts and non-experts can use to combat the spread of manipulated images and preserve digital visual information authenticity.We approach this problem with a multi-model ensemble framework using the transfer learning method to effectively detect fake images.The proposed approach named Multi-Model GAN Guard (MMGANGuard)integrates four models into an ensemble framework to identify GANgenerated image characteristics to improve deepfake detection.The Gram-Net architecture, ResNet50V2, and DenseNet201 models are used with co-occurrence matrices using transfer learning for MMGANGuard.Through comprehensive experiments, the proposed model demonstrates promising results in detecting the deepfake with high accuracy on the StyleGAN dataset.For automated detection of deepfake-generated images, the proposed model exceeded 97% accuracy, 98.5% TPR, 98.4% TPR, and 95.6% TPR in these evaluations, eliminating the need for manual assessment which is promising for future research in this domain.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

أنتجت التطورات الحديثة في شبكات الخصومة التوليدية (GANs) صورًا اصطناعية بدقة بصرية عالية، مما يجعلها غير قابلة للتمييز تقريبًا عن الصور التي تم إنشاؤها بواسطة الإنسان. أصبحت هذه الصور الاصطناعية المشار إليها باسم deepfakes، مصدرًا رئيسيًا للمعلومات الخاطئة بسبب وسائل التواصل الاجتماعي. التكنولوجيا تتقدم بسرعة، لذلك هناك حاجة إلى طرق موثوقة للتمييز بين الصور الحقيقية والمزيفة. تتطلب آليات الكشف الحالية أدوات الطب الشرعي للصور مثل تحليل مستوى الخطأ (ELA)، واكتشاف الاستنساخ للكشف عن الصور التي تم التلاعب بها. هذه الأساليب محدودة لأنها تتطلب خبرة في الطب الشرعي لاستخدامها، هي يدوية في طبيعة التطبيق، وغير قابلة للتطوير، مما يخلق حاجة إلى إطار لأداة قابلة للتطوير يمكن للخبراء وغير الخبراء استخدامها لمكافحة انتشار الصور التي تم التلاعب بها والحفاظ على صحة المعلومات المرئية الرقمية. نحن نتعامل مع هذه المشكلة بإطار عمل متعدد النماذج باستخدام طريقة تعلم النقل للكشف الفعال عن الصور المزيفة. يدمج النهج المقترح المسمى Multi - Model GAN Guard (MMGANGuard) أربعة نماذج في إطار عمل جماعي لتحديد خصائص الصورة التي تم إنشاؤها بواسطة GAN لتحسين اكتشاف التزييف العميق. يتم استخدام نماذج Gram - Net و ResNet50V2 و DenseNet201 مع التكرار المصفوفات باستخدام تعلم النقل لـ MMGANGuard. من خلال التجارب الشاملة، يوضح النموذج المقترح نتائج واعدة في اكتشاف التزييف العميق بدقة عالية على مجموعة بيانات StyleGAN. بالنسبة للاكتشاف الآلي للصور الناتجة عن التزييف العميق، تجاوز النموذج المقترح دقة 97 ٪، و 98.5 ٪ TPR، و 98.4 ٪ TPR، و 95.6 ٪ TPR في هذه التقييمات، مما يلغي الحاجة إلى التقييم اليدوي الذي يعد واعدًا للبحث المستقبلي في هذا المجال.

Translated Description (French)

Les progrès récents des réseaux antagonistes génératifs (GaN) ont produit des images synthétiques d'une grande fidélité visuelle, ce qui les rend presque impossibles à distinguer des images créées par l'homme. Ces images synthétiques appelées deepfakes sont devenues une source majeure de désinformation en raison des médias sociaux. La technologie progresse rapidement, de sorte que des méthodes fiables pour distinguer les images réelles des fausses sont nécessaires. Les mécanismes de détection actuels nécessitent des outils de criminalistique d'image tels que l'analyse du niveau d'erreur (ELA) et la détection de clones pour détecter les images manipulées. Ces approches sont limitées car elles nécessitent une expertise en criminalistique, sont de nature manuelle et ne sont pas évolutives, ce qui crée le besoin d'un cadre pour un outil évolutif que les experts et les non-experts peuvent utiliser pour lutter contre la propagation des images manipulées et préserver l'authenticité des informations visuelles numériques.Nous abordons ce problème avec un cadre d'ensemble multimodèle utilisant la méthode d'apprentissage par transfert pour détecter efficacement les fausses images.L' approche proposée nommée Multi-Model GAN Guard (MMGANGuard)intègre quatre modèles dans un cadre d'ensemble pour identifier les caractéristiques des images générées par GAN afin d'améliorer la détection des deepfake.L' architecture Gram-Net, ResNet50V2 et les modèles DenseNet201 sont utilisés avec co-occurrence matrices utilisant l'apprentissage par transfert pour MMGANGuard. Grâce à des expériences complètes, le modèle proposé démontre des résultats prometteurs dans la détection du deepfake avec une grande précision sur l'ensemble de données StyleGAN. Pour la détection automatisée des images générées par le deepfake, le modèle proposé a dépassé 97% de précision, 98,5% TPR, 98,4% TPR et 95,6% TPR dans ces évaluations, éliminant le besoin d'évaluation manuelle qui est prometteur pour la recherche future dans ce domaine.

Translated Description (Spanish)

Los avances recientes en las redes adversarias generativas (GAN) han producido imágenes sintéticas con alta fidelidad visual, lo que las hace casi indistinguibles de las imágenes creadas por humanos. Estas imágenes sintéticas, denominadas deepfakes, se han convertido en una importante fuente de desinformación debido a las redes sociales. La tecnología avanza rápidamente, por lo que se necesitan métodos confiables para distinguir las imágenes reales de las falsas. Los mecanismos de detección actuales requieren herramientas forenses de imágenes, como el análisis de nivel de error (ELA) y la detección de clones para detectar imágenes manipuladas. Estos enfoques son limitados porque requieren experiencia forense para su uso, son de aplicación manual y no escalables, lo que crea la necesidad de un marco para una herramienta escalable que expertos y no expertos puedan usar para combatir la propagación de imágenes manipuladas y preservar la autenticidad de la información visual digital. Abordamos este problema con un marco de conjunto multimodelo utilizando el método de aprendizaje por transferencia para detectar imágenes falsas de manera efectiva. El enfoque propuesto llamado Multi-Model GAN Guard (MMGANGuard)integra cuatro modelos en un marco de conjunto para identificar las características de la imagen generada por GAN para mejorar la detección de deepfake. La arquitectura Gram-Net, los modelos ResNet50V2 y DenseNet201 se utilizan con co-ocurrencia matrices que utilizan el aprendizaje por transferencia para MMGANGuard. A través de experimentos exhaustivos, el modelo propuesto demuestra resultados prometedores en la detección del deepfake con alta precisión en el conjunto de datos StyleGAN. Para la detección automatizada de imágenes generadas por deepfake, el modelo propuesto superó el 97% de precisión, el 98,5% de TPR, el 98,4% de TPR y el 95,6% de TPR en estas evaluaciones, eliminando la necesidad de una evaluación manual que es prometedora para futuras investigaciones en este ámbito.

Files

10508385.pdf.pdf

Files (245 Bytes)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:e2f90ef2aabf27d1f8be37eba62ac369
245 Bytes
Preview Download

Additional details

Additional titles

Translated title (Arabic)
MMGANGuard: نهج قوي للكشف عن الصور المزيفة التي تم إنشاؤها بواسطة GANs باستخدام تقنيات متعددة النماذج
Translated title (French)
MMGANGuard : Une approche robuste pour détecter les fausses images générées par les GaN à l'aide de techniques multimodèles
Translated title (Spanish)
MMGANGuard: un enfoque robusto para detectar imágenes falsas generadas por Gan utilizando técnicas multimodelo

Identifiers

Other
https://openalex.org/W4395447483
DOI
10.1109/access.2024.3393842

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Pakistan

References

  • https://openalex.org/W2194775991
  • https://openalex.org/W2314795380
  • https://openalex.org/W2889677435
  • https://openalex.org/W2962793481
  • https://openalex.org/W2963446712
  • https://openalex.org/W2963767194
  • https://openalex.org/W2975558816
  • https://openalex.org/W3005848763
  • https://openalex.org/W3034214108
  • https://openalex.org/W3034795015
  • https://openalex.org/W3094733139
  • https://openalex.org/W3155026250
  • https://openalex.org/W3166640306
  • https://openalex.org/W3166900385
  • https://openalex.org/W3170019900
  • https://openalex.org/W3191630110
  • https://openalex.org/W3192915988
  • https://openalex.org/W4205695807
  • https://openalex.org/W4220894545
  • https://openalex.org/W4226348722
  • https://openalex.org/W4281484041
  • https://openalex.org/W4281691725
  • https://openalex.org/W4287182951
  • https://openalex.org/W4297878838
  • https://openalex.org/W4302011534
  • https://openalex.org/W4308894578
  • https://openalex.org/W4312247855
  • https://openalex.org/W4320013936
  • https://openalex.org/W4352978532