Published May 27, 2024 | Version v1
Publication

Deepfake forensics: a survey of digital forensic methods for multimodal deepfake identification on social media

  • 1. COMSATS University Islamabad
  • 2. Umm al-Qura University

Description

The rapid advancement of deepfake technology poses an escalating threat of misinformation and fraud enabled by manipulated media. Despite the risks, a comprehensive understanding of deepfake detection techniques has not materialized. This research tackles this knowledge gap by providing an up-to-date systematic survey of the digital forensic methods used to detect deepfakes. A rigorous methodology is followed, consolidating findings from recent publications on deepfake detection innovation. Prevalent datasets that underpin new techniques are analyzed. The effectiveness and limitations of established and emerging detection approaches across modalities including image, video, text and audio are evaluated. Insights into real-world performance are shared through case studies of high-profile deepfake incidents. Current research limitations around aspects like cross-modality detection are highlighted to inform future work. This timely survey furnishes researchers, practitioners and policymakers with a holistic overview of the state-of-the-art in deepfake detection. It concludes that continuous innovation is imperative to counter the rapidly evolving technological landscape enabling deepfakes.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

يشكل التقدم السريع لتقنية التزييف العميق تهديدًا متصاعدًا للمعلومات المضللة والاحتيال التي تتيحها وسائل الإعلام المتلاعب بها. على الرغم من المخاطر، لم يتحقق فهم شامل لتقنيات الكشف عن التزييف العميق. يعالج هذا البحث هذه الفجوة المعرفية من خلال توفير مسح منهجي حديث لأساليب الطب الشرعي الرقمية المستخدمة للكشف عن التزييف العميق. يتم اتباع منهجية صارمة، وتوحيد النتائج المستخلصة من المنشورات الحديثة حول ابتكار اكتشاف التزييف العميق. يتم تحليل مجموعات البيانات السائدة التي تدعم التقنيات الجديدة. يتم تقييم فعالية وقيود مناهج الكشف القائمة والناشئة عبر الطرائق بما في ذلك الصورة والفيديو والنص والصوت. تتم مشاركة الرؤى حول الأداء في العالم الحقيقي من خلال دراسات الحالة لحوادث التزييف العميق البارزة. يتم تسليط الضوء على قيود البحث الحالية حول جوانب مثل الكشف متعدد الوسائط لإثراء العمل المستقبلي. يوفر هذا الاستطلاع في الوقت المناسب للباحثين والممارسين وواضعي السياسات نظرة شاملة على أحدث ما توصلت إليه عملية الكشف عن التزييف العميق. ويخلص إلى أن الابتكار المستمر أمر حتمي لمواجهة المشهد التكنولوجي سريع التطور الذي يتيح التزييف العميق.

Translated Description (French)

Les progrès rapides de la technologie deepfake constituent une menace croissante de désinformation et de fraude permise par les médias manipulés. Malgré les risques, une compréhension complète des techniques de détection de deepfake ne s'est pas concrétisée. Cette recherche s'attaque à cette lacune en fournissant une enquête systématique à jour sur les méthodes médico-légales numériques utilisées pour détecter les deepfakes. Une méthodologie rigoureuse est suivie, consolidant les résultats de publications récentes sur l'innovation en matière de détection de deepfake. Les ensembles de données prédominants qui sous-tendent les nouvelles techniques sont analysés. L'efficacité et les limites des approches de détection établies et émergentes dans toutes les modalités, y compris l'image, la vidéo, le texte et l'audio, sont évaluées. Les informations sur les performances du monde réel sont partagées à travers des études de cas d'incidents de grande envergure. Les limites actuelles de la recherche autour d'aspects tels que la détection intermodale sont mises en évidence pour éclairer les travaux futurs. Cette enquête opportune fournit aux chercheurs, aux praticiens et aux décideurs une vue d'ensemble holistique de l'état de l'art en matière de détection de deepfake. Il conclut que l'innovation continue est impérative pour contrer l'évolution rapide du paysage technologique permettant les deepfakes.

Translated Description (Spanish)

El rápido avance de la tecnología deepfake plantea una amenaza creciente de desinformación y fraude habilitada por medios manipulados. A pesar de los riesgos, no se ha materializado una comprensión integral de las técnicas de detección de deepfakes. Esta investigación aborda esta brecha de conocimiento al proporcionar una encuesta sistemática actualizada de los métodos forenses digitales utilizados para detectar deepfakes. Se sigue una metodología rigurosa, consolidando los hallazgos de publicaciones recientes sobre la innovación en la detección de deepfake. Se analizan los conjuntos de datos prevalentes que sustentan las nuevas técnicas. Se evalúan la efectividad y las limitaciones de los enfoques de detección establecidos y emergentes en todas las modalidades, incluidas la imagen, el vídeo, el texto y el audio. Los conocimientos sobre el rendimiento en el mundo real se comparten a través de estudios de casos de incidentes deepfake de alto perfil. Las limitaciones actuales de la investigación en torno a aspectos como la detección de modalidades cruzadas se destacan para informar el trabajo futuro. Esta encuesta oportuna proporciona a los investigadores, profesionales y responsables de la formulación de políticas una visión general holística del estado del arte en la detección de deepfakes. Concluye que la innovación continua es imprescindible para contrarrestar el panorama tecnológico en rápida evolución que permite las falsificaciones profundas.

Additional details

Additional titles

Translated title (Arabic)
الطب الشرعي للتزييف العميق: مسح لأساليب الطب الشرعي الرقمية لتحديد التزييف العميق متعدد الوسائط على وسائل التواصل الاجتماعي
Translated title (French)
Deepfake forensics : une enquête sur les méthodes médico-légales numériques pour l'identification multimodale des deepfakes sur les réseaux sociaux
Translated title (Spanish)
Deepfake forensics: una encuesta de métodos forenses digitales para la identificación multimodal de deepfakes en las redes sociales

Identifiers

Other
https://openalex.org/W4399048893
DOI
10.7717/peerj-cs.2037

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Pakistan

References

  • https://openalex.org/W2083926666
  • https://openalex.org/W2293989420
  • https://openalex.org/W2301937176
  • https://openalex.org/W2737067721
  • https://openalex.org/W2738406145
  • https://openalex.org/W2883289607
  • https://openalex.org/W2889677435
  • https://openalex.org/W2891145043
  • https://openalex.org/W2898712164
  • https://openalex.org/W2904573504
  • https://openalex.org/W2911424785
  • https://openalex.org/W2913187042
  • https://openalex.org/W2914447220
  • https://openalex.org/W2953335716
  • https://openalex.org/W2962770929
  • https://openalex.org/W2962958939
  • https://openalex.org/W2963720850
  • https://openalex.org/W2973385654
  • https://openalex.org/W2982058372
  • https://openalex.org/W2987809008
  • https://openalex.org/W2995481985
  • https://openalex.org/W3003301247
  • https://openalex.org/W3011117268
  • https://openalex.org/W3016224303
  • https://openalex.org/W3023887666
  • https://openalex.org/W3034713808
  • https://openalex.org/W3034900344
  • https://openalex.org/W3035446294
  • https://openalex.org/W3042259653
  • https://openalex.org/W3046357466
  • https://openalex.org/W3080632971
  • https://openalex.org/W3088210628
  • https://openalex.org/W3093673399
  • https://openalex.org/W3096661774
  • https://openalex.org/W3097325874
  • https://openalex.org/W3110310448
  • https://openalex.org/W3115298008
  • https://openalex.org/W3118833067
  • https://openalex.org/W3127432888
  • https://openalex.org/W3135809943
  • https://openalex.org/W3136860328
  • https://openalex.org/W3152585304
  • https://openalex.org/W3157266061
  • https://openalex.org/W3160588807
  • https://openalex.org/W3163803449
  • https://openalex.org/W3163907013
  • https://openalex.org/W3173775919
  • https://openalex.org/W3174508664
  • https://openalex.org/W3175824036
  • https://openalex.org/W3177228617
  • https://openalex.org/W3179079440
  • https://openalex.org/W3191451528
  • https://openalex.org/W3193608404
  • https://openalex.org/W3193638860
  • https://openalex.org/W3203673582
  • https://openalex.org/W3203720541
  • https://openalex.org/W4200551480
  • https://openalex.org/W4200635057
  • https://openalex.org/W4210366369
  • https://openalex.org/W4210595036
  • https://openalex.org/W4213079790
  • https://openalex.org/W4220982360
  • https://openalex.org/W4221161769
  • https://openalex.org/W4225420087
  • https://openalex.org/W4226018743
  • https://openalex.org/W4226237108
  • https://openalex.org/W4226246616
  • https://openalex.org/W4226348722
  • https://openalex.org/W4228997702
  • https://openalex.org/W4229019234
  • https://openalex.org/W4280571957
  • https://openalex.org/W4283464460
  • https://openalex.org/W4283802557
  • https://openalex.org/W4284964929
  • https://openalex.org/W4285791414
  • https://openalex.org/W4287026043
  • https://openalex.org/W4287718076
  • https://openalex.org/W4296069136
  • https://openalex.org/W4297811796
  • https://openalex.org/W4297841787
  • https://openalex.org/W4297988790
  • https://openalex.org/W4298635730
  • https://openalex.org/W4299567010
  • https://openalex.org/W4304080356
  • https://openalex.org/W4304087166
  • https://openalex.org/W4304754959
  • https://openalex.org/W4306906557
  • https://openalex.org/W4312324064
  • https://openalex.org/W4312334464
  • https://openalex.org/W4313328144
  • https://openalex.org/W4315865725
  • https://openalex.org/W4316661748
  • https://openalex.org/W4318320802
  • https://openalex.org/W4318570524
  • https://openalex.org/W4319336828
  • https://openalex.org/W4320013936
  • https://openalex.org/W4320812437
  • https://openalex.org/W4321765347
  • https://openalex.org/W4322630059
  • https://openalex.org/W4327652462
  • https://openalex.org/W4353072317
  • https://openalex.org/W4361199093
  • https://openalex.org/W4366373993
  • https://openalex.org/W4366376705
  • https://openalex.org/W4377943556
  • https://openalex.org/W4379985002
  • https://openalex.org/W4380051671
  • https://openalex.org/W4381198892
  • https://openalex.org/W4383221407
  • https://openalex.org/W4385187297
  • https://openalex.org/W4385713360
  • https://openalex.org/W4391684159