Published January 1, 2022
| Version v1
Publication
Open
Convolutional Neural Network Based on Diverse Gabor Filters for Deepfake Recognition
- 1. Arab Academy for Science, Technology, and Maritime Transport
- 2. Pennsylvania State University
Description
Media synthesis and manipulation has reached unprecedented levels of realism owing to the proliferation of deep learning. Deepfake has been the de-facto tool for media manipulation. Although this technology has potential in the entertainment industry, its threats include political manipulation and bypassing biometric security systems. As a result, deepfake detection has garnered widespread attention among research communities. The intuition is to use deep learning to fix the problems created by deep learning. Although convolutional neural networks have shown their dominance in the filed of pattern recognition, the receptive field-model size dilemma still persists along with the lack of interpretation for such models. While the traditional Gabor function was proposed to fix these problems, it can only generate limited linear Gabor filters which makes it optimal for limited data and applications. The contribution of this paper is quadruple: (i) proposing a unified Gabor function capable of generating linear, elliptical, and circular Gabor filters. (ii) leveraging the back-propagation learning framework to incorporate the proposed function in convolutional neural networks and generate adaptive Gabor filters. (iii) presenting a dual scale large receptive field network for deepfake image recognition. (iv) demonstrating where the proposed model stands in terms of performance and architecture size compared to state-of-the-art models. The proposed model is evaluated on four benchmark datasets: Celeb-DF (v2), DeepFake Detection Challenge Preview, FaceForensics++ and Wilddeepfake. Experimental results show that the proposed adaptive Gabor filters reduce the model size by 64.9% compared to adaptive weighted filters without performance reduction.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
وصل توليف وسائل الإعلام والتلاعب بها إلى مستويات غير مسبوقة من الواقعية بسبب انتشار التعلم العميق. كان Deepfake هو الأداة الفعلية للتلاعب بالوسائط. على الرغم من أن هذه التكنولوجيا لديها إمكانات في صناعة الترفيه، إلا أن تهديداتها تشمل التلاعب السياسي وتجاوز أنظمة الأمن البيومترية. ونتيجة لذلك، حظي اكتشاف التزييف العميق باهتمام واسع النطاق بين المجتمعات البحثية. الحدس هو استخدام التعلم العميق لإصلاح المشاكل التي يخلقها التعلم العميق. على الرغم من أن الشبكات العصبية الالتفافية أظهرت هيمنتها في مجال التعرف على الأنماط، إلا أن معضلة حجم النموذج الميداني المستقبلي لا تزال قائمة إلى جانب عدم وجود تفسير لمثل هذه النماذج. في حين تم اقتراح وظيفة غابور التقليدية لإصلاح هذه المشاكل، إلا أنها لا يمكن أن تولد سوى مرشحات غابور خطية محدودة مما يجعلها مثالية للبيانات والتطبيقات المحدودة. مساهمة هذه الورقة رباعية: (1) اقتراح وظيفة Gabor موحدة قادرة على توليد مرشحات Gabor الخطية والبيضاوية والدائرية. (2) الاستفادة من إطار تعلم الانتشار الخلفي لدمج الوظيفة المقترحة في الشبكات العصبية الالتفافية وتوليد مرشحات Gabor التكيفية. (3) تقديم شبكة مجال تقبلي كبيرة مزدوجة النطاق للتعرف على الصور المزيفة. (4) توضيح المكان الذي يقف فيه النموذج المقترح من حيث الأداء وحجم البنية مقارنة بالنماذج الحديثة. يتم تقييم النموذج المقترح على أربع مجموعات بيانات مرجعية: Celeb - DF (v2) و DeepFake Detection Challenge Preview وFaceForensics++ و Wilddeepfake. تظهر النتائج التجريبية أن مرشحات Gabor التكيفية المقترحة تقلل من حجم النموذج بنسبة 64.9 ٪ مقارنة بالمرشحات المرجحة التكيفية دون تقليل الأداء.Translated Description (French)
La synthèse et la manipulation des médias ont atteint des niveaux de réalisme sans précédent en raison de la prolifération de l'apprentissage profond. Deepfake a été l'outil de facto pour la manipulation des médias. Bien que cette technologie ait un potentiel dans l'industrie du divertissement, ses menaces comprennent la manipulation politique et le contournement des systèmes de sécurité biométriques. En conséquence, la détection de deepfake a attiré l'attention des communautés de recherche. L'intuition est d'utiliser l'apprentissage en profondeur pour résoudre les problèmes créés par l'apprentissage en profondeur. Bien que les réseaux de neurones convolutifs aient montré leur domination dans le domaine de la reconnaissance des formes, le dilemme de la taille du modèle de champ réceptif persiste toujours avec le manque d'interprétation pour de tels modèles. Bien que la fonction Gabor traditionnelle ait été proposée pour résoudre ces problèmes, elle ne peut générer que des filtres Gabor linéaires limités, ce qui la rend optimale pour des données et des applications limitées. La contribution de cet article est quadruple : (i) proposer une fonction de Gabor unifiée capable de générer des filtres de Gabor linéaires, elliptiques et circulaires. (ii) tirer parti du cadre d'apprentissage par rétropropagation pour intégrer la fonction proposée dans les réseaux de neurones convolutionnels et générer des filtres de Gabor adaptatifs. (iii) présenter un réseau de champ réceptif à grande échelle à double échelle pour la reconnaissance d'images profondes. (iv) démontrer où se situe le modèle proposé en termes de performances et de taille d'architecture par rapport aux modèles de pointe. Le modèle proposé est évalué sur quatre ensembles de données de référence : Celeb-DF (v2), DeepFake Detection Challenge Preview, FaceForensics++ et Wilddeepfake. Les résultats expérimentaux montrent que les filtres Gabor adaptatifs proposés réduisent la taille du modèle de 64,9 % par rapport aux filtres pondérés adaptatifs sans réduction de performance.Translated Description (Spanish)
La síntesis y manipulación de medios ha alcanzado niveles de realismo sin precedentes debido a la proliferación del aprendizaje profundo. Deepfake ha sido la herramienta de facto para la manipulación de los medios. Aunque esta tecnología tiene potencial en la industria del entretenimiento, sus amenazas incluyen la manipulación política y eludir los sistemas de seguridad biométrica. Como resultado, la detección de deepfake ha atraído una atención generalizada entre las comunidades de investigación. La intuición es usar el aprendizaje profundo para solucionar los problemas creados por el aprendizaje profundo. Aunque las redes neuronales convolucionales han demostrado su dominio en el campo del reconocimiento de patrones, el dilema receptivo del tamaño del modelo de campo aún persiste junto con la falta de interpretación para dichos modelos. Si bien la función Gabor tradicional se propuso para solucionar estos problemas, solo puede generar filtros Gabor lineales limitados, lo que la hace óptima para datos y aplicaciones limitados. La contribución de este documento es cuádruple: (i) proponer una función Gabor unificada capaz de generar filtros Gabor lineales, elípticos y circulares. (ii) aprovechar el marco de aprendizaje de retropropagación para incorporar la función propuesta en redes neuronales convolucionales y generar filtros Gabor adaptativos. (iii) presentar una red de campo receptivo grande de doble escala para el reconocimiento de imágenes deepfake. (iv) demostrar dónde se encuentra el modelo propuesto en términos de rendimiento y tamaño de la arquitectura en comparación con los modelos más avanzados. El modelo propuesto se evalúa en cuatro conjuntos de datos de referencia: Celeb-DF (v2), DeepFake Detection Challenge Preview, FaceForensics++ y Wilddeepfake. Los resultados experimentales muestran que los filtros Gabor adaptativos propuestos reducen el tamaño del modelo en un 64,9% en comparación con los filtros ponderados adaptativos sin reducción del rendimiento.Files
09714283.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:c0963a7897ac32edf7dcb354a112c339
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- الشبكة العصبية الالتفافية استنادًا إلى مرشحات Gabor المتنوعة للتعرف على التزييف العميق
- Translated title (French)
- Réseau neuronal convolutionnel basé sur divers filtres de Gabor pour la reconnaissance Deepfake
- Translated title (Spanish)
- Red neuronal convolucional basada en diversos filtros Gabor para el reconocimiento de falsificaciones profundas
Identifiers
- Other
- https://openalex.org/W4213030755
- DOI
- 10.1109/access.2022.3152029
References
- https://openalex.org/W2099471712
- https://openalex.org/W211198884
- https://openalex.org/W2120026449
- https://openalex.org/W2194775991
- https://openalex.org/W2558098092
- https://openalex.org/W2598666589
- https://openalex.org/W2610691757
- https://openalex.org/W2891145043
- https://openalex.org/W2910481888
- https://openalex.org/W2914447220
- https://openalex.org/W2963163009
- https://openalex.org/W2963446712
- https://openalex.org/W2963720850
- https://openalex.org/W2979061677
- https://openalex.org/W2982058372
- https://openalex.org/W2985990156
- https://openalex.org/W2988779004
- https://openalex.org/W2993223405
- https://openalex.org/W3013868170
- https://openalex.org/W3017090426
- https://openalex.org/W3017837134
- https://openalex.org/W3028411153
- https://openalex.org/W3034196597
- https://openalex.org/W3034713808
- https://openalex.org/W3036576316
- https://openalex.org/W3048007723
- https://openalex.org/W3091618893
- https://openalex.org/W3094728142
- https://openalex.org/W3101998545
- https://openalex.org/W3104736546
- https://openalex.org/W3105974621
- https://openalex.org/W3110310448
- https://openalex.org/W3125803510
- https://openalex.org/W3127225435
- https://openalex.org/W3154326567
- https://openalex.org/W3176241004
- https://openalex.org/W3200712287