Published January 1, 2023 | Version v1
Publication Open

Two Heads Are Better Than One: Improving Fake News Video Detection by Correlating with Neighbors

Creators

  • 1. Institute of Computing Technology
  • 2. Chinese Academy of Sciences
  • 3. University of Chinese Academy of Sciences
  • 4. National University of Singapore

Description

The prevalence of short video platforms has spawned a lot of fake news videos, which have stronger propagation ability than textual fake news.Thus, automatically detecting fake news videos has been an important countermeasure in practice.Previous works commonly verify each news video individually with multimodal information.Nevertheless, news videos from different perspectives regarding the same event are commonly posted together, which contain complementary or contradictory information and thus can be used to evaluate each other mutually.To this end, we introduce a new and practical paradigm, i.e., cross-sample fake news video detection, and propose a novel framework, Neighbor-Enhanced fakE news video Detection (NEED), which integrates the neighborhood relationship of new videos belonging to the same event.NEED can be readily combined with existing single-sample detectors and further enhance their performances with the proposed graph aggregation (GA) and debunking rectification (DR) modules.Specifically, given the feature representations obtained from single-sample detectors, GA aggregates the neighborhood information with the dynamic graph to enrich the features of independent samples.After that, DR explicitly leverages the relationship between debunking videos and fake news videos to refute the candidate videos via textual and visual consistency.Extensive experiments on the public benchmark demonstrate that NEED greatly improves the performance of both single-modal (up to 8.34% in accuracy) and multimodal (up to 4.97% in accuracy) base detectors.Codes are available in https://github.com/ICTMCG/NEED.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

أدى انتشار منصات الفيديو القصيرة إلى إنتاج الكثير من مقاطع الفيديو الإخبارية المزيفة، والتي تتمتع بقدرة انتشار أقوى من الأخبار المزيفة النصية. وبالتالي، كان اكتشاف مقاطع الفيديو الإخبارية المزيفة تلقائيًا إجراءً مضادًا مهمًا في الممارسة العملية. عادةً ما تتحقق الأعمال السابقة من كل مقطع فيديو إخباري بشكل فردي بمعلومات متعددة الوسائط. ومع ذلك، يتم نشر مقاطع الفيديو الإخبارية من وجهات نظر مختلفة فيما يتعلق بالحدث نفسه بشكل شائع معًا، والتي تحتوي على معلومات تكميلية أو متناقضة وبالتالي يمكن استخدامها لتقييم بعضها البعض بشكل متبادل. تحقيقا لهذه الغاية، نقدم نموذجًا جديدًا وعمليًا، أي فيديو إخباري مزيف متعدد العينات الكشف، واقتراح إطار جديد، كشف الفيديو للأخبار المزيفة المعززة للجيران (NEED)، والذي يدمج علاقة الجوار لمقاطع الفيديو الجديدة التي تنتمي إلى نفس الحدث. يمكن دمج NEED بسهولة مع أجهزة الكشف عن عينة واحدة الحالية وتعزيز أدائها مع وحدات تجميع الرسم البياني (GA) وتصحيح كشف الزيف (DR) المقترحة. على وجه التحديد، نظرًا لتمثيلات الميزات التي تم الحصول عليها من أجهزة الكشف عن عينة واحدة، تقوم GA بتجميع معلومات الجوار مع الرسم البياني الديناميكي لإثراء ميزات العينات المستقلة. بعد ذلك، تستفيد DR بشكل صريح من العلاقة بين مقاطع الفيديو المزيفة و مقاطع فيديو إخبارية مزيفة لدحض مقاطع الفيديو المرشحة عبر الاتساق النصي والبصري. تُظهر التجارب المكثفة على المعيار العام أن الحاجة تحسن بشكل كبير من أداء كل من أجهزة الكشف الأساسية أحادية النمط (تصل دقتها إلى 8.34 ٪) ومتعددة الوسائط (تصل دقتها إلى 4.97 ٪). تتوفر الرموز على https://github.com/ICTMCG/NEED.

Translated Description (French)

La prévalence des plateformes vidéo courtes a engendré beaucoup de fausses vidéos d'actualités, qui ont une capacité de propagation plus forte que les fausses vidéos d'actualités textuelles. Ainsi, la détection automatique des fausses vidéos d'actualités a été une contre-mesure importante dans la pratique. Les œuvres précédentes vérifient généralement chaque vidéo d'actualités individuellement avec des informations multimodales. Cependant, les vidéos d'actualités de différentes perspectives concernant le même événement sont généralement publiées ensemble, qui contiennent des informations complémentaires ou contradictoires et peuvent donc être utilisées pour s'évaluer mutuellement. À cette fin, nous introduisons un nouveau paradigme pratique, c'est-à-dire une vidéo de fausses actualités multi-échantillons et proposer un nouveau cadre, Neighbor-Enhanced fakE news video Detection (NEED), qui intègre la relation de voisinage des nouvelles vidéos appartenant au même événement.NEED peut être facilement combiné avec les détecteurs à échantillon unique existants et améliorer encore leurs performances avec les modules proposés d'agrégation de graphiques (GA) et de rectification de déboulonnage (DR). Spécifiquement, compte tenu des représentations de caractéristiques obtenues à partir des détecteurs à échantillon unique, GA agrège les informations de voisinage avec le graphique dynamique pour enrichir les caractéristiques des échantillons indépendants. Après cela, DR exploite explicitement la relation entre les vidéos de déboulonnage et de fausses vidéos d'actualités pour réfuter les vidéos candidates via la cohérence textuelle et visuelle. Des expériences approfondies sur le benchmark public démontrent que le BESOIN améliore considérablement les performances des détecteurs de base monomodaux (jusqu'à 8,34 % de précision) et multimodaux (jusqu'à 4,97 % de précision). Les codes sont disponibles sur https://github.com/ICTMCG/NEED.

Translated Description (Spanish)

La prevalencia de plataformas de video corto ha generado una gran cantidad de videos de noticias falsas, que tienen una mayor capacidad de propagación que las noticias falsas textuales. Por lo tanto, la detección automática de videos de noticias falsas ha sido una contramedida importante en la práctica. Los trabajos anteriores comúnmente verifican cada video de noticias individualmente con información multimodal. Sin embargo, los videos de noticias desde diferentes perspectivas con respecto al mismo evento comúnmente se publican juntos, que contienen información complementaria o contradictoria y, por lo tanto, se pueden usar para evaluarse mutuamente. Con este fin, introducimos un paradigma nuevo y práctico, es decir, video de noticias falsas de muestra cruzada detección, y proponer un marco novedoso, Neighbor-Enhanced fakE news video Detection (NEED), que integra la relación de vecindad de nuevos videos pertenecientes al mismo evento. NEED se puede combinar fácilmente con detectores de muestra única existentes y mejorar aún más sus rendimientos con los módulos propuestos de agregación de gráficos (GA) y rectificación de desacreditación (DR). Específicamente, dadas las representaciones de características obtenidas de los detectores de muestra única, GA agrega la información de vecindad con el gráfico dinámico para enriquecer las características de muestras independientes. Después de eso, DR aprovecha explícitamente la relación entre los videos de desacreditación y videos de noticias falsas para refutar los videos candidatos a través de la consistencia textual y visual. Los experimentos exhaustivos en el punto de referencia público demuestran que la NECESIDAD mejora en gran medida el rendimiento de los detectores de base monomodal (hasta un 8,34% de precisión) y multimodal (hasta un 4,97% de precisión). Los códigos están disponibles en https://github.com/ICTMCG/NEED.

Files

2023.findings-acl.756.pdf.pdf

Files (2.2 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:d0ba24ac4a43a9229641522a3a7e2bd1
2.2 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
رأسين أفضل من واحد: تحسين الكشف عن الأخبار الكاذبة بالفيديو من خلال الارتباط بالجيران
Translated title (French)
Deux têtes valent mieux qu'une : améliorer la détection vidéo des fausses nouvelles en corrélant avec les voisins
Translated title (Spanish)
Dos cabezas son mejor que una: mejorar la detección de videos de noticias falsas mediante la correlación con los vecinos

Identifiers

Other
https://openalex.org/W4385565074
DOI
10.18653/v1/2023.findings-acl.756

Is supplement to
https://openalex.org/W972276598 (Other)
https://openalex.org/W4321353415 (Other)
https://openalex.org/W4246352526 (Other)
https://openalex.org/W2745001401 (Other)
https://openalex.org/W2535915176 (Other)
https://openalex.org/W2378211422 (Other)
https://openalex.org/W2130974462 (Other)
https://openalex.org/W2087343574 (Other)
https://openalex.org/W2086519370 (Other)
https://openalex.org/W2028665553 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
China

References

  • https://openalex.org/W1840435438
  • https://openalex.org/W2526050071
  • https://openalex.org/W2742144412
  • https://openalex.org/W2742330194
  • https://openalex.org/W2809476703
  • https://openalex.org/W2913749852
  • https://openalex.org/W2951307134
  • https://openalex.org/W2963341956
  • https://openalex.org/W2963961878
  • https://openalex.org/W2964068236
  • https://openalex.org/W3003961771
  • https://openalex.org/W3022924198
  • https://openalex.org/W3035268925
  • https://openalex.org/W3044534474
  • https://openalex.org/W3174322057
  • https://openalex.org/W3188473680
  • https://openalex.org/W3196268181
  • https://openalex.org/W3206237685
  • https://openalex.org/W3206435361
  • https://openalex.org/W4205602376
  • https://openalex.org/W4287891189
  • https://openalex.org/W4309956988
  • https://openalex.org/W4320561750