Published January 1, 2021
| Version v1
Publication
BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets
- 1. University Ferhat Abbas of Setif
Description
During the last two decades, we have progressively turned to the Internet and social media to find news, entertain conversations and share opinion. Recently, OpenAI has developed a ma-chine learning system called GPT-2 for Generative Pre-trained Transformer-2, which can pro-duce deepfake texts. It can generate blocks of text based on brief writing prompts that look like they were written by humans, facilitating the spread false or auto-generated text. In line with this progress, and in order to counteract potential dangers, several methods have been pro-posed for detecting text written by these language models. In this paper, we propose a transfer learning based model that will be able to detect if an Arabic sentence is written by humans or automatically generated by bots. Our dataset is based on tweets from a previous work, which we have crawled and extended using the Twitter API. We used GPT2-Small-Arabic to generate fake Arabic Sentences. For evaluation, we compared different recurrent neural network (RNN) word embeddings based baseline models, namely: LSTM, BI-LSTM, GRU and BI-GRU, with a transformer-based model. Our new transfer-learning model has obtained an accuracy up to 98%. To the best of our knowledge, this work is the first study where ARABERT and GPT2 were combined to detect and classify the Arabic auto-generated texts.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
خلال العقدين الماضيين، لجأنا تدريجياً إلى الإنترنت ووسائل التواصل الاجتماعي للعثور على الأخبار والترفيه عن المحادثات وتبادل الرأي. في الآونة الأخيرة، طورت OpenAI نظامًا للتعلم الآلي يسمى GPT -2 للمحول التوليدي المدرّب مسبقًا 2، والذي يمكنه إنتاج نصوص عميقة وهمية. يمكن أن تولد كتلًا من النص بناءً على مطالبات كتابة موجزة تبدو وكأنها مكتوبة من قبل البشر، مما يسهل انتشار النص الخاطئ أو الذي يتم إنشاؤه تلقائيًا. تمشيا مع هذا التقدم، ومن أجل مواجهة المخاطر المحتملة، تم اقتراح عدة طرق للكشف عن النص المكتوب بواسطة نماذج اللغة هذه. في هذه الورقة، نقترح نموذجًا قائمًا على تعلم النقل سيكون قادرًا على اكتشاف ما إذا كانت الجملة العربية مكتوبة من قبل البشر أو يتم إنشاؤها تلقائيًا بواسطة الروبوتات. تعتمد مجموعة البيانات الخاصة بنا على تغريدات من عمل سابق، والتي قمنا بالزحف إليها وتوسيعها باستخدام واجهة برمجة تطبيقات تويتر. استخدمنا GPT2 - Small - Arabic لتوليد جمل عربية مزيفة. للتقييم، قارنا نماذج خط الأساس المختلفة القائمة على تضمين الكلمات في الشبكة العصبية المتكررة (RNN)، وهي: LSTM و BI - LSTM و GRU و BI - GRU، مع نموذج قائم على المحولات. حصل نموذجنا الجديد للنقل والتعلم على دقة تصل إلى 98 ٪. على حد علمنا، هذا العمل هو أول دراسة تم فيها الجمع بين ARABERT و GPT2 للكشف عن النصوص العربية التي يتم إنشاؤها تلقائيًا وتصنيفها.Translated Description (French)
Au cours des deux dernières décennies, nous nous sommes progressivement tournés vers Internet et les médias sociaux pour trouver des nouvelles, entretenir des conversations et partager nos opinions. Récemment, OpenAI a développé un système d'apprentissage ma-chine appelé GPT-2 pour Generative Pre-trained Transformer-2, qui peut produire des textes deepfake. Il peut générer des blocs de texte basés sur de brèves invites d'écriture qui semblent avoir été écrites par des humains, facilitant ainsi la diffusion de texte faux ou généré automatiquement. Conformément à ces progrès, et afin de contrer les dangers potentiels, plusieurs méthodes ont été proposées pour détecter le texte écrit par ces modèles de langage. Dans cet article, nous proposons un modèle basé sur l'apprentissage par transfert qui sera en mesure de détecter si une phrase arabe est écrite par des humains ou générée automatiquement par des robots. Notre ensemble de données est basé sur des tweets d'un travail précédent, que nous avons explorés et étendus à l'aide de l'API Twitter. Nous avons utilisé GPT2-Small-Arabic pour générer de fausses phrases arabes. Pour l'évaluation, nous avons comparé différents modèles de base basés sur l'intégration de mots dans les réseaux neuronaux récurrents (RNN), à savoir : LSTM, BI-LSTM, GRU et BI-GRU, avec un modèle basé sur un transformateur. Notre nouveau modèle d'apprentissage par transfert a obtenu une précision allant jusqu'à 98 %. À notre connaissance, ce travail est la première étude où ARABERT et GPT2 ont été combinés pour détecter et classer les textes arabes auto-générés.Translated Description (Spanish)
Durante las últimas dos décadas, hemos recurrido progresivamente a Internet y las redes sociales para encontrar noticias, entablar conversaciones y compartir opiniones. Recientemente, OpenAI ha desarrollado un sistema de aprendizaje ma-chine llamado GPT-2 para Generative Pre-trained Transformer-2, que puede producir textos deepfake. Puede generar bloques de texto basados en breves indicaciones de escritura que parecen escritas por humanos, lo que facilita la propagación de texto falso o autogenerado. En línea con este progreso, y con el fin de contrarrestar los peligros potenciales, se han propuesto varios métodos para detectar el texto escrito por estos modelos de lenguaje. En este trabajo, proponemos un modelo basado en el aprendizaje por transferencia que será capaz de detectar si una oración árabe es escrita por humanos o generada automáticamente por bots. Nuestro conjunto de datos se basa en tweets de un trabajo anterior, que hemos rastreado y ampliado utilizando la API de Twitter. Utilizamos GPT2-Small-Arabic para generar oraciones árabes falsas. Para la evaluación, comparamos diferentes modelos de referencia basados en incrustaciones de palabras de redes neuronales recurrentes (RNN), a saber: LSTM, BI-LSTM, Gru y BI-GRU, con un modelo basado en transformadores. Nuestro nuevo modelo de transferencia-aprendizaje ha obtenido una precisión de hasta el 98%. Hasta donde sabemos, este trabajo es el primer estudio en el que se combinaron ARABERT y GPT2 para detectar y clasificar los textos autogenerados en árabe.Additional details
Additional titles
- Translated title (Arabic)
- نموذج BERT Transformer للكشف عن التغريدات العربية GPT2 التي يتم إنشاؤها تلقائيًا
- Translated title (French)
- Modèle de transformateur BERT pour détecter les tweets générés automatiquement en arabe GPT2
- Translated title (Spanish)
- Modelo de transformador BERT para detectar tweets autogenerados GPT2 árabes
Identifiers
- Other
- https://openalex.org/W3121458077
- DOI
- 10.48550/arxiv.2101.09345
References
- https://openalex.org/W2398463581
- https://openalex.org/W2595521492
- https://openalex.org/W2736566371
- https://openalex.org/W2744616698
- https://openalex.org/W2787296320
- https://openalex.org/W2945083850
- https://openalex.org/W2955507135
- https://openalex.org/W2963341956
- https://openalex.org/W2998651009
- https://openalex.org/W3007075806
- https://openalex.org/W3008110149
- https://openalex.org/W3009431628
- https://openalex.org/W3010115535
- https://openalex.org/W3016399951