Published January 1, 2021
| Version v1
Publication
Open
YoungSheldon at SemEval-2021 Task 7: Fine-tuning Is All You Need
- 1. Vellore Institute of Technology University
Description
In this paper, we describe our system used for SemEval 2021 Task 7: HaHackathon: Detecting and Rating Humor and Offense.We used a simple fine-tuning approach using different Pre-trained Language Models (PLMs) to evaluate their performance for humor and offense detection.For regression tasks, we averaged the scores of different models leading to better performance than the original models.We participated in all SubTasks.Our best performing system was ranked 4 in SubTask 1-b, 8 in SubTask 1-c, 12 in SubTask 2, and performed well in SubTask 1-a.We further show comprehensive results using different pre-trained language models which will help as baselines for future work.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
في هذه الورقة، نصف نظامنا المستخدم في SemEval 2021 المهمة 7: HaHackathon: الكشف عن الفكاهة والمخالفة وتقييمهما. استخدمنا نهجًا بسيطًا للضبط باستخدام نماذج لغوية مختلفة مدربة مسبقًا (PLMs) لتقييم أدائها للكشف عن الفكاهة والمخالفة. بالنسبة لمهام الانحدار، قمنا بحساب متوسط درجات النماذج المختلفة التي تؤدي إلى أداء أفضل من النماذج الأصلية. شاركنا في جميع المهام الفرعية. تم تصنيف نظامنا الأفضل أداءً في المرتبة 4 في المهمة الفرعية 1 -ب، و 8 في المهمة الفرعية 1 -ج، و 12 في المهمة الفرعية 2، وكان أداؤه جيدًا في المهمة الفرعية 1 -أ. كما أظهرنا نتائج شاملة باستخدام نماذج لغوية مختلفة مدربة مسبقًا والتي ستساعد كخطوط أساس للعمل المستقبلي.Translated Description (French)
Dans cet article, nous décrivons notre système utilisé pour la tâche 7 de SemEval 2021 : HaHackathon : Détection et évaluation de l'humour et de l'offense. Nous avons utilisé une approche d'ajustement simple utilisant différents modèles de langage préformés (PLM) pour évaluer leurs performances pour la détection de l'humour et de l'offense. Pour les tâches de régression, nous avons fait la moyenne des scores de différents modèles conduisant à de meilleures performances que les modèles originaux. Nous avons participé à toutes les sous-tâches. Notre système le plus performant a été classé 4 dans la sous-tâche 1-b, 8 dans la sous-tâche 1-c, 12 dans la sous-tâche 2, et a bien performé dans la sous-tâche 1-a. Nous montrons en outre des résultats complets en utilisant différents modèles de langage préformés qui aideront comme bases de référence pour les travaux futurs.Translated Description (Spanish)
En este documento, describimos nuestro sistema utilizado para la tarea 7 de SemEval 2021: HaHackathon: Detección y calificación del humor y la ofensa. Utilizamos un enfoque de ajuste fino simple utilizando diferentes modelos de lenguaje preentrenados (PLM) para evaluar su desempeño en la detección del humor y la ofensa. Para las tareas de regresión, promediamos las puntuaciones de diferentes modelos que conducen a un mejor desempeño que los modelos originales. Participamos en todas las subtareas. Nuestro sistema de mejor desempeño se clasificó 4 en la subtarea 1-b, 8 en la subtarea 1-c, 12 en la subtarea 2 y se desempeñó bien en la subtarea 1-a. Además, mostramos resultados completos utilizando diferentes modelos de lenguaje preentrenados que ayudarán como referencia para el trabajo futuro.Files
2021.semeval-1.161.pdf.pdf
Files
(276.6 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:c17d95297e3082c683f1d1999276f669
|
276.6 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- YoungSheldon في SemEval -2021 المهمة 7: الضبط الدقيق هو كل ما تحتاجه
- Translated title (French)
- YoungSheldon à SemEval-2021 Tâche 7 : Le réglage fin est tout ce dont vous avez besoin
- Translated title (Spanish)
- YoungSheldon en SemEval-2021 Tarea 7: El ajuste es todo lo que necesita
Identifiers
- Other
- https://openalex.org/W3183588338
- DOI
- 10.18653/v1/2021.semeval-1.161
References
- https://openalex.org/W2753059774
- https://openalex.org/W2804900514
- https://openalex.org/W2922580172
- https://openalex.org/W2962739339
- https://openalex.org/W2963341956
- https://openalex.org/W2970252517
- https://openalex.org/W3011574394