Published January 1, 2023
| Version v1
Publication
Open
High-quality argumentative information in low resources approaches improve counter-narrative generation
Creators
- 1. Centro Científico Tecnológico - San Juan
- 2. University of Buenos Aires
- 3. Universidad Nacional de Córdoba
- 4. Artificial Intelligence Research Institute
Description
It has been shown that high quality fine-tuning boosts the performance of language models, even if the size of the fine-tuning is small. In this work we show how highly targeted fine-tuning improves the task of hate speech counter-narrative generation in user-generated text, even for very small sizes of training (1722 counter-narratives for English and 355 for Spanish). Providing a small subset of examples focusing on single argumentative strategies, together with the argumentative analysis relevant to that strategy, yields counter-narratives that are as satisfactory as providing the whole set of counter-narratives. We also show that a good base model is required for the fine-tuning to have a positive impact. Indeed, for Spanish, the counter-narratives obtained without fine-tuning are mostly unacceptable, and, while fine-tuning improves their overall quality, the performance still remains quite unsatisfactory.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
لقد ثبت أن الضبط الدقيق عالي الجودة يعزز أداء نماذج اللغة، حتى لو كان حجم الضبط الدقيق صغيرًا. في هذا العمل، نوضح كيف أن الضبط الدقيق المستهدف للغاية يحسن مهمة توليد السرد المضاد لخطاب الكراهية في النص الذي ينشئه المستخدمون، حتى بالنسبة لأحجام التدريب الصغيرة جدًا (1722 سردًا مضادًا للغة الإنجليزية و 355 للإسبانية). إن تقديم مجموعة فرعية صغيرة من الأمثلة التي تركز على استراتيجيات جدلية واحدة، إلى جانب التحليل الجدلي ذي الصلة بتلك الاستراتيجية، ينتج روايات مضادة مرضية مثل توفير مجموعة كاملة من الروايات المضادة. نظهر أيضًا أن هناك حاجة إلى نموذج أساسي جيد حتى يكون للضبط الدقيق تأثير إيجابي. في الواقع، بالنسبة للإسبانية، فإن الروايات المضادة التي تم الحصول عليها دون ضبط دقيق غير مقبولة في الغالب، وعلى الرغم من أن الضبط الدقيق يحسن جودتها بشكل عام، إلا أن الأداء لا يزال غير مرضٍ تمامًا.Translated Description (French)
Il a été démontré que le réglage fin de haute qualité améliore les performances des modèles de langage, même si la taille du réglage fin est petite. Dans ce travail, nous montrons comment le réglage fin hautement ciblé améliore la tâche de génération de contre-récits de discours de haine dans le texte généré par l'utilisateur, même pour de très petites tailles de formation (1722 contre-récits pour l'anglais et 355 pour l'espagnol). Fournir un petit sous-ensemble d'exemples axés sur des stratégies argumentatives uniques, ainsi que l'analyse argumentative pertinente pour cette stratégie, donne des contre-récits qui sont aussi satisfaisants que de fournir l'ensemble des contre-récits. Nous montrons également qu'un bon modèle de base est nécessaire pour que le réglage fin ait un impact positif. En effet, pour l'espagnol, les contre-récits obtenus sans mise au point sont pour la plupart inacceptables et, si la mise au point améliore leur qualité globale, la performance reste tout de même assez insatisfaisante.Translated Description (Spanish)
Se ha demostrado que el ajuste fino de alta calidad aumenta el rendimiento de los modelos de lenguaje, incluso si el tamaño del ajuste fino es pequeño. En este trabajo mostramos cómo el ajuste fino altamente dirigido mejora la tarea de generación de contra-narrativa de discurso de odio en el texto generado por el usuario, incluso para tamaños muy pequeños de capacitación (1722 contra-narrativas para inglés y 355 para español). Proporcionar un pequeño subconjunto de ejemplos centrados en estrategias argumentativas únicas, junto con el análisis argumentativo relevante para esa estrategia, produce contra-narrativas que son tan satisfactorias como proporcionar todo el conjunto de contra-narrativas. También mostramos que se requiere un buen modelo base para que el ajuste tenga un impacto positivo. De hecho, para el español, las contra-narrativas obtenidas sin ajuste fino son en su mayoría inaceptables y, si bien el ajuste fino mejora su calidad general, el rendimiento sigue siendo bastante insatisfactorio.Files
2023.findings-emnlp.194.pdf.pdf
Files
(282.2 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:476e088d8b36479be1d89d110299f622
|
282.2 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تعمل المعلومات الجدلية عالية الجودة في مناهج الموارد المنخفضة على تحسين توليد السرد المضاد
- Translated title (French)
- Des informations argumentatives de haute qualité dans les approches à faibles ressources améliorent la génération de contre-récits
- Translated title (Spanish)
- La información argumentativa de alta calidad en enfoques de bajos recursos mejora la generación de contra-narrativa
Identifiers
- Other
- https://openalex.org/W4389524281
- DOI
- 10.18653/v1/2023.findings-emnlp.194
References
- https://openalex.org/W1982897610
- https://openalex.org/W2053154970
- https://openalex.org/W2154652894
- https://openalex.org/W2164777277
- https://openalex.org/W2409484708
- https://openalex.org/W2807243245
- https://openalex.org/W2954226438
- https://openalex.org/W2971050273
- https://openalex.org/W3029778218
- https://openalex.org/W3034403876
- https://openalex.org/W3095351052
- https://openalex.org/W3106460864
- https://openalex.org/W3139277020
- https://openalex.org/W3175547012
- https://openalex.org/W4205650168
- https://openalex.org/W4287889085
- https://openalex.org/W4303426884
- https://openalex.org/W4385569749
- https://openalex.org/W4385574229
- https://openalex.org/W581684831