Published January 1, 2022
| Version v1
Publication
Open
Exploring a POS-based Two-stage Approach for Improving Low-Resource AMR-to-Text Generation
- 1. Brazilian Society of Computational and Applied Mathematics
- 2. Universidade de São Paulo
Description
This work presents a two-stage approach for tackling low-resource AMR-to-text generation for Brazilian Portuguese.Our approach consists of (1) generating a masked surface realization in which some tokens are masked according to its Part-of-Speech class and (2) infilling the masked tokens according to the AMR graph and the previous masked surface realization.Results show a slight improvement over the baseline, mainly in BLEU (1.63) and ME-TEOR (0.02) scores.Moreover, we evaluate the pipeline components separately, showing that the bottleneck of the pipeline is the masked surface realization.Finally, the human revision suggests that models still suffer from hallucinations, and some strategies to deal with the problems found are proposed.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يقدم هذا العمل نهجًا من مرحلتين لمعالجة توليد مقاومة مضادات الميكروبات إلى نص منخفض الموارد للبرتغاليين البرازيليين. يتكون نهجنا من (1) توليد إدراك سطحي مقنع يتم فيه إخفاء بعض الرموز وفقًا لفئة جزء من الكلام و (2) إدخال الرموز المميزة المقنعة وفقًا لمخطط مقاومة مضادات الميكروبات وإدراك السطح المقنع السابق. تظهر النتائج تحسنًا طفيفًا عن خط الأساس، بشكل رئيسي في درجات BLEU (1.63) و ME - TEOR (0.02). علاوة على ذلك، نقوم بتقييم مكونات خط الأنابيب بشكل منفصل، مما يدل على أن عنق الزجاجة في خط الأنابيب هو إدراك السطح المقنع. وأخيرًا، تشير المراجعة البشرية إلى أن النماذج لا تزال تعاني من الهلوسة، وبعض الاستراتيجيات للتعامل مع المشاكل التي تم العثور عليها مقترحة.Translated Description (French)
Ce travail présente une approche en deux étapes pour aborder la génération AMR-texte à faible ressource pour le portugais brésilien. Notre approche consiste à (1) générer une réalisation de surface masquée dans laquelle certains jetons sont masqués selon sa classe Part-of-Speech et (2) remplir les jetons masqués selon le graphique AMR et la réalisation de surface masquée précédente. Les résultats montrent une légère amélioration par rapport à la ligne de base, principalement dans les scores BLEU (1,63) et ME-TEOR (0,02). En outre, nous évaluons les composants du pipeline séparément, montrant que le goulot d'étranglement du pipeline est la réalisation de surface masquée. Enfin, la révision humaine suggère que les modèles souffrent encore d'hallucinations, et certaines stratégies pour traiter les problèmes trouvés sont proposées.Translated Description (Spanish)
Este trabajo presenta un enfoque de dos etapas para abordar la generación de AMR a texto de bajos recursos para el portugués brasileño. Nuestro enfoque consiste en (1) generar una realización de superficie enmascarada en la que algunos tokens están enmascarados de acuerdo con su clase de Parte de Voz y (2) rellenar los tokens enmascarados de acuerdo con el gráfico AMR y la realización de superficie enmascarada anterior. Los resultados muestran una ligera mejora sobre la línea de base, principalmente en las puntuaciones BLEU (1.63) y ME-TEOR (0.02). Además, evaluamos los componentes de la tubería por separado, mostrando que el cuello de botella de la tubería es la realización de superficie enmascarada. Finalmente, la revisión humana sugiere que los modelos aún sufren de alucinaciones, y se proponen algunas estrategias para lidiar con los problemas encontrados.Files
2022.gem-1.49.pdf.pdf
Files
(294.4 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:3ee005f43379b487bcefe275d430378e
|
294.4 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- استكشاف نهج ثنائي المراحل قائم على نقاط البيع لتحسين الجيل النصي لمقاومة مضادات الميكروبات منخفضة الموارد
- Translated title (French)
- Exploration d'une approche en deux étapes basée sur les points de vente pour améliorer la génération de RMA en texte à faible ressource
- Translated title (Spanish)
- Explorando un enfoque de dos etapas basado en pos para mejorar la generación de AMR a texto de bajos recursos
Identifiers
- Other
- https://openalex.org/W4385573932
- DOI
- 10.18653/v1/2022.gem-1.49