Published January 1, 2019
| Version v1
Publication
Open
Meteor++ 2.0: Adopt Syntactic Level Paraphrase Knowledge into Machine Translation Evaluation
Description
This paper describes Meteor++ 2.0, our submission to the WMT19 Metric Shared Task.The well known Meteor metric improves machine translation evaluation by introducing paraphrase knowledge.However, it only focuses on the lexical level and utilizes consecutive n-grams paraphrases.In this work, we take into consideration syntactic level paraphrase knowledge, which sometimes may be skip-grams.We describe how such knowledge can be extracted from Paraphrase Database (PPDB) and integrated into Meteor-based metrics.Experiments on WMT15 and WMT17 evaluation datasets show that the newly proposed metric outperforms all previous versions of Meteor.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تصف هذه الورقة METEOR++ 2.0، تقديمنا إلى المهمة المشتركة لمقياس WMT19. يحسن مقياس METEOR المعروف تقييم الترجمة الآلية من خلال تقديم معرفة إعادة الصياغة. ومع ذلك، فإنه يركز فقط على المستوى المعجمي ويستخدم إعادة الصياغة المتتالية لـ n - grams. في هذا العمل، نأخذ في الاعتبار معرفة إعادة الصياغة على المستوى النحوي، والتي قد تكون في بعض الأحيان تخطيًا للجرام. نحن نصف كيف يمكن استخراج هذه المعرفة من قاعدة بيانات إعادة الصياغة (PPDB) ودمجها في المقاييس القائمة على Meteor. تظهر التجارب على مجموعات بيانات تقييم WMT15 و WMT17 أن أداء المقياس المقترح حديثًا يتفوق على جميع الإصدارات السابقة من Meteor.Translated Description (French)
Cet article décrit Meteor++ 2.0, notre soumission à la tâche partagée métrique WMT19. La métrique Meteor bien connue améliore l'évaluation de la traduction automatique en introduisant des connaissances de paraphrase. Cependant, elle ne se concentre que sur le niveau lexical et utilise des paraphrases consécutives de n-grammes. Dans ce travail, nous prenons en considération les connaissances de paraphrase au niveau syntaxique, qui peuvent parfois être des sauts de gramme. Nous décrivons comment ces connaissances peuvent être extraites de la base de données de paraphrase (PPDB) et intégrées dans les ensembles de données d'évaluation basés sur Meteor. Les expériences sur WMT15 et WMT17 montrent que la métrique nouvellement proposée surpasse toutes les versions précédentes de Meteor.Translated Description (Spanish)
Este documento describe Meteor++ 2.0, nuestra presentación a la tarea compartida métrica WMT19. La conocida métrica Meteor mejora la evaluación de la traducción automática al introducir el conocimiento de paráfrasis. Sin embargo, solo se centra en el nivel léxico y utiliza paráfrasis de n-gramas consecutivas. En este trabajo, tomamos en consideración el conocimiento de paráfrasis de nivel sintáctico, que a veces puede ser saltar-gramas. Describimos cómo se puede extraer dicho conocimiento de la base de datos de paráfrasis (PPDB) e integrarlo en métricas basadas en Meteor. Los experimentos con los conjuntos de datos de evaluación WMT15 y WMT17 muestran que la métrica recién propuesta supera a todas las versiones anteriores de Meteor.Files
W19-5357.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- METEOR++ 2.0: اعتماد معرفة إعادة الصياغة على المستوى النحوي في تقييم الترجمة الآلية
- Translated title (French)
- Meteor++ 2.0 : Adopter les connaissances de paraphrase de niveau syntaxique dans l'évaluation de la traduction automatique
- Translated title (Spanish)
- Meteor++ 2.0: Adoptar el conocimiento de paráfrasis de nivel sintáctico en la evaluación de traducción automática
Identifiers
- Other
- https://openalex.org/W2971036337
- DOI
- 10.18653/v1/w19-5357
References
- https://openalex.org/W1500281234
- https://openalex.org/W2013196554
- https://openalex.org/W2038721957
- https://openalex.org/W2070150502
- https://openalex.org/W2101105183
- https://openalex.org/W2116492146
- https://openalex.org/W2123301721
- https://openalex.org/W2133459682
- https://openalex.org/W2147258359
- https://openalex.org/W2149327368
- https://openalex.org/W2251044566
- https://openalex.org/W2251882135
- https://openalex.org/W2252166243
- https://openalex.org/W2902449872