Published January 1, 2018
| Version v1
Publication
Open
Meteor++: Incorporating Copy Knowledge into Machine Translation Evaluation
Description
In machine translation evaluation, a good candidate translation can be regarded as a paraphrase of the reference.We notice that some words are always copied during paraphrasing, which we call copy knowledge.Considering the stability of such knowledge, a good candidate translation should contain all these words appeared in the reference sentence.Therefore, in this participation of the WMT'2018 metrics shared task we introduce a simple statistical method for copy knowledge extraction, and incorporate it into Meteor metric, resulting in a new machine translation metric Meteor++.Our experiments show that Me-teor++ can nicely integrate copy knowledge and improve the performance significantly on WMT17 and WMT15 evaluation sets.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
في تقييم الترجمة الآلية، يمكن اعتبار الترجمة الجيدة للمرشح بمثابة إعادة صياغة للمرجع. نلاحظ أن بعض الكلمات يتم نسخها دائمًا أثناء إعادة الصياغة، والتي نسميها معرفة النسخ. وبالنظر إلى استقرار هذه المعرفة، يجب أن تحتوي الترجمة الجيدة للمرشح على كل هذه الكلمات التي ظهرت في الجملة المرجعية. لذلك، في هذه المشاركة في المهمة المشتركة لمقاييس WMT لعام 2018، نقدم طريقة إحصائية بسيطة لاستخراج معرفة النسخ، ودمجها في مقياس النيزك، مما يؤدي إلى مقياس جديد للترجمة الآلية Meteor ++. تظهر تجاربنا أن Me - teor ++ يمكن أن يدمج بشكل جيد معرفة النسخ ويحسن الأداء بشكل كبير في مجموعات تقييم WMT17 و WMT15.Translated Description (French)
Dans l'évaluation de la traduction automatique, une bonne traduction candidate peut être considérée comme une paraphrase de la référence. Nous remarquons que certains mots sont toujours copiés pendant la paraphrase, ce que nous appelons la connaissance de la copie. Compte tenu de la stabilité de ces connaissances, une bonne traduction candidate doit contenir tous ces mots apparaissant dans la phrase de référence. Par conséquent, dans cette participation à la tâche partagée des métriques WMT'2018, nous introduisons une méthode statistique simple pour l'extraction des connaissances de la copie, et l'incorporons dans la métrique Meteor, résultant en une nouvelle métrique de traduction automatique Meteor++.Nos expériences montrent que Me-teor ++ peut bien intégrer les connaissances de la copie et améliorer les performances de manière significative sur les ensembles d'évaluation WMT17 et WMT15.Translated Description (Spanish)
En la evaluación de traducción automática, una buena traducción candidata puede considerarse como una paráfrasis de la referencia. Observamos que algunas palabras siempre se copian durante el parafraseo, lo que llamamos conocimiento de copia. Teniendo en cuenta la estabilidad de dicho conocimiento, una buena traducción candidata debe contener todas estas palabras que aparecen en la oración de referencia. Por lo tanto, en esta participación de la tarea compartida de métricas de WMT'2018 introducimos un método estadístico simple para la extracción de conocimiento de copia y lo incorporamos a la métrica Meteor, lo que resulta en una nueva métrica de traducción automática Meteor++. Nuestros experimentos muestran que Me-teor ++ puede integrar muy bien el conocimiento de copia y mejorar el rendimiento significativamente en los conjuntos de evaluación WMT17 y WMT15.Files
W18-6454.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- Meteor++: دمج المعرفة بالنسخ في تقييم الترجمة الآلية
- Translated title (French)
- Meteor++ : Intégration des connaissances en matière de copie dans l'évaluation de la traduction automatique
- Translated title (Spanish)
- Meteor++: Incorporación del conocimiento de copia en la evaluación de traducción automática
Identifiers
- Other
- https://openalex.org/W2902449872
- DOI
- 10.18653/v1/w18-6454
References
- https://openalex.org/W2101105183
- https://openalex.org/W2116492146
- https://openalex.org/W2123301721
- https://openalex.org/W2133459682
- https://openalex.org/W2143017621
- https://openalex.org/W2159107349
- https://openalex.org/W2252166243
- https://openalex.org/W2507756961
- https://openalex.org/W2508316494
- https://openalex.org/W2606974598
- https://openalex.org/W2915756181
- https://openalex.org/W2916548775
- https://openalex.org/W2962953307
- https://openalex.org/W2964165364