Published January 1, 2021
| Version v1
Publication
Open
Enriching and Controlling Global Semantics for Text Summarization
- 1. VinUniversity
- 2. Vietnam National University Ho Chi Minh City
- 3. Ho Chi Minh City University of Technology
- 4. Nanyang Technological University
Description
Recently, Transformer-based models have been proven effective in the abstractive summarization task by creating fluent and informative summaries.Nevertheless, these models still suffer from the short-range dependency problem, causing them to produce summaries that miss the key points of document.In this paper, we attempt to address this issue by introducing a neural topic model empowered with normalizing flow to capture the global semantics of the document, which are then integrated into the summarization model.In addition, to avoid the overwhelming effect of global semantics on contextualized representation, we introduce a mechanism to control the amount of global semantics supplied to the text generation module.Our method outperforms state-of-the-art summarization models on five common text summarization datasets, namely CNN/DailyMail, XSum, Reddit TIFU, arXiv, and PubMed.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
في الآونة الأخيرة، أثبتت النماذج القائمة على المحولات فعاليتها في مهمة التلخيص التجريدي من خلال إنشاء ملخصات بطلاقة وغنية بالمعلومات. ومع ذلك، لا تزال هذه النماذج تعاني من مشكلة التبعية قصيرة المدى، مما يجعلها تنتج ملخصات تفوت النقاط الرئيسية للوثيقة. في هذه الورقة، نحاول معالجة هذه المشكلة من خلال تقديم نموذج موضوع عصبي مدعوم بتدفق تطبيعي لالتقاط الدلالات العالمية للوثيقة، والتي يتم دمجها بعد ذلك في نموذج التلخيص. بالإضافة إلى ذلك، لتجنب التأثير الساحق للدلالات العالمية على التمثيل السياقي، نقدم آلية للتحكم في كمية الدلالات العالمية المقدمة إلى وحدة توليد النص. تتفوق طريقتنا على أحدث نماذج التلخيص في خمس مجموعات بيانات لتلخيص النص الشائعة، وهي CNN/DailyMail و XSum و Reddit TIFU و arXiv و PubMed.Translated Description (French)
Récemment, les modèles basés sur les transformateurs se sont révélés efficaces dans la tâche de synthèse abstraite en créant des résumés fluides et informatifs. Cependant, ces modèles souffrent toujours du problème de dépendance à court terme, ce qui les amène à produire des résumés qui manquent les points clés du document. Dans cet article, nous tentons de résoudre ce problème en introduisant un modèle de sujet neuronal doté d'un flux de normalisation pour capturer la sémantique globale du document, qui sont ensuite intégrés dans le modèle de synthèse. En outre, pour éviter l'effet écrasant de la sémantique globale sur la représentation contextualisée, nous introduisons un mécanisme pour contrôler la quantité de sémantique globale fournie au module de génération de texte. Notre méthode surpasse les modèles de synthèse de pointe sur cinq ensembles de données de synthèse de texte courants, à savoir CNN/DailyMail, XSum, Reddit TIFU, arXiv et PubMed.Translated Description (Spanish)
Recientemente, los modelos basados en Transformer han demostrado ser efectivos en la tarea de resumen abstracto mediante la creación de resúmenes fluidos e informativos. Sin embargo, estos modelos aún sufren del problema de dependencia de corto alcance, lo que hace que produzcan resúmenes que pierden los puntos clave del documento. En este documento, intentamos abordar este problema mediante la introducción de un modelo de tema neuronal potenciado con flujo normalizador para capturar la semántica global del documento, que luego se integran en el modelo de resumen. Además, para evitar el efecto abrumador de la semántica global en la representación contextualizada, introducimos un mecanismo para controlar la cantidad de semántica global suministrada al módulo de generación de texto. Nuestro método supera a los modelos de resumen de vanguardia en cinco conjuntos de datos de resumen de texto comunes, a saber, CNN/DailyMail, XSum, Reddit TIFU, arXiv y PubMed.Files
2021.emnlp-main.744.pdf.pdf
Files
(535.7 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:a9b173e0b98c235c4340eb1911c4873b
|
535.7 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- إثراء ومراقبة الدلالات العالمية لتلخيص النص
- Translated title (French)
- Enrichir et contrôler la sémantique globale pour la synthèse de texte
- Translated title (Spanish)
- Enriquecimiento y control de la semántica global para el resumen de textos
Identifiers
- Other
- https://openalex.org/W3199527540
- DOI
- 10.18653/v1/2021.emnlp-main.744
References
- https://openalex.org/W2154652894
- https://openalex.org/W2166851633
- https://openalex.org/W2587284713
- https://openalex.org/W2612675303
- https://openalex.org/W2626778328
- https://openalex.org/W2798240283
- https://openalex.org/W2801372196
- https://openalex.org/W2888482885
- https://openalex.org/W2890884631
- https://openalex.org/W2899386490
- https://openalex.org/W2924690340
- https://openalex.org/W2944815030
- https://openalex.org/W2945260553
- https://openalex.org/W2945918281
- https://openalex.org/W2949572511
- https://openalex.org/W2949615363
- https://openalex.org/W2951004968
- https://openalex.org/W2951603207
- https://openalex.org/W2952913664
- https://openalex.org/W2962755817
- https://openalex.org/W2963090522
- https://openalex.org/W2964199361
- https://openalex.org/W2969740599
- https://openalex.org/W2969788869
- https://openalex.org/W2972114612
- https://openalex.org/W2981852735
- https://openalex.org/W2982399380
- https://openalex.org/W2997601848
- https://openalex.org/W2997989300
- https://openalex.org/W3007542623
- https://openalex.org/W3017113204
- https://openalex.org/W3034715004
- https://openalex.org/W3092396020
- https://openalex.org/W3093960175
- https://openalex.org/W3098493824
- https://openalex.org/W3099286868
- https://openalex.org/W3100053428
- https://openalex.org/W3101380508
- https://openalex.org/W3103817618
- https://openalex.org/W3104257895
- https://openalex.org/W3109468313
- https://openalex.org/W3198586779