Published January 1, 2021
| Version v1
Publication
Open
BASS: Boosting Abstractive Summarization with Unified Semantic Graph
Creators
- 1. Baidu (China)
- 2. Peking University
- 3. Soochow University
Description
Abstractive summarization for long-document or multi-document remains challenging for the Seq2Seq architecture, as Seq2Seq is not good at analyzing long-distance relations in text.In this paper, we present BASS, a novel framework for Boosting Abstractive Summarization based on a unified Semantic graph, which aggregates co-referent phrases distributing across a long range of context and conveys rich relations between phrases.Further, a graph-based encoder-decoder model is proposed to improve both the document representation and summary generation process by leveraging the graph structure.Specifically, several graph augmentation methods are designed to encode both the explicit and implicit relations in the text while the graphpropagation attention mechanism is developed in the decoder to select salient content into the summary.Empirical results show that the proposed architecture brings substantial improvements for both long-document and multidocument summarization tasks.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
لا يزال التلخيص التجريدي للوثائق الطويلة أو الوثائق المتعددة يمثل تحديًا لبنية Seq2Seq، حيث أن Seq2Seq ليس جيدًا في تحليل العلاقات البعيدة المدى في النص. في هذه الورقة، نقدم BASS، وهو إطار جديد لتعزيز التلخيص التجريدي استنادًا إلى رسم بياني دلالي موحد، والذي يجمع العبارات ذات المرجع المشترك الموزعة عبر مجموعة طويلة من السياق وينقل علاقات غنية بين العبارات. علاوة على ذلك، يُقترح نموذج فك تشفير مبني على الرسم البياني لتحسين كل من تمثيل المستندات وعملية إنشاء الملخص من خلال الاستفادة من بنية الرسم البياني. على وجه التحديد، تم تصميم العديد من طرق زيادة الرسم البياني لتشفير كل من العلاقات الصريحة والضمنية في النص بينما يتم تطوير آلية انتباه نشر الرسوم البيانية في جهاز فك التشفير لتحديد المحتوى البارز في الملخص. تُظهر النتائج التجريبية أن البنية المقترحة تجلب تحسينات جوهرية لكل من مهام تلخيص المستندات الطويلة والمتعددة المستندات.Translated Description (French)
La synthèse abstraite pour les documents longs ou multi-documents reste difficile pour l'architecture Seq2Seq, car Seq2Seq n'est pas bon pour analyser les relations à longue distance dans le texte. Dans cet article, nous présentons BASS, un nouveau cadre pour stimuler la synthèse abstraite basée sur un graphique sémantique unifié, qui agrège les phrases co-référentes réparties sur une longue plage de contexte et transmet des relations riches entre les phrases. En outre, un modèle d'encodeur-décodeur basé sur un graphique est proposé pour améliorer à la fois la représentation du document et le processus de génération de résumé en tirant parti de la structure du graphique. Spécifiquement, plusieurs méthodes d'augmentation du graphique sont conçues pour coder à la fois les relations explicites et implicites dans le texte tandis que le mécanisme d'attention de la proposition de graphique est développé dans le décodeur pour sélectionner le contenu saillant dans le résumé. Les résultats empiriques montrent que l'architecture proposée apporte des améliorations substantielles pour les tâches de synthèse de documents longs et multi-documents.Translated Description (Spanish)
El resumen abstracto para documentos largos o multidocumentos sigue siendo un desafío para la arquitectura Seq2Seq, ya que Seq2Seq no es bueno para analizar las relaciones de larga distancia en el texto. En este documento, presentamos BASS, un marco novedoso para impulsar la resumen abstracta basado en un gráfico semántico unificado, que agrega frases correferentes que se distribuyen en un largo rango de contexto y transmite relaciones ricas entre frases. Además, se propone un modelo codificador-decodificador basado en gráficos para mejorar tanto la representación del documento como el proceso de generación de resúmenes aprovechando la estructura del gráfico. Específicamente, varios métodos de aumento de gráficos están diseñados para codificar tanto las relaciones explícitas como implícitas en el texto, mientras que el mecanismo de atención de propagación de gráficos se desarrolla en el decodificador para seleccionar contenido destacado en el resumen. Los resultados espirales muestran que la arquitectura propuesta aporta mejoras sustanciales para las tareas de resumen de documentos largos y multidocumentos.Files
2021.acl-long.472.pdf.pdf
Files
(515.8 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:86e146d21a824ac473f08b3ae55c6286
|
515.8 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- باس: تعزيز التلخيص التجريدي مع الرسم البياني الدلالي الموحد
- Translated title (French)
- BASSE : Stimuler la synthèse abstraite avec un graphique sémantique unifié
- Translated title (Spanish)
- BASS: Impulsando la Resumición Abstractiva con Gráfico Semántico Unificado
Identifiers
- Other
- https://openalex.org/W3176659426
- DOI
- 10.18653/v1/2021.acl-long.472
References
- https://openalex.org/W2025475564
- https://openalex.org/W2123442489
- https://openalex.org/W2606974598
- https://openalex.org/W2889518897
- https://openalex.org/W2889688390
- https://openalex.org/W2890027603
- https://openalex.org/W2931198394
- https://openalex.org/W2944833000
- https://openalex.org/W2950670227
- https://openalex.org/W2953280096
- https://openalex.org/W2962946054
- https://openalex.org/W2962965405
- https://openalex.org/W2963204221
- https://openalex.org/W2963341956
- https://openalex.org/W2963385935
- https://openalex.org/W2963653811
- https://openalex.org/W2963926728
- https://openalex.org/W2970419734
- https://openalex.org/W2970830889
- https://openalex.org/W2971300525
- https://openalex.org/W2984698993
- https://openalex.org/W3034961030
- https://openalex.org/W3034999214
- https://openalex.org/W3035043191
- https://openalex.org/W3035576805
- https://openalex.org/W3035620455
- https://openalex.org/W3035643691
- https://openalex.org/W3035702572
- https://openalex.org/W3036120435
- https://openalex.org/W3098136301
- https://openalex.org/W3100439847
- https://openalex.org/W3106397687
- https://openalex.org/W3106440806
- https://openalex.org/W655477013