Published January 1, 2023
| Version v1
Publication
Open
Knowledge Graph based Mutual Attention for Machine Reading Comprehension over Anti-Terrorism Corpus
- 1. Wuhan University of Science and Technology
- 2. Institute of Scientific and Technical Information of China
- 3. East China Jiaotong University
Description
ABSTRACT Machine reading comprehension has been a research focus in natural language processing and intelligence engineering. However, there is a lack of models and datasets for the MRC tasks in the anti-terrorism domain. Moreover, current research lacks the ability to embed accurate background knowledge and provide precise answers. To address these two problems, this paper first builds a text corpus and testbed that focuses on the anti-terrorism domain in a semi-automatic manner. Then, it proposes a knowledge-based machine reading comprehension model that fuses domain-related triples from a large-scale encyclopedic knowledge base to enhance the semantics of the text. To eliminate knowledge noise that could lead to semantic deviation, this paper uses a mixed mutual attention mechanism among questions, passages, and knowledge triples to select the most relevant triples before embedding their semantics into the sentences. Experiment results indicate that the proposed approach can achieve a 70.70% EM value and an 87.91% F1 score, with a 4.23% and 3.35% improvement over existing methods, respectively.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
كان الفهم التجريدي للقراءة الآلية محورًا بحثيًا في معالجة اللغة الطبيعية وهندسة الذكاء. ومع ذلك، هناك نقص في النماذج ومجموعات البيانات لمهام لجنة الإغاثة العسكرية في مجال مكافحة الإرهاب. علاوة على ذلك، يفتقر البحث الحالي إلى القدرة على تضمين معرفة خلفية دقيقة وتقديم إجابات دقيقة. لمعالجة هاتين المشكلتين، تبني هذه الورقة أولاً مجموعة نصية وقاعدة اختبار تركز على مجال مكافحة الإرهاب بطريقة شبه تلقائية. بعد ذلك، يقترح نموذجًا لفهم القراءة الآلية قائمًا على المعرفة يدمج ثلاثيات ذات صلة بالمجال من قاعدة معارف موسوعية واسعة النطاق لتعزيز دلالات النص. للقضاء على ضوضاء المعرفة التي يمكن أن تؤدي إلى الانحراف الدلالي، تستخدم هذه الورقة آلية اهتمام متبادل مختلطة بين الأسئلة والمقاطع وثلاثيات المعرفة لاختيار الثلاثيات الأكثر صلة قبل تضمين دلالاتها في الجمل. تشير نتائج التجربة إلى أن النهج المقترح يمكن أن يحقق قيمة كهرومغناطيسية بنسبة 70.70 ٪ ودرجة F1 بنسبة 87.91 ٪، مع تحسن بنسبة 4.23 ٪ و 3.35 ٪ على الطرق الحالية، على التوالي.Translated Description (French)
La compréhension de la lecture automatique ABSTRAITE a été un axe de recherche dans le traitement du langage naturel et l'ingénierie de l'intelligence. Cependant, il y a un manque de modèles et d'ensembles de données pour les tâches du MRC dans le domaine de la lutte contre le terrorisme. De plus, les recherches actuelles n'ont pas la capacité d'intégrer des connaissances de base précises et de fournir des réponses précises. Pour résoudre ces deux problèmes, cet article construit d'abord un corpus de textes et un banc d'essai qui se concentre sur le domaine de la lutte contre le terrorisme de manière semi-automatique. Ensuite, il propose un modèle de compréhension de la lecture automatique basé sur la connaissance qui fusionne les triplets liés au domaine à partir d'une base de connaissances encyclopédiques à grande échelle pour améliorer la sémantique du texte. Pour éliminer le bruit des connaissances qui pourrait conduire à une déviation sémantique, cet article utilise un mécanisme d'attention mutuelle mixte entre les questions, les passages et les triplets de connaissances pour sélectionner les triplets les plus pertinents avant d'intégrer leur sémantique dans les phrases. Les résultats de l'expérience indiquent que l'approche proposée peut atteindre une valeur EM de 70,70% et un score F1 de 87,91%, avec une amélioration de 4,23% et 3,35% par rapport aux méthodes existantes, respectivement.Translated Description (Spanish)
RESUMEN LA comprensión lectora automática ha sido un enfoque de investigación en el procesamiento del lenguaje natural y la ingeniería de la inteligencia. Sin embargo, hay una falta de modelos y conjuntos de datos para las tareas de MRC en el ámbito antiterrorista. Además, la investigación actual carece de la capacidad de incorporar conocimientos previos precisos y proporcionar respuestas precisas. Para abordar estos dos problemas, este documento primero construye un corpus de texto y un banco de pruebas que se centra en el dominio antiterrorista de manera semiautomática. Luego, propone un modelo de comprensión de lectura automática basado en el conocimiento que fusiona triples relacionados con el dominio de una base de conocimiento enciclopédica a gran escala para mejorar la semántica del texto. Para eliminar el ruido de conocimiento que podría conducir a una desviación semántica, este documento utiliza un mecanismo mixto de atención mutua entre preguntas, pasajes y triples de conocimiento para seleccionar los triples más relevantes antes de incrustar su semántica en las oraciones. Los resultados del experimento indican que el enfoque propuesto puede alcanzar un valor EM del 70.70% y una puntuación F1 del 87.91%, con una mejora del 4.23% y 3.35% sobre los métodos existentes, respectivamente.Files
dint_a_00210.pdf.pdf
Files
(93 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:b0d506893d4802090edf1644f5f082cd
|
93 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- الاهتمام المتبادل القائم على الرسم البياني المعرفي لفهم القراءة الآلية على مجموعة مكافحة الإرهاب
- Translated title (French)
- Knowledge Graph based Mutual Attention for Machine Reading Comprehension over Anti-Terrorism Corpus
- Translated title (Spanish)
- Gráfico de conocimiento basado en la atención mutua para la comprensión de lectura automática sobre el corpus antiterrorista
Identifiers
- Other
- https://openalex.org/W4386636523
- DOI
- 10.1162/dint_a_00210
References
- https://openalex.org/W2559655401
- https://openalex.org/W2951561177
- https://openalex.org/W2953356739
- https://openalex.org/W2963748441
- https://openalex.org/W2970390493
- https://openalex.org/W2994636820
- https://openalex.org/W2997200074
- https://openalex.org/W2998385486
- https://openalex.org/W3036737707
- https://openalex.org/W3102372184
- https://openalex.org/W3102725307
- https://openalex.org/W3114916066
- https://openalex.org/W3151929433
- https://openalex.org/W3176750236
- https://openalex.org/W3182352988
- https://openalex.org/W4200629408
- https://openalex.org/W4223627434
- https://openalex.org/W4233907442
- https://openalex.org/W4281669906
- https://openalex.org/W4290989497
- https://openalex.org/W4385245566
- https://openalex.org/W4385574272