Published January 1, 2020
| Version v1
Publication
Open
Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering
- 1. Carnegie Mellon University
- 2. Peking University
- 3. Southern California University for Professional Studies
- 4. University of Southern California
Description
Existing work that augment question answering (QA) models with external knowledge (e.g., knowledge graphs) either struggle to model multi-hop relations efficiently, or lack transparency into the model's prediction rationale.In this paper, we propose a novel knowledge-aware approach that equips pretrained language models (PTLMs) with a multi-hop relational reasoning module, named multi-hop graph relation network (MHGRN).It performs multi-hop, multi-relational reasoning over subgraphs extracted from external knowledge graphs.The proposed reasoning module unifies path-based reasoning methods and graph neural networks and results in better interpretability and scalability.We also empirically show its effectiveness and scalability on CommonsenseQA and OpenbookQA datasets, and interpret its behaviors with case studies, with the code for experiments released 1 .
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
العمل الحالي الذي يزيد من نماذج الإجابة على الأسئلة (QA) بالمعرفة الخارجية (على سبيل المثال، الرسوم البيانية المعرفية) إما يكافح من أجل نمذجة العلاقات متعددة القفزات بكفاءة، أو يفتقر إلى الشفافية في الأساس المنطقي للتنبؤ بالنموذج. في هذه الورقة، نقترح نهجًا جديدًا مدركًا للمعرفة يزود نماذج اللغة المدربة مسبقًا (PTLMs) بوحدة استدلال علائقي متعددة القفزات، تسمى شبكة علاقات الرسم البياني متعددة القفزات (MHGRN). يقوم بإجراء استدلال متعدد القفزات ومتعدد العلاقات على الرسوم البيانية الفرعية المستخرجة من الرسوم البيانية المعرفية الخارجية. تعمل وحدة الاستدلال المقترحة على توحيد طرق الاستدلال القائمة على المسار والشبكات العصبية البيانية وتؤدي إلى قابلية أفضل للتفسير وقابلية للتطوير. كما نظهر تجريبيًا فعاليتها وقابليتها على مجموعات بيانات CommonsenseQA و OpenbookQA، ونفسر سلوكياتها بدراسات الحالة، مع رمز للتجارب التي تم إصدارها 1 .Translated Description (French)
Les travaux existants qui augmentent les modèles de réponse aux questions (AQ) avec des connaissances externes (par exemple, des graphiques de connaissances) ont du mal à modéliser efficacement les relations multi-sauts ou manquent de transparence dans la logique de prédiction du modèle. Dans cet article, nous proposons une nouvelle approche fondée sur les connaissances qui équipe les modèles de langage pré-entraînés (PTLM) d'un module de raisonnement relationnel multi-sauts, appelé réseau de relations de graphes multi-sauts (MHGRN). Il effectue un raisonnement multi-sauts et multi-relationnel sur des sous-graphes extraits de graphes de connaissances externes. Le module de raisonnement proposé unifie les méthodes de raisonnement basées sur le chemin et les réseaux neuronaux graphiques et aboutit à une meilleure interprétabilité et évolutivité. Nous montrons également empiriquement son efficacité et son évolutivité sur les ensembles de données CommonsenseQA et OpenbookQA, et interprétons ses comportements avec des études de cas, avec le code pour les expériences publié 1 .Translated Description (Spanish)
El trabajo existente que aumenta los modelos de respuesta a preguntas (QA) con conocimiento externo (por ejemplo, gráficos de conocimiento) tiene dificultades para modelar relaciones de múltiples saltos de manera eficiente o carece de transparencia en la justificación de predicción del modelo. En este documento, proponemos un nuevo enfoque consciente del conocimiento que equipa los modelos de lenguaje preentrenados (PTLM) con un módulo de razonamiento relacional de múltiples saltos, denominado red de relaciones de gráficos de múltiples saltos (MHGRN). Realiza un razonamiento multi-salto y multirelacional sobre subgrafos extraídos de gráficos de conocimiento externos. El módulo de razonamiento propuesto unifica los métodos de razonamiento basados en rutas y las redes neuronales de gráficos y da como resultado una mejor interpretación y escalabilidad. También mostramos empíricamente su efectividad y escalabilidad en los conjuntos de datos CommonsenseQA y OpenbookQA, e interpretamos sus comportamientos con estudios de casos, con el código para experimentos publicado 1 .Files
2020.emnlp-main.99.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- الاستدلال العلائقي متعدد القفزات القابل للتطوير للإجابة على الأسئلة الواعية بالمعرفة
- Translated title (French)
- Raisonnement relationnel multi-sauts évolutif pour une réponse aux questions consciente des connaissances
- Translated title (Spanish)
- Razonamiento relacional escalable de múltiples saltos para respuestas a preguntas conscientes del conocimiento
Identifiers
- Other
- https://openalex.org/W3097986428
- DOI
- 10.18653/v1/2020.emnlp-main.99
References
- https://openalex.org/W2147880316
- https://openalex.org/W2252077675
- https://openalex.org/W2604314403
- https://openalex.org/W2606780347
- https://openalex.org/W2606964149
- https://openalex.org/W2741075451
- https://openalex.org/W2766508367
- https://openalex.org/W2794325560
- https://openalex.org/W2803457824
- https://openalex.org/W2805387248
- https://openalex.org/W2890894339
- https://openalex.org/W2951561177
- https://openalex.org/W2963341956
- https://openalex.org/W2963403868
- https://openalex.org/W2963542836
- https://openalex.org/W2963559137
- https://openalex.org/W2963858333
- https://openalex.org/W2963907629
- https://openalex.org/W2963995027
- https://openalex.org/W2964207259
- https://openalex.org/W2965373594
- https://openalex.org/W2968908603
- https://openalex.org/W2970062726
- https://openalex.org/W2973722444
- https://openalex.org/W2981852735
- https://openalex.org/W2983995706
- https://openalex.org/W2987669390
- https://openalex.org/W2994689640
- https://openalex.org/W2996428491
- https://openalex.org/W2998374885
- https://openalex.org/W3006647218
- https://openalex.org/W3020908159
- https://openalex.org/W3042133669
- https://openalex.org/W3046423960