Published January 1, 2019
| Version v1
Publication
Open
Enhancing Pre-Trained Language Representations with Rich Knowledge for Machine Reading Comprehension
- 1. Peking University
- 2. Baidu (China)
Description
Machine reading comprehension (MRC) is a crucial and challenging task in NLP.Recently, pre-trained language models (LMs), especially BERT, have achieved remarkable success, presenting new state-of-the-art results in MRC.In this work, we investigate the potential of leveraging external knowledge bases (KBs) to further improve BERT for MRC.We introduce KT-NET, which employs an attention mechanism to adaptively select desired knowledge from KBs, and then fuses selected knowledge with BERT to enable context-and knowledgeaware predictions.We believe this would combine the merits of both deep LMs and curated KBs towards better MRC.Experimental results indicate that KT-NET offers significant and consistent improvements over BERT, outperforming competitive baselines on ReCoRD and SQuAD1.1 benchmarks.Notably, it ranks the 1st place on the ReCoRD leaderboard, and is also the best single model on the SQuAD1.1 leaderboard at the time of submission (March 4th, 2019).
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يعد فهم القراءة الآلية (MRC) مهمة حاسمة وصعبة في البرمجة اللغوية العصبية. في الآونة الأخيرة، حققت نماذج اللغة المدربة مسبقًا (LMs)، وخاصة بيرت، نجاحًا ملحوظًا، حيث قدمت نتائج جديدة على أحدث طراز في MRC. في هذا العمل، نحقق في إمكانات الاستفادة من قواعد المعرفة الخارجية (KBs) لزيادة تحسين BERT لـ MRC. نقدم KT - NET، التي تستخدم آلية انتباه لاختيار المعرفة المطلوبة بشكل تكيفي من KBs، ثم تدمج المعرفة المختارة مع BERT لتمكين تنبؤات السياق والمعرفة. نعتقد أن هذا من شأنه أن يجمع بين مزايا كل من LMs العميقة و KBs المنسقة نحو تحسين MRC. تشير النتائج التجريبية إلى أن KT - NET تقدم تحسينات كبيرة ومتسقة على BERT، وتتفوق على خطوط الأساس التنافسية على معايير ReCoRD و SQuAD1.1. ومن الجدير بالذكر أنها تحتل المرتبة الأولى على لوحة قيادة ReCRD، وهي أيضًا الأفضل على لوحة SQUAD في وقت التقديم في 4 مارس 2019.Translated Description (French)
La compréhension de la lecture automatique (MRC) est une tâche cruciale et difficile en PNL. Récemment, les modèles linguistiques pré-entraînés (LM), en particulier BERT, ont obtenu un succès remarquable, présentant de nouveaux résultats de pointe en MRC. Dans ce travail, nous étudions le potentiel de tirer parti des bases de connaissances externes (KB) pour améliorer davantage BERT pour MRC. Nous introduisons KT-NET, qui utilise un mécanisme d'attention pour sélectionner de manière adaptative les connaissances souhaitées à partir de KB, puis fusionne les connaissances sélectionnées avec BERT pour permettre des prédictions tenant compte du contexte et des connaissances. Nous pensons que cela combinerait les mérites des LM profonds et des KB organisés vers une meilleure MRC. Les résultats expérimentaux indiquent que KT-NET offre des améliorations significatives et cohérentes par rapport à BERT, surpassant les références compétitives sur ReCoRD et SQuAD1.1. Notamment, il se classe à la 1ère place sur le classement ReCoRD, et est également le meilleur modèle unique sur le classement SQuAD1.1 au moment de la soumission (4 mars 2019).Translated Description (Spanish)
La comprensión de lectura automática (MRC) es una tarea crucial y desafiante en PNL. Recientemente, los modelos de lenguaje preentrenados (LM), especialmente BERT, han logrado un éxito notable, presentando nuevos resultados de vanguardia en MRC. En este trabajo, investigamos el potencial de aprovechar las bases de conocimiento externas (KB) para mejorar aún más BERT para MRC. Introducimos KT-NET, que emplea un mecanismo de atención para seleccionar de manera adaptativa el conocimiento deseado de las KB, y luego fusiona el conocimiento seleccionado con BERT para permitir predicciones de contexto y conocimiento. Creemos que esto combinaría los méritos tanto de las LM profundas como de las KB curadas para mejorar MRC. Los resultados experimentales indican que KT-NET ofrece mejoras significativas y consistentes sobre BERT, superando las líneas de base competitivas en los puntos de referencia de ReCoRD y SQuAD1.1. En particular, ocupa el primer lugar en la tabla de clasificación de ReCoRD, y también es el mejor modelo único en la tabla de clasificación de SQuAD1.1 en el momento de la presentación (4 de marzo de 2019).Files
P19-1226.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تعزيز تمثيلات اللغة المدربة مسبقًا بمعرفة غنية لفهم القراءة الآلية
- Translated title (French)
- Amélioration des représentations linguistiques pré-entraînées avec des connaissances approfondies pour la compréhension de la lecture automatique
- Translated title (Spanish)
- Mejora de las representaciones lingüísticas preentrenadas con conocimientos enriquecidos para la comprensión de lectura automática
Identifiers
- Other
- https://openalex.org/W2951561177
- DOI
- 10.18653/v1/p19-1226
References
- https://openalex.org/W1512387364
- https://openalex.org/W1533230146
- https://openalex.org/W1544827683
- https://openalex.org/W2081580037
- https://openalex.org/W2123442489
- https://openalex.org/W2143017621
- https://openalex.org/W2551396370
- https://openalex.org/W2609826708
- https://openalex.org/W2740747242
- https://openalex.org/W2741075451
- https://openalex.org/W2766508367
- https://openalex.org/W2794325560
- https://openalex.org/W2798416089
- https://openalex.org/W2806055002
- https://openalex.org/W2888329843
- https://openalex.org/W2890894339
- https://openalex.org/W2892280852
- https://openalex.org/W2898662126
- https://openalex.org/W2910243263
- https://openalex.org/W2951534261
- https://openalex.org/W2962718483
- https://openalex.org/W2962739339
- https://openalex.org/W2962809918
- https://openalex.org/W2963080779
- https://openalex.org/W2963323070
- https://openalex.org/W2963339397
- https://openalex.org/W2963341956
- https://openalex.org/W2963371565
- https://openalex.org/W2963403868
- https://openalex.org/W2963564796
- https://openalex.org/W2963748441
- https://openalex.org/W2963769536
- https://openalex.org/W2963829073
- https://openalex.org/W2963871484
- https://openalex.org/W2963995027
- https://openalex.org/W2964121744
- https://openalex.org/W2977745385