Asking Questions Like Educational Experts: Automatically Generating Question-Answer Pairs on Real-World Examination Data
Description
Generating high quality question-answer pairs is a hard but meaningful task.Although previous works have achieved great results on answer-aware question generation, it is difficult to apply them into practical application in the education field.This paper for the first time addresses the question-answer pair generation task on the real-world examination data, and proposes a new unified framework on RACE.To capture the important information of the input passage we first automatically generate (rather than extracting) keyphrases, thus this task is reduced to keyphrase-question-answer triplet joint generation.Accordingly, we propose a multi-agent communication model to generate and optimize the question and keyphrases iteratively, and then apply the generated question and keyphrases to guide the generation of answers.To establish a solid benchmark, we build our model on the strong generative pre-training model.Experimental results show that our model makes great breakthroughs in the question-answer pair generation task.Moreover, we make a comprehensive analysis on our model, suggesting new directions for this challenging task.
Translated Descriptions
Translated Description (Arabic)
يعد إنشاء أزواج عالية الجودة من الأسئلة والأجوبة مهمة صعبة ولكنها ذات مغزى. على الرغم من أن الأعمال السابقة قد حققت نتائج رائعة في توليد الأسئلة الواعية بالإجابات، إلا أنه من الصعب تطبيقها في التطبيق العملي في مجال التعليم. تتناول هذه الورقة لأول مرة مهمة إنشاء زوج من الأسئلة والأجوبة على بيانات الفحص في العالم الحقيقي، وتقترح إطارًا موحدًا جديدًا بشأن RACE. للحصول على المعلومات المهمة لمقطع الإدخال الذي نولده أولاً تلقائيًا (بدلاً من استخراج) عبارات رئيسية، وبالتالي يتم تقليل هذه المهمة إلى جيل مشترك ثلاثي من العبارات والأسئلة والأجوبة. وفقًا لذلك، نقترح نموذج اتصال متعدد العوامل لتوليد وتحسين السؤال والعبارات الرئيسية بشكل متكرر، ثم تطبيق السؤال والعبارات الرئيسية التي تم إنشاؤها لتوجيه توليد الإجابات. لإنشاء معيار متين، نبني نموذجنا على نموذج ما قبل التدريب التوليدي القوي. تظهر النتائج التجريبية أن نموذجنا يحقق اختراقات كبيرة في جيل الأسئلة والأجوبة. علاوة على ذلك، نجري تحليلًا شاملاً على هذا النموذج الجديد من التوجهات الصعبة.Translated Description (French)
Générer des paires de questions-réponses de haute qualité est une tâche difficile mais significative.Bien que les travaux précédents aient obtenu d'excellents résultats sur la génération de questions conscientes des réponses, il est difficile de les appliquer dans une application pratique dans le domaine de l'éducation.Cet article aborde pour la première fois la tâche de génération de paires de questions-réponses sur les données d'examen du monde réel et propose un nouveau cadre unifié sur RACE.Pour capturer les informations importantes du passage d'entrée, nous générons d'abord automatiquement (plutôt que d'extraire) des phrases clés, cette tâche est donc réduite à une génération conjointe de triplets de questions-réponses.En conséquence, nous proposons un modèle de communication multi-agents pour générer et optimiser la question et les phrases clés de manière itérative, puis nous appliquons la question générée et les phrases clés pour guider la génération de réponses.Pour établir un point de référence solide, nous construisons notre modèle sur le modèle de pré-formation génératif fort.Les résultats expérimentaux montrent que notre modèle fait de grandes percées dans la tâche de génération de paires de questions-répons.En outre, nous faisons une analyse complète de notre modèle, suggérant de nouvelles orientations pour cette tâche difficile.Translated Description (Spanish)
Generar pares de preguntas y respuestas de alta calidad es una tarea difícil pero significativa. Aunque los trabajos anteriores han logrado excelentes resultados en la generación de preguntas con conciencia de respuesta, es difícil aplicarlos en la aplicación práctica en el campo de la educación. Este documento aborda por primera vez la tarea de generación de pares de preguntas y respuestas en los datos de examen del mundo real y propone un nuevo marco unificado en RACE.Para capturar la información importante del pasaje de entrada, primero generamos automáticamente (en lugar de extraer) frases clave, por lo que esta tarea se reduce a la generación conjunta de trípticos de frases clave-preguntas-respuestas. En consecuencia, proponemos un modelo de comunicación multiagente para generar y optimizar la pregunta y las frases clave de forma iterativa, y luego aplicamos la pregunta y las frases clave generadas para guiar la generación de respuestas. Para establecer un punto de referencia sólido, construimos nuestro modelo sobre el sólido modelo generativo de capacitación previa. Los resultados experimentales muestran que nuestro modelo logra grandes avances en la tarea de generación de pares de preguntas y respuestas. Además, hacemos un análisis exhaustivo en nuestro modelo, sugiriendo nuevas direcciones para esta desafiante tarea.Files
2021.emnlp-main.202.pdf.pdf
Files
(560.9 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:5049236378f7d637aedbf8208fca4a5b
|
560.9 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- طرح الأسئلة مثل الخبراء التربويين: إنشاء أزواج من الأسئلة والإجابات تلقائيًا على بيانات الامتحانات في العالم الحقيقي
- Translated title (French)
- Poser des questions comme des experts en éducation : générer automatiquement des paires questions-réponses sur des données d'examen réelles
- Translated title (Spanish)
- Hacer preguntas como expertos en educación: generar automáticamente pares de preguntas y respuestas sobre datos de exámenes del mundo real
Identifiers
- Other
- https://openalex.org/W3199051863
- DOI
- 10.18653/v1/2021.emnlp-main.202
References
- https://openalex.org/W2557764419
- https://openalex.org/W2606964149
- https://openalex.org/W2606974598
- https://openalex.org/W2804292122
- https://openalex.org/W2804340650
- https://openalex.org/W2807750936
- https://openalex.org/W2889670144
- https://openalex.org/W2917436183
- https://openalex.org/W2962874939
- https://openalex.org/W2962977247
- https://openalex.org/W2963247703
- https://openalex.org/W2963341956
- https://openalex.org/W2963661590
- https://openalex.org/W2963748441
- https://openalex.org/W2964087080
- https://openalex.org/W2970796366
- https://openalex.org/W3034999214
- https://openalex.org/W3100439847
- https://openalex.org/W3101798106
- https://openalex.org/W3105956114
- https://openalex.org/W3176929804