Published January 1, 2020
| Version v1
Publication
Open
Using the Past Knowledge to Improve Sentiment Classification
Description
This paper studies sentiment classification in the lifelong learning setting that incrementally learns a sequence of sentiment classification tasks.It proposes a new lifelong learning model (called L2PG) that can retain and selectively transfer the knowledge learned in the past to help learn the new task.A key innovation of this proposed model is a novel parameter-gate (p-gate) mechanism that regulates the flow or transfer of the previously learned knowledge to the new task.Specifically, it can selectively use the network parameters (which represent the retained knowledge gained from the previous tasks) to assist the learning of the new task t.Knowledge distillation is also employed in the process to preserve the past knowledge by approximating the network output at the state when task t -1 was learned.Experimental results show that L2PG outperforms strong baselines, including even multiple task learning.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
تدرس هذه الورقة تصنيف المشاعر في بيئة التعلم مدى الحياة التي تتعلم بشكل تدريجي سلسلة من مهام تصنيف المشاعر. وتقترح نموذجًا جديدًا للتعلم مدى الحياة (يسمى L 2 PG) يمكنه الاحتفاظ بالمعرفة المكتسبة في الماضي ونقلها بشكل انتقائي للمساعدة في تعلم المهمة الجديدة. الابتكار الرئيسي لهذا النموذج المقترح هو آلية بوابة المعلمات الجديدة (p - gate) التي تنظم تدفق أو نقل المعرفة المكتسبة سابقًا إلى المهمة الجديدة. على وجه التحديد، يمكن أن تستخدم بشكل انتقائي معلمات الشبكة (التي تمثل المعرفة المحتفظ بها المكتسبة من المهام السابقة) للمساعدة في تعلم المهمة الجديدة t. كما يتم استخدام معرفة التقطير في عملية الحفاظ على المعرفة السابقة من خلال تقريب مخرجات الشبكة في الحالة عندما تم تعلم المهمة t -1. تظهر النتائج التجريبية أن L 2 PG تتفوق على خطوط الأساس القوية، بما في ذلك حتى تعلم المهام المتعددة.Translated Description (French)
Cet article étudie la classification des sentiments dans le cadre de l'apprentissage tout au long de la vie qui apprend progressivement une séquence de tâches de classification des sentiments. Il propose un nouveau modèle d'apprentissage tout au long de la vie (appelé L2PG) qui peut conserver et transférer sélectivement les connaissances apprises dans le passé pour aider à apprendre la nouvelle tâche. Une innovation clé de ce modèle proposé est un nouveau mécanisme de porte de paramètre (p-gate) qui régule le flux ou le transfert des connaissances précédemment apprises à la nouvelle tâche. Spécifiquement, il peut utiliser sélectivement les paramètres du réseau (qui représentent les connaissances conservées acquises des tâches précédentes) pour aider à l'apprentissage de la nouvelle tâche t. La distillation des connaissances est également utilisée dans le processus pour préserver les connaissances passées en se rapprochant de la sortie du réseau à l'état où la tâche t -1 a été apprise. Les résultats expérimentaux montrent que L2PG surpasse les bases solides, y compris même l'apprentissage de tâches multiples.Translated Description (Spanish)
Este documento estudia la clasificación de sentimientos en el entorno de aprendizaje permanente que aprende gradualmente una secuencia de tareas de clasificación de sentimientos. Propone un nuevo modelo de aprendizaje permanente (llamado L2PG) que puede retener y transferir selectivamente el conocimiento aprendido en el pasado para ayudar a aprender la nueva tarea. Una innovación clave de este modelo propuesto es un nuevo mecanismo de parámetro-puerta (p-gate) que regula el flujo o la transferencia del conocimiento previamente aprendido a la nueva tarea. Específicamente, puede usar selectivamente los parámetros de red (que representan el conocimiento retenido obtenido de las tareas anteriores) para ayudar al aprendizaje de la nueva tarea t. La destilación de conocimiento también se emplea en el proceso para preservar el conocimiento pasado al aproximar la salida de la red en el estado en que se aprendió la tarea t -1. Los resultados experimentales muestran que L2PG supera las líneas de base sólidas, incluido el aprendizaje de tareas múltiples.Files
2020.findings-emnlp.101.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- استخدام المعرفة السابقة لتحسين تصنيف المشاعر
- Translated title (French)
- Utiliser les connaissances passées pour améliorer la classification des sentiments
- Translated title (Spanish)
- Uso del conocimiento pasado para mejorar la clasificación de los sentimientos
Identifiers
- Other
- https://openalex.org/W3102836509
- DOI
- 10.18653/v1/2020.findings-emnlp.101
References
- https://openalex.org/W1519626139
- https://openalex.org/W1682403713
- https://openalex.org/W1821462560
- https://openalex.org/W1832693441
- https://openalex.org/W2106035193
- https://openalex.org/W2108646579
- https://openalex.org/W2113839990
- https://openalex.org/W2120501001
- https://openalex.org/W2126204609
- https://openalex.org/W2473930607
- https://openalex.org/W2560647685
- https://openalex.org/W2565989828
- https://openalex.org/W2767245334
- https://openalex.org/W2786498526
- https://openalex.org/W2788388592
- https://openalex.org/W2789132801
- https://openalex.org/W2906141031
- https://openalex.org/W2911437461
- https://openalex.org/W2940792992
- https://openalex.org/W2948820495
- https://openalex.org/W2962897020
- https://openalex.org/W2963209029
- https://openalex.org/W2963341956
- https://openalex.org/W2963850662
- https://openalex.org/W2970748152
- https://openalex.org/W2972313371
- https://openalex.org/W3035040493