Published January 1, 2020
| Version v1
Publication
Open
Deep Learning Model for Fine-Grained Aspect-Based Opinion Mining
Description
Despite the great manufactures' efforts to achieve customer satisfaction and improve their performance, social media opinion mining is still on the fly a big challenge. Current opinion mining requires sophisticated feature engineering and syntactic word embedding without considering semantic interaction between aspect term and opinionated features, which degrade the performance of most of opinion mining tasks, especially those that are designed for smart manufacturing. Research on intelligent aspect level opinion mining (AOM) follows the fast proliferation of user-generated data through social media for industrial manufacturing purposes. Google's pre-trained language model, Bidirectional Encoder Representations from Transformers (BERT) widely overcomes existing methods in eleven natural language processing (NLP) tasks, which makes it the standard way for semantic text representation. In this paper, we introduce a novel deep learning model for fine-grained aspect-based opinion mining, named as FGAOM. First, we train the BERT model on three specific domain corpora for domain adaption, then use adjusted BERT as embedding layer for concurrent extraction of local and global context features. Then, we propose Multi-head Self-Attention (MSHA) to effectively fuse internal semantic text representation and take advantage of convolutional layers to model aspect term interaction with surrounding sentiment features. Finally, the performance of the proposed model is evaluated via extensive experiments on three public datasets. Results show that performance of the proposed model outperforms performances of recent the-of-the-art models.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
على الرغم من جهود المصنّعين الكبيرة لتحقيق رضا العملاء وتحسين أدائهم، إلا أن تعدين آراء وسائل التواصل الاجتماعي لا يزال يمثل تحديًا كبيرًا. يتطلب تعدين الرأي الحالي هندسة ميزات متطورة وتضمين الكلمات النحوية دون النظر في التفاعل الدلالي بين المصطلح الجانبي وميزات الرأي، مما يؤدي إلى تدهور أداء معظم مهام تعدين الرأي، خاصة تلك المصممة للتصنيع الذكي. تتبع الأبحاث حول التعدين الذكي للرأي على مستوى الجانب (AOM) الانتشار السريع للبيانات التي ينشئها المستخدمون من خلال وسائل التواصل الاجتماعي لأغراض التصنيع الصناعي. يتغلب نموذج اللغة المدرّب مسبقًا من Google، Bidirectional Encoder Representations from Transformers (BERT) على نطاق واسع على الأساليب الحالية في إحدى عشرة مهمة لمعالجة اللغة الطبيعية (NLP)، مما يجعله الطريقة القياسية لتمثيل النص الدلالي. في هذه الورقة، نقدم نموذجًا جديدًا للتعلم العميق لتعدين الآراء القائم على الجوانب الدقيقة، يسمى FGAOM. أولاً، نقوم بتدريب نموذج بيرت على ثلاث مجموعات مجال محددة لتكييف المجال، ثم نستخدم بيرت المعدل كطبقة تضمين للاستخراج المتزامن لميزات السياق المحلي والعالمي. بعد ذلك، نقترح الانتباه الذاتي متعدد الرؤوس (MSHA) لدمج تمثيل النص الدلالي الداخلي بشكل فعال والاستفادة من الطبقات الالتفافية لنمذجة تفاعل المصطلح الجانبي مع ميزات المشاعر المحيطة. أخيرًا، يتم تقييم أداء النموذج المقترح من خلال تجارب مكثفة على ثلاث مجموعات بيانات عامة. تظهر النتائج أن أداء النموذج المقترح يتفوق على أداء النماذج الحديثة.Translated Description (French)
Malgré les efforts des grands fabricants pour atteindre la satisfaction de la clientèle et améliorer leurs performances, le minage d'opinion sur les médias sociaux est toujours à la volée un grand défi. La fouille d'opinion actuelle nécessite une ingénierie sophistiquée des caractéristiques et une intégration syntaxique des mots sans tenir compte de l'interaction sémantique entre le terme d'aspect et les caractéristiques d'opinion, ce qui dégrade les performances de la plupart des tâches de fouille d'opinion, en particulier celles qui sont conçues pour la fabrication intelligente. La recherche sur l'extraction intelligente d'opinions au niveau de l'aspect (AOM) suit la prolifération rapide des données générées par les utilisateurs via les médias sociaux à des fins de fabrication industrielle. Le modèle de langage pré-entraîné de Google, Bidirectional Encoder Representations from Transformers (BERT) surmonte largement les méthodes existantes dans onze tâches de traitement du langage naturel (NLP), ce qui en fait la voie standard pour la représentation sémantique du texte. Dans cet article, nous présentons un nouveau modèle d'apprentissage profond pour l'exploration d'opinion basée sur les aspects à grain fin, appelé FGAOM. Tout d'abord, nous formons le modèle BERT sur trois corpus de domaines spécifiques pour l'adaptation du domaine, puis nous utilisons le BERT ajusté comme couche d'intégration pour l'extraction simultanée des caractéristiques du contexte local et mondial. Ensuite, nous proposons l'auto-attention multi-tête (MSHA) pour fusionner efficacement la représentation sémantique interne du texte et tirer parti des couches convolutionnelles pour modéliser l'interaction des termes d'aspect avec les caractéristiques de sentiment environnantes. Enfin, la performance du modèle proposé est évaluée via des expériences approfondies sur trois ensembles de données publics. Les résultats montrent que les performances du modèle proposé surpassent les performances des modèles les plus récents.Translated Description (Spanish)
A pesar de los esfuerzos de los grandes fabricantes para lograr la satisfacción del cliente y mejorar su rendimiento, la minería de opiniones en las redes sociales sigue siendo un gran desafío. La minería de opinión actual requiere una sofisticada ingeniería de características e incrustación sintáctica de palabras sin considerar la interacción semántica entre el término de aspecto y las características opinadas, lo que degrada el rendimiento de la mayoría de las tareas de minería de opinión, especialmente las que están diseñadas para la fabricación inteligente. La investigación sobre la minería de opinión a nivel de aspecto inteligente (AOM) sigue la rápida proliferación de datos generados por los usuarios a través de las redes sociales con fines de fabricación industrial. El modelo de lenguaje preentrenado de Google, Bidirectional Encoder Representations from Transformers (BERT) supera ampliamente los métodos existentes en once tareas de procesamiento de lenguaje natural (PNL), lo que lo convierte en la forma estándar para la representación semántica de texto. En este documento, presentamos un nuevo modelo de aprendizaje profundo para la minería de opinión basada en aspectos de grano fino, denominado FGAOM. Primero, entrenamos el modelo BERT en tres corpus de dominio específicos para la adaptación del dominio, luego usamos BERT ajustado como capa de incrustación para la extracción simultánea de características de contexto local y global. Luego, proponemos la autoatención multicabezal (MSHA) para fusionar de manera efectiva la representación semántica interna del texto y aprovechar las capas convolucionales para modelar la interacción del término de aspecto con las características de sentimiento circundantes. Finalmente, el rendimiento del modelo propuesto se evalúa a través de extensos experimentos en tres conjuntos de datos públicos. Los resultados muestran que el rendimiento del modelo propuesto supera el rendimiento de los modelos más recientes.Files
09139221.pdf.pdf
Files
(245 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:b7d15f873319d9f6d9c35b4111ff0820
|
245 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- نموذج التعلم العميق لتعدين الرأي القائم على الجوانب الدقيقة
- Translated title (French)
- Modèle d'apprentissage en profondeur pour l'extraction d'opinions basée sur les aspects à grain fin
- Translated title (Spanish)
- Modelo de aprendizaje profundo para la minería de opinión basada en aspectos de grano fino
Identifiers
- Other
- https://openalex.org/W3043133652
- DOI
- 10.1109/access.2020.3008824
References
- https://openalex.org/W2251124635
- https://openalex.org/W2252057809
- https://openalex.org/W2342662179
- https://openalex.org/W2556536142
- https://openalex.org/W2899232971
- https://openalex.org/W2909211416
- https://openalex.org/W2943796356
- https://openalex.org/W2949619369
- https://openalex.org/W2953751391
- https://openalex.org/W2955260208
- https://openalex.org/W2960680116
- https://openalex.org/W2964671814
- https://openalex.org/W2969743835
- https://openalex.org/W2971559111
- https://openalex.org/W2971586182
- https://openalex.org/W2973325524
- https://openalex.org/W2979860911
- https://openalex.org/W2979872739
- https://openalex.org/W2980481399
- https://openalex.org/W2982225079
- https://openalex.org/W2985244827
- https://openalex.org/W2988032913
- https://openalex.org/W2991675023
- https://openalex.org/W2993821971
- https://openalex.org/W2995071747
- https://openalex.org/W2998964503
- https://openalex.org/W2999375771
- https://openalex.org/W3000546628
- https://openalex.org/W3001093415
- https://openalex.org/W3001321893
- https://openalex.org/W3003580126
- https://openalex.org/W3003618396
- https://openalex.org/W3005043037
- https://openalex.org/W3005328069
- https://openalex.org/W3011249019
- https://openalex.org/W3104455619