Published January 1, 2020
| Version v1
Publication
Open
Neural Topic Modeling by Incorporating Document Relationship Graph
Creators
- 1. Ministry of Education of the People's Republic of China
- 2. Southeast University
Description
Graph Neural Networks (GNNs) that capture the relationships between graph nodes via message passing have been a hot research direction in the natural language processing community.In this paper, we propose Graph Topic Model (GTM), a GNN based neural topic model that represents a corpus as a document relationship graph.Documents and words in the corpus become nodes in the graph and are connected based on document-word cooccurrences.By introducing the graph structure, the relationships between documents are established through their shared words and thus the topical representation of a document is enriched by aggregating information from its neighboring nodes using graph convolution.Extensive experiments on three datasets were conducted and the results demonstrate the effectiveness of the proposed approach.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
كانت الشبكات العصبية للرسم البياني (GNNs) التي تلتقط العلاقات بين عقد الرسم البياني عبر تمرير الرسائل اتجاهًا بحثيًا ساخنًا في مجتمع معالجة اللغة الطبيعية. في هذه الورقة، نقترح نموذج موضوع الرسم البياني (GTM)، وهو نموذج موضوع عصبي قائم على GNN يمثل مجموعة كرسومات بيانية لعلاقة المستندات. تصبح المستندات والكلمات في المجموعة عقدًا في الرسم البياني وترتبط استنادًا إلى تزامن كلمة المستند. من خلال تقديم بنية الرسم البياني، يتم إنشاء العلاقات بين المستندات من خلال كلماتها المشتركة، وبالتالي يتم إثراء التمثيل الموضعي للمستند من خلال تجميع المعلومات من العقد المجاورة باستخدام التفاف الرسم البياني. تم إجراء تجارب مكثفة على ثلاث مجموعات بيانات وتظهر النتائج فعالية النهج المقترح.Translated Description (French)
Les réseaux neuronaux de graphes (GNN) qui capturent les relations entre les nœuds de graphes via le passage de messages ont été une direction de recherche brûlante dans la communauté du traitement du langage naturel. Dans cet article, nous proposons le modèle de sujet de graphes (GTM), un modèle de sujet neuronal basé sur GNN qui représente un corpus en tant que graphe de relation de document. Les documents et les mots dans le corpus deviennent des nœuds dans le graphe et sont connectés en fonction des cooccurrences document-mot. En introduisant la structure de graphe, les relations entre les documents sont établies à travers leurs mots partagés et ainsi la représentation topique d'un document est enrichie en agrégeant les informations de ses nœuds voisins en utilisant la convolution de graphe. Des expériences approfondies sur trois ensembles de données ont été menées et les résultats démontrent l'efficacité de l'approche proposée.Translated Description (Spanish)
Las redes neuronales de grafos (GNN) que capturan las relaciones entre los nodos de grafos a través del paso de mensajes han sido una importante dirección de investigación en la comunidad de procesamiento del lenguaje natural. En este documento, proponemos el modelo de temas de grafos (GTM), un modelo de temas neuronales basado en GNN que representa un corpus como un grafo de relación de documentos. Los documentos y las palabras en el corpus se convierten en nodos en el grafo y se conectan en función de las coocurrencias documento-palabra. Al introducir la estructura del grafo, las relaciones entre los documentos se establecen a través de sus palabras compartidas y, por lo tanto, la representación tópica de un documento se enriquece agregando información de sus nodos vecinos utilizando la convolución del grafo. Se realizaron experimentos exhaustivos en tres conjuntos de datos y los resultados demuestran la efectividad del enfoque propuesto.Files
2020.emnlp-main.310.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- نمذجة الموضوع العصبي من خلال دمج الرسم البياني لعلاقة المستند
- Translated title (French)
- Modélisation de sujet neuronal en incorporant un graphique de relation de document
- Translated title (Spanish)
- Modelado de temas neuronales mediante la incorporación de gráficos de relación de documentos
Identifiers
- Other
- https://openalex.org/W3103380855
- DOI
- 10.18653/v1/2020.emnlp-main.310
References
- https://openalex.org/W1880262756
- https://openalex.org/W2038043464
- https://openalex.org/W2108420397
- https://openalex.org/W2118930549
- https://openalex.org/W2174706414
- https://openalex.org/W2212660284
- https://openalex.org/W2892358182
- https://openalex.org/W2952576857
- https://openalex.org/W2962946486
- https://openalex.org/W2963374482
- https://openalex.org/W2964144561
- https://openalex.org/W2968713397
- https://openalex.org/W2970278082
- https://openalex.org/W3035332461