Published January 1, 2018
| Version v1
Publication
Open
Semantic-Unit-Based Dilated Convolution for Multi-Label Text Classification
- 1. Peking University
- 2. King University
Description
We propose a novel model for multi-label text classification, which is based on sequenceto-sequence learning.The model generates higher-level semantic unit representations with multi-level dilated convolution as well as a corresponding hybrid attention mechanism that extracts both the information at the word-level and the level of the semantic unit.Our designed dilated convolution effectively reduces dimension and supports an exponential expansion of receptive fields without loss of local information, and the attention-overattention mechanism is able to capture more summary relevant information from the source context.Results of our experiments show that the proposed model has significant advantages over the baseline models on the dataset RCV1-V2 and Ren-CECps, and our analysis demonstrates that our model is competitive to the deterministic hierarchical models and it is more robust to classifying low-frequency labels 1 .
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
نقترح نموذجًا جديدًا لتصنيف النص متعدد التسميات، والذي يعتمد على التعلم المتسلسل. يولد النموذج تمثيلات وحدة دلالية عالية المستوى مع التفاف متوسع متعدد المستويات بالإضافة إلى آلية انتباه هجينة مقابلة تستخرج كل من المعلومات على مستوى الكلمة ومستوى الوحدة الدلالية. يقلل الالتفاف المتوسع المصمم لدينا بشكل فعال من البعد ويدعم التوسع الأسي للحقول الاستقبالية دون فقدان المعلومات المحلية، وآلية زيادة الانتباه قادرة على التقاط المزيد من المعلومات ذات الصلة الموجزة من سياق المصدر. تظهر نتائج تجاربنا أن النموذج المقترح له مزايا كبيرة على النماذج الأساسية في مجموعة البيانات RCV1 - V2 و Ren - CECps، ويوضح تحليلنا أن نموذجنا منافس للنماذج الهرمية الحتمية وأنه أكثر قوة لتصنيف التسميات منخفضة التردد 1 .Translated Description (French)
Nous proposons un nouveau modèle de classification de texte à étiquettes multiples, basé sur l'apprentissage séquence-à-séquence. Le modèle génère des représentations d'unités sémantiques de niveau supérieur avec une convolution dilatée à plusieurs niveaux ainsi qu'un mécanisme d'attention hybride correspondant qui extrait à la fois les informations au niveau du mot et au niveau de l'unité sémantique. Notre convolution dilatée conçue réduit efficacement la dimension et prend en charge une expansion exponentielle des champs réceptifs sans perte d'informations locales, et le mécanisme d'attention-surattention est capable de capturer des informations pertinentes plus sommaires du contexte source. Les résultats de nos expériences montrent que le modèle proposé présente des avantages significatifs par rapport aux modèles de base sur l'ensemble de données RCV1-V2 et Ren-CECps, et notre analyse démontre que notre modèle est compétitif par rapport aux modèles hiérarchiques déterministes et qu'il est plus robuste pour classer les étiquettes basse fréquence 1 .Translated Description (Spanish)
Proponemos un modelo novedoso para la clasificación de texto de múltiples etiquetas, que se basa en el aprendizaje de secuencia a secuencia. El modelo genera representaciones de unidades semánticas de nivel superior con convolución dilatada de múltiples niveles, así como un mecanismo de atención híbrido correspondiente que extrae tanto la información a nivel de palabra como a nivel de la unidad semántica. Nuestra convolución dilatada diseñada reduce efectivamente la dimensión y admite una expansión exponencial de los campos receptivos sin pérdida de información local, y el mecanismo de atención-sobreatención es capaz de capturar más información relevante resumida del contexto de la fuente. Los resultados de nuestros experimentos muestran que el modelo propuesto tiene ventajas significativas sobre los modelos de referencia en el conjunto de datos RCV1-V2 y Ren-CECps, y nuestro análisis demuestra que nuestro modelo es competitivo con los modelos jerárquicos deterministas y es más robusto para clasificar las etiquetas de baja frecuencia 1 .Files
D18-1485.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- الالتفاف الموسّع القائم على الوحدة الدلالية لتصنيف النص متعدد التسميات
- Translated title (French)
- Convolution dilatée basée sur l'unité sémantique pour la classification de texte multi-étiquettes
- Translated title (Spanish)
- Convolución dilatada basada en unidades semánticas para clasificación de texto de etiquetas múltiples
Identifiers
- Other
- https://openalex.org/W2888726123
- DOI
- 10.18653/v1/d18-1485
References
- https://openalex.org/W1753402186
- https://openalex.org/W1793121960
- https://openalex.org/W1832693441
- https://openalex.org/W1902237438
- https://openalex.org/W1999954155
- https://openalex.org/W2032210760
- https://openalex.org/W2052684427
- https://openalex.org/W2118712128
- https://openalex.org/W2119466907
- https://openalex.org/W2120615054
- https://openalex.org/W2130942839
- https://openalex.org/W2136939460
- https://openalex.org/W2146241755
- https://openalex.org/W2150102617
- https://openalex.org/W2166912588
- https://openalex.org/W2251470734
- https://openalex.org/W2279689406
- https://openalex.org/W2519091744
- https://openalex.org/W2540404261
- https://openalex.org/W2592939477
- https://openalex.org/W2734389934
- https://openalex.org/W2751120573
- https://openalex.org/W2887323611
- https://openalex.org/W2951829787
- https://openalex.org/W2963248507
- https://openalex.org/W2963840672
- https://openalex.org/W2963970666
- https://openalex.org/W2964121744
- https://openalex.org/W2964265128
- https://openalex.org/W2964308564