Discriminative Neural Sentence Modeling by Tree-Based Convolution
- 1. Institute of Software
- 2. Peking University
Description
This paper proposes a tree-based convolutional neural network (TBCNN) for discriminative sentence modeling.Our model leverages either constituency trees or dependency trees of sentences.The tree-based convolution process extracts sentences structural features, which are then aggregated by max pooling.Such architecture allows short propagation paths between the output layer and underlying feature detectors, enabling effective structural feature learning and extraction.We evaluate our models on two tasks: sentiment analysis and question classification.In both experiments, TBCNN outperforms previous state-of-the-art results, including existing neural networks and dedicated feature/rule engineering.We also make efforts to visualize the tree-based convolution process, shedding light on how our models work.
Translated Descriptions
Translated Description (Arabic)
تقترح هذه الورقة شبكة عصبية التفافية قائمة على الأشجار (TBCNN) لنمذجة الجمل التمييزية. يستفيد نموذجنا إما من أشجار الدوائر الانتخابية أو أشجار التبعية للجمل. تستخلص عملية الالتفاف القائمة على الأشجار السمات الهيكلية، والتي يتم تجميعها بعد ذلك عن طريق التجميع الأقصى. تسمح هذه البنية بمسارات انتشار قصيرة بين طبقة الإخراج وكاشفات الميزات الأساسية، مما يتيح تعلم واستخراج الميزات الهيكلية الفعالة. نحن نقيم نماذجنا على مهمتين: تحليل المشاعر وتصنيف الأسئلة. في كلتا التجربتين، تتفوق TBCNN على أحدث النتائج السابقة، بما في ذلك الشبكات العصبية الحالية وهندسة الميزات/القواعد المخصصة. كما نبذل جهودًا لتصور عملية الالتفاف القائمة على الأشجار، مع تسليط الضوء على كيفية عمل نماذجنا.Translated Description (French)
Cet article propose un réseau neuronal convolutif arborescent (TBCNN) pour la modélisation discriminative des phrases. Notre modèle exploite soit les arbres constitutifs, soit les arbres de dépendance des phrases. Le processus de convolution arborescent extrait les caractéristiques structurelles des phrases, qui sont ensuite agrégées par pooling max. Cette architecture permet de courts trajets de propagation entre la couche de sortie et les détecteurs de caractéristiques sous-jacents, ce qui permet un apprentissage et une extraction efficaces des caractéristiques structurelles. Nous évaluons nos modèles sur deux tâches : l'analyse des sentiments et la classification des questions. Dans les deux expériences, TBCNN surpasse les résultats antérieurs à la pointe de la technologie, y compris les réseaux neuronaux existants et l'ingénierie des caractéristiques/règles dédiées. Nous nous efforçons également de visualiser le processus de convolution arborescent, en faisant la lumière sur le fonctionnement de nos modèles.Translated Description (Spanish)
Este documento propone una red neuronal convolucional basada en árboles (TBCNN) para el modelado de oraciones discriminativas. Nuestro modelo aprovecha los árboles de constituyentes o los árboles de dependencias de las oraciones. El proceso de convolución basado en árboles extrae las características estructurales de las oraciones, que luego se agregan mediante la agrupación máxima. Dicha arquitectura permite rutas de propagación cortas entre la capa de salida y los detectores de características subyacentes, lo que permite un aprendizaje y extracción efectivos de las características estructurales. Evaluamos nuestros modelos en dos tareas: análisis de sentimientos y clasificación de preguntas. En ambos experimentos, TBCNN supera los resultados de vanguardia anteriores, incluidas las redes neuronales existentes y la ingeniería de características/reglas dedicadas. También hacemos esfuerzos para visualizar el proceso de convolución basado en árboles, arrojando luz sobre cómo funcionan nuestros modelos.Files
D15-1279.pdf.pdf
Files
(226 Bytes)
Name | Size | Download all |
---|---|---|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- نمذجة الجملة العصبية التمييزية بواسطة الالتفاف القائم على الأشجار
- Translated title (French)
- Modélisation de la phrase neuronale discriminante par convolution arborescente
- Translated title (Spanish)
- Modelado discriminatorio de oraciones neuronales mediante convolución basada en árboles
Identifiers
- Other
- https://openalex.org/W2963872035
- DOI
- 10.18653/v1/d15-1279
References
- https://openalex.org/W104703790
- https://openalex.org/W1508977358
- https://openalex.org/W1512847993
- https://openalex.org/W1564017569
- https://openalex.org/W1587871245
- https://openalex.org/W1665214252
- https://openalex.org/W1667072054
- https://openalex.org/W1681397005
- https://openalex.org/W1832693441
- https://openalex.org/W1889268436
- https://openalex.org/W2003130086
- https://openalex.org/W2029115643
- https://openalex.org/W2043150741
- https://openalex.org/W2061495585
- https://openalex.org/W2064675550
- https://openalex.org/W2072284402
- https://openalex.org/W2095705004
- https://openalex.org/W2103305545
- https://openalex.org/W2107878631
- https://openalex.org/W2111369166
- https://openalex.org/W2117130368
- https://openalex.org/W2117499988
- https://openalex.org/W2120615054
- https://openalex.org/W2125573226
- https://openalex.org/W2130237711
- https://openalex.org/W2131744502
- https://openalex.org/W2132166724
- https://openalex.org/W2132339004
- https://openalex.org/W2147489358
- https://openalex.org/W2153579005
- https://openalex.org/W2163922914
- https://openalex.org/W2170738476
- https://openalex.org/W2251939518
- https://openalex.org/W2960930698
- https://openalex.org/W2963355447
- https://openalex.org/W2963963856
- https://openalex.org/W71795751