Published January 1, 2020
| Version v1
Publication
Open
Feature Projection for Improved Text Classification
Description
In classification, there are usually some good features that are indicative of class labels.For example, in sentiment classification, words like good and nice are indicative of the positive sentiment and words like bad and terrible are indicative of the negative sentiment.However, there are also many common features (e.g., words) that are not indicative of any specific class (e.g., voice and screen, which are common to both sentiment classes and are not discriminative for classification).Although deep learning has made significant progresses in generating discriminative features through its powerful representation learning, we believe there is still room for improvement.In this paper, we propose a novel angle to further improve this representation learning, i.e., feature projection.This method projects existing features into the orthogonal space of the common features.The resulting projection is thus perpendicular to the common features and more discriminative for classification.We apply this new method to improve CNN, RNN, Transformer, and Bert based text classification and obtain markedly better results.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
في التصنيف، عادة ما تكون هناك بعض السمات الجيدة التي تدل على تسميات الفئة. على سبيل المثال، في تصنيف المشاعر، تشير الكلمات مثل جيد ولطيف إلى المشاعر الإيجابية والكلمات مثل سيئة ورهيبة تدل على المشاعر السلبية. ومع ذلك، هناك أيضًا العديد من السمات المشتركة (على سبيل المثال، الكلمات) التي لا تدل على أي فئة محددة (على سبيل المثال، الصوت والشاشة، والتي تكون مشتركة بين فئتي المشاعر وليست تمييزية للتصنيف). على الرغم من أن التعلم العميق قد حقق تقدمًا كبيرًا في توليد سمات تمييزية من خلال تعلم التمثيل القوي، إلا أننا نعتقد أنه لا يزال هناك مجال للتحسين. في هذه الورقة، نقترح زاوية جديدة لزيادة تحسين تعلم التمثيل هذا، أي إسقاط الميزة. تعرض هذه الطريقة الميزات الموجودة في الفضاء المتعامد للسمات الشائعة. وبالتالي فإن الإسقاط الناتج متعامد على السمات المشتركة وأكثر تمييزًا للتصنيف. نحن نطبق هذه الطريقة الجديدة لتحسين CNN و RN و Transformer و Bert based text تصنيف والحصول على نتائج أفضل.Translated Description (French)
Dans la classification, il y a généralement de bonnes caractéristiques qui sont indicatives des étiquettes de classe. Par exemple, dans la classification des sentiments, des mots comme bon et gentil sont indicatifs du sentiment positif et des mots comme mauvais et terrible sont indicatifs du sentiment négatif. Cependant, il y a aussi de nombreuses caractéristiques communes (par exemple, les mots) qui ne sont indicatives d'aucune classe spécifique (par exemple, la voix et l'écran, qui sont communs aux deux classes de sentiment et ne sont pas discriminatoires pour la classification). Bien que l'apprentissage en profondeur ait fait des progrès significatifs dans la génération de caractéristiques discriminantes grâce à son puissant apprentissage de représentation, nous pensons qu'il y a encore place à amélioration. Dans ce document, nous proposons un nouvel angle pour améliorer davantage cet apprentissage de représentation, c'est-à-dire la projection de caractéristiques. Cette méthode projette les caractéristiques existantes dans l'espace orthogonal des caractéristiques communes. La projection résultante est donc perpendiculaire aux caractéristiques communes et plus discriminante pour la classification. Nous appliquons cette nouvelle méthode pour améliorer la classification de texte basée sur CNN, RNN, Transformer et Bert et obtenir des résultats nettement meilleurs.Translated Description (Spanish)
En la clasificación, generalmente hay algunas características buenas que son indicativas de etiquetas de clase. Por ejemplo, en la clasificación de sentimientos, palabras como bueno y agradable son indicativas del sentimiento positivo y palabras como malo y terrible son indicativas del sentimiento negativo. Sin embargo, también hay muchas características comunes (por ejemplo, palabras) que no son indicativas de ninguna clase específica (por ejemplo, voz y pantalla, que son comunes a ambas clases de sentimientos y no son discriminatorias para la clasificación). Aunque el aprendizaje profundo ha logrado avances significativos en la generación de características discriminatorias a través de su poderoso aprendizaje de representación, creemos que todavía hay margen de mejora. En este documento, proponemos un ángulo novedoso para mejorar aún más este aprendizaje de representación, es decir, la proyección de características. Este método proyecta las características existentes en el espacio ortogonal de las características comunes. La proyección resultante es, por lo tanto, perpendicular a las características comunes y más discriminatoria para la clasificación. Aplicamos este nuevo método para mejorar la clasificación de textos basada en CNN, RNN, Transformer y Bert y obtener resultados notablemente mejores.Files
2020.acl-main.726.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- إسقاط الميزة لتحسين تصنيف النص
- Translated title (French)
- Projection des caractéristiques pour une classification améliorée du texte
- Translated title (Spanish)
- Proyección de funciones para mejorar la clasificación del texto
Identifiers
- Other
- https://openalex.org/W3035040493
- DOI
- 10.18653/v1/2020.acl-main.726
References
- https://openalex.org/W1486649854
- https://openalex.org/W1523493493
- https://openalex.org/W1731081199
- https://openalex.org/W1832693441
- https://openalex.org/W1840435438
- https://openalex.org/W1924770834
- https://openalex.org/W2064675550
- https://openalex.org/W2070246124
- https://openalex.org/W2108646579
- https://openalex.org/W2124637344
- https://openalex.org/W2163455955
- https://openalex.org/W2170973209
- https://openalex.org/W2194775991
- https://openalex.org/W2250473257
- https://openalex.org/W2250966211
- https://openalex.org/W2252335727
- https://openalex.org/W2265846598
- https://openalex.org/W2470673105
- https://openalex.org/W2516930406
- https://openalex.org/W2564089970
- https://openalex.org/W2578757680
- https://openalex.org/W2587019100
- https://openalex.org/W2597655663
- https://openalex.org/W2788810909
- https://openalex.org/W2789132801
- https://openalex.org/W2798754355
- https://openalex.org/W2887005207
- https://openalex.org/W2891602716
- https://openalex.org/W2898700502
- https://openalex.org/W2963090765
- https://openalex.org/W2963096121
- https://openalex.org/W2963104543
- https://openalex.org/W2963241825
- https://openalex.org/W2963341956
- https://openalex.org/W2963355447
- https://openalex.org/W2963403868
- https://openalex.org/W2963626623
- https://openalex.org/W2963804993
- https://openalex.org/W2963826681
- https://openalex.org/W2964046515
- https://openalex.org/W2964308564