Published January 1, 2019
| Version v1
Publication
Open
Hierarchical Text Classification with Reinforced Label Assignment
Creators
- 1. University of Illinois Urbana-Champaign
- 2. Peking University
- 3. University of Southern California
Description
While existing hierarchical text classification (HTC) methods attempt to capture label hierarchies for model training, they either make local decisions regarding each label or completely ignore the hierarchy information during inference.To solve the mismatch between training and inference as well as modeling label dependencies in a more principled way, we formulate HTC as a Markov decision process and propose to learn a Label Assignment Policy via deep reinforcement learning to determine where to place an object and when to stop the assignment process.The proposed method, HiLAP, explores the hierarchy during both training and inference time in a consistent manner and makes inter-dependent decisions.As a general framework, HiLAP can incorporate different neural encoders as base models for end-to-end training.Experiments on five public datasets and four base models show that HiLAP yields an average improvement of 33.4% in Macro-F1 over flat classifiers and outperforms state-of-the-art HTC methods by a large margin. 1
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
بينما تحاول طرق تصنيف النص الهرمي الحالية (HTC) التقاط التسلسلات الهرمية للتسمية للتدريب النموذجي، فإنها إما تتخذ قرارات محلية فيما يتعلق بكل تسمية أو تتجاهل تمامًا معلومات التسلسل الهرمي أثناء الاستدلال. لحل عدم التوافق بين التدريب والاستدلال وكذلك نمذجة تبعيات التسمية بطريقة أكثر مبدئية، نقوم بصياغة HTC كعملية قرار ماركوف ونقترح تعلم سياسة تعيين التسمية من خلال التعلم التعزيزي العميق لتحديد مكان وضع كائن ومتى يتم إيقاف عملية التعيين. تستكشف الطريقة المقترحة، HiLAP، التسلسل الهرمي خلال كل من التدريب ووقت الاستدلال بطريقة متسقة وتتخذ قرارات مترابطة. كإطار عام، يمكن لـ HiLAP دمج مشفرات عصبية مختلفة كنماذج أساسية للتدريب من البداية إلى النهاية. تظهر التجارب على خمس مجموعات بيانات عامة وأربعة نماذج أساسية أن HiLAP تحقق تحسنًا متوسطًا بنسبة 33.4 ٪ في مصنفات Macro - F1 فوق المصنفات المسطحة وأداء أعلى من أحدث أساليب HTC بهامحة كبيرة.Translated Description (French)
Alors que les méthodes de classification hiérarchique de texte (HTC) existantes tentent de capturer les hiérarchies d'étiquettes pour la formation de modèles, elles prennent des décisions locales concernant chaque étiquette ou ignorent complètement les informations de hiérarchie pendant l'inférence.Pour résoudre le décalage entre la formation et l'inférence ainsi que la modélisation des dépendances d'étiquettes d'une manière plus fondée sur des principes, nous formulons HTC comme un processus de décision de Markov et proposons d'apprendre une politique d'attribution d'étiquettes via un apprentissage par renforcement profond pour déterminer où placer un objet et quand arrêter le processus d'attribution.La méthode proposée, HiLAP, explore la hiérarchie pendant la formation et le temps d'inférence de manière cohérente et prend des décisions interdépendantes.En tant que cadre général, HiLAP peut incorporer différents codeurs neuronaux comme modèles de base pour la formation de bout en bout.Les expériences sur cinq ensembles de données publics et quatre modèles de base montrent que HiLAP donne une amélioration moyenne de 33,4 % en Macro-F1 par rapport aux classificateurs plats et surpasse les méthodes HTC de pointe d'une grande marge. 1Translated Description (Spanish)
Si bien los métodos existentes de clasificación jerárquica de textos (HTC) intentan capturar las jerarquías de etiquetas para el entrenamiento de modelos, toman decisiones locales con respecto a cada etiqueta o ignoran por completo la información de la jerarquía durante la inferencia. Para resolver el desajuste entre el entrenamiento y la inferencia, así como para modelar las dependencias de las etiquetas de una manera más basada en principios, formulamos HTC como un proceso de decisión de Markov y proponemos aprender una Política de asignación de etiquetas a través de un aprendizaje de refuerzo profundo para determinar dónde colocar un objeto y cuándo detener el proceso de asignación. El método propuesto, HiLAP, explora la jerarquía durante el entrenamiento y el tiempo de inferencia de manera consistente y toma decisiones interdependientes. Como marco general, HiLAP puede incorporar diferentes codificadores neuronales como modelos base para el entrenamiento de extremo a extremo. Los experimentos en cinco conjuntos de datos públicos y cuatro modelos base muestran que HiLAP produce una mejora promedio del 33.4% en Macro-F1 sobre los clasificadores planos y supera a los métodos HTC de última generación por un amplio margen. 1Files
D19-1042.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تصنيف النص الهرمي مع تعيين التسمية المعززة
- Translated title (French)
- Classification hiérarchique des textes avec attribution d'étiquettes renforcée
- Translated title (Spanish)
- Clasificación jerárquica de texto con asignación de etiquetas reforzada
Identifiers
- Other
- https://openalex.org/W2970390610
- DOI
- 10.18653/v1/d19-1042
References
- https://openalex.org/W1590163898
- https://openalex.org/W1620204465
- https://openalex.org/W1643574276
- https://openalex.org/W1832693441
- https://openalex.org/W1967542092
- https://openalex.org/W1977224551
- https://openalex.org/W2014566476
- https://openalex.org/W2025047573
- https://openalex.org/W2106667958
- https://openalex.org/W2117225622
- https://openalex.org/W2119717200
- https://openalex.org/W2127723919
- https://openalex.org/W2132826100
- https://openalex.org/W2137165876
- https://openalex.org/W2137810087
- https://openalex.org/W2150102617
- https://openalex.org/W2150766729
- https://openalex.org/W2157438458
- https://openalex.org/W2171066191
- https://openalex.org/W2250539671
- https://openalex.org/W2265846598
- https://openalex.org/W2428528690
- https://openalex.org/W2470673105
- https://openalex.org/W2520368209
- https://openalex.org/W2739996966
- https://openalex.org/W2788667846
- https://openalex.org/W2803270043
- https://openalex.org/W2890931111
- https://openalex.org/W2963084599
- https://openalex.org/W2963173796
- https://openalex.org/W2963385935
- https://openalex.org/W2963921497
- https://openalex.org/W3010318089
- https://openalex.org/W3158986179
- https://openalex.org/W4297734170
- https://openalex.org/W756166754