Published January 1, 2021
| Version v1
Publication
Open
Fine-grained Entity Typing without Knowledge Base
- 1. University of California, Santa Barbara
- 2. Peking University
- 3. Tencent (China)
Description
Existing work on Fine-grained Entity Typing (FET) typically trains automatic models on the datasets obtained by using Knowledge Bases (KB) as distant supervision.However, the reliance on KB means this training setting can be hampered by the lack of or the incompleteness of the KB.To alleviate this limitation, we propose a novel setting for training FET models: FET without accessing any knowledge base.Under this setting, we propose a two-step framework to train FET models.In the first step, we automatically create pseudo data with fine-grained labels from a large unlabeled dataset.Then a neural network model is trained based on the pseudo data, either in an unsupervised way or using self-training under the weak guidance from a coarse-grained Named Entity Recognition (NER) model.Experimental results show that our method achieves competitive performance with respect to the models trained on the original KB-supervised datasets.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
عادةً ما يقوم العمل الحالي على طباعة الكيانات الدقيقة (FET) بتدريب النماذج التلقائية على مجموعات البيانات التي تم الحصول عليها باستخدام قواعد المعرفة (KB) كإشراف بعيد. ومع ذلك، فإن الاعتماد على KB يعني أن إعداد التدريب هذا يمكن إعاقته بسبب نقص أو عدم اكتمال KB. للتخفيف من هذا القيد، نقترح إعدادًا جديدًا لتدريب نماذج FET: FET دون الوصول إلى أي قاعدة معرفية. في إطار هذا الإعداد، نقترح إطارًا من خطوتين لتدريب نماذج FET. في الخطوة الأولى، نقوم تلقائيًا بإنشاء بيانات زائفة مع تسميات دقيقة من مجموعة بيانات كبيرة غير مسماة. ثم يتم تدريب نموذج شبكة عصبية بناءً على البيانات الزائفة، إما بطريقة غير خاضعة للرقابة أو باستخدام التدريب الذاتي تحت التوجيه الضعيف من نموذج التعرف على الكيان المسمى ذي الحبيبات الخشنة (NER). تظهر النتائج التجريبية أن طريقتنا تحقق الأداء التنافسي مع النماذج المدربة على Ksuperized الأصلية.Translated Description (French)
Les travaux existants sur le typage d'entités à grain fin (FET) entraînent généralement des modèles automatiques sur les ensembles de données obtenus en utilisant des bases de connaissances (KB) comme supervision à distance. Cependant, la dépendance à l'égard de KB signifie que ce paramètre de formation peut être entravé par l'absence ou l'incomplétude du KB.Pour atténuer cette limitation, nous proposons un nouveau paramètre pour la formation des modèles FET : FET sans accéder à aucune base de connaissances. Dans ce cadre, nous proposons un cadre en deux étapes pour former les modèles FET. Dans la première étape, nous créons automatiquement des pseudo-données avec des étiquettes à grain fin à partir d'un grand ensemble de données non étiquetées. Ensuite, un modèle de réseau neuronal est formé sur la base des pseudo-données, soit de manière non supervisée, soit en utilisant l'auto-formation sous le faible guidage d'un modèle de reconnaissance d'entités nommées (ner) à grain grossier. Les résultats expérimentaux montrent que notre méthode atteint des performances compétitives par rapport aux modèles formés sur les ensembles de données supervisés par KB originaux.Translated Description (Spanish)
El trabajo existente sobre la tipificación de entidades (FET) de grano fino generalmente entrena modelos automáticos en los conjuntos de datos obtenidos mediante el uso de bases de conocimiento (KB) como supervisión a distancia. Sin embargo, la dependencia de KB significa que esta configuración de capacitación puede verse obstaculizada por la falta o el carácter incompleto de la KB. Para aliviar esta limitación, proponemos una configuración novedosa para entrenar modelos FET: FET sin acceder a ninguna base de conocimiento. Bajo esta configuración, proponemos un marco de dos pasos para entrenar modelos FET. En el primer paso, creamos automáticamente pseudodatos con etiquetas de grano fino a partir de un gran conjunto de datos sin etiquetar. Luego, se entrena un modelo de red neuronal basado en los pseudodatos, ya sea de forma no supervisada o utilizando autoformación bajo la guía débil de un modelo de reconocimiento de entidades con nombre (Ner) de grano grueso. Los resultados experimentales muestran que nuestro método logra un rendimiento competitivo con respecto a los modelos entrenados en los conjuntos de datos originales supervisados por KB.Files
2021.emnlp-main.431.pdf.pdf
Files
(945.6 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:2a73712a8429e60604f9e25239a5c5d0
|
945.6 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- كتابة الكيانات الدقيقة بدون قاعدة معرفية
- Translated title (French)
- Typage d'entités à grain fin sans base de connaissances
- Translated title (Spanish)
- Tipificación de entidades de grano fino sin base de conocimientos
Identifiers
- Other
- https://openalex.org/W4205882439
- DOI
- 10.18653/v1/2021.emnlp-main.431