Published January 1, 2017
| Version v1
Publication
Open
A Soft-label Method for Noise-tolerant Distantly Supervised Relation Extraction
Description
Distant-supervised relation extraction inevitably suffers from wrong labeling problems because it heuristically labels relational facts with knowledge bases.Previous sentence level denoise models don't achieve satisfying performances because they use hard labels which are determined by distant supervision and immutable during training.To this end, we introduce an entity-pair level denoise method which exploits semantic information from correctly labeled entity pairs to correct wrong labels dynamically during training.We propose a joint score function which combines the relational scores based on the entity-pair representation and the confidence of the hard label to obtain a new label, namely a soft label, for certain entity pair.During training, soft labels instead of hard labels serve as gold labels.Experiments on the benchmark dataset show that our method dramatically reduces noisy instances and outperforms the state-of-the-art systems.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يعاني استخراج العلاقة الخاضع للإشراف عن بعد حتماً من مشاكل وضع العلامات الخاطئة لأنه يصنف بشكل إرشادي الحقائق العلائقية مع قواعد المعرفة. لا تحقق نماذج إزالة التشويش على مستوى الجملة السابقة أداءً مرضيًا لأنها تستخدم تسميات صلبة يتم تحديدها عن طريق الإشراف البعيد وغير قابلة للتغيير أثناء التدريب. تحقيقا لهذه الغاية، نقدم طريقة إزالة التشويش على مستوى زوج الكيان والتي تستغل المعلومات الدلالية من أزواج الكيانات المصنفة بشكل صحيح لتصحيح التسميات الخاطئة ديناميكيًا أثناء التدريب. نقترح وظيفة درجة مشتركة تجمع بين الدرجات العلائقية بناءً على تمثيل زوج الكيان وثقة الملصق الثابت للحصول على ملصق جديد، وهو ملصق ناعم، لزوج كيان معين. خلال التدريب، تعمل الملصقات الناعمة بدلاً من الملصقات الصلبة بمثابة ملصقات ذهبية. تظهر التجارب على مجموعة البيانات المعيارية أن طريقتنا تقلل بشكل كبير من الحالات الصاخبة وتتفوق على أحدث الأنظمة.Translated Description (French)
L'extraction de relations supervisées à distance souffre inévitablement de problèmes d'étiquetage erronés car elle étiquette heuristiquement les faits relationnels avec des bases de connaissances. Les modèles de dénoise au niveau des phrases précédentes n'atteignent pas des performances satisfaisantes car ils utilisent des étiquettes dures qui sont déterminées par la supervision à distance et immuables pendant la formation. À cette fin, nous introduisons une méthode de dénoise au niveau des paires d'entités qui exploite les informations sémantiques des paires d'entités correctement étiquetées pour corriger dynamiquement les étiquettes erronées pendant la formation. Nous proposons une fonction de score conjointe qui combine les scores relationnels basés sur la représentation des paires d'entités et la confiance de l'étiquette dure pour obtenir une nouvelle étiquette, à savoir une étiquette souple, pour certaines paires d'entités. Pendant la formation, les étiquettes souples au lieu des étiquettes dures servent d'étiquettes dorées. Les expériences sur l'ensemble de données de référence montrent que notre méthode réduit considérablement les instances bruyantes et surpasse les systèmes de pointe.Translated Description (Spanish)
La extracción de relaciones supervisadas a distancia inevitablemente sufre de problemas de etiquetado incorrectos porque etiqueta heurísticamente los hechos relacionales con bases de conocimiento. Los modelos de eliminación de nivel de oración anterior no logran rendimientos satisfactorios porque usan etiquetas duras que están determinadas por la supervisión a distancia e inmutables durante el entrenamiento. Con este fin, introducimos un método de eliminación de nivel de par de entidades que explota la información semántica de los pares de entidades correctamente etiquetados para corregir las etiquetas incorrectas dinámicamente durante el entrenamiento. Proponemos una función de puntuación conjunta que combina las puntuaciones relacionales basadas en la representación del par de entidades y la confianza de la etiqueta dura para obtener una nueva etiqueta, es decir, una etiqueta blanda, para cierto par de entidades. Durante el entrenamiento, las etiquetas blandas en lugar de las etiquetas duras sirven como etiquetas de oro. Los experimentos en el conjunto de datos de referencia muestran que nuestro método reduce drásticamente las instancias ruidosas y supera los sistemas de vanguardia.Files
D17-1189.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- طريقة التسمية اللينة لاستخراج العلاقة تحت الإشراف عن بعد المتسامح مع الضوضاء
- Translated title (French)
- Une méthode d'étiquetage souple pour l'extraction de relation supervisée à distance et tolérante au bruit
- Translated title (Spanish)
- Un método de etiqueta suave para la extracción de relación supervisada a distancia tolerante al ruido
Identifiers
- Other
- https://openalex.org/W2759996146
- DOI
- 10.18653/v1/d17-1189
References
- https://openalex.org/W1604644367
- https://openalex.org/W174427690
- https://openalex.org/W2094728533
- https://openalex.org/W2104411075
- https://openalex.org/W2107598941
- https://openalex.org/W2132679783
- https://openalex.org/W2250265269
- https://openalex.org/W2250521169
- https://openalex.org/W2251135946
- https://openalex.org/W2515462165
- https://openalex.org/W2604610161