Published January 1, 2022
| Version v1
Publication
Open
Knowledge Graph Embedding by Adaptive Limit Scoring Loss Using Dynamic Weighting Strategy
- 1. Peking University
Description
Knowledge graph embedding aims to represent entities and relations as low-dimensional vectors, which is an effective way for predicting missing links in knowledge graphs.Designing a strong and effective loss framework is essential for knowledge graph embedding models to distinguish between correct and incorrect triplets.The classic margin-based ranking loss limits the scores of positive and negative triplets to have a suitable margin.The recently proposed Limit-based Scoring Loss independently limits the range of positive and negative triplet scores.However, these loss frameworks use equal or fixed penalty terms to reduce the scores of positive and negative sample pairs, which is inflexible in optimization.Our intuition is that if a triplet score deviates far from the optimum, it should be emphasized.To this end, we propose Adaptive Limit Scoring Loss, which simply re-weights each triplet to highlight the less-optimized triplet scores.We apply this loss framework to several knowledge graph embedding models such as TransE, TransH and ComplEx.The experimental results on link prediction and triplet classification show that our proposed method has achieved performance on par with the state of the art.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
يهدف تضمين الرسم البياني المعرفي إلى تمثيل الكيانات والعلاقات كمتجهات منخفضة الأبعاد، وهي طريقة فعالة للتنبؤ بالروابط المفقودة في الرسوم البيانية المعرفية. يعد تصميم إطار خسارة قوي وفعال ضروريًا لنماذج تضمين الرسم البياني المعرفي للتمييز بين التوائم الثلاثة الصحيحة وغير الصحيحة. تحد الخسارة الكلاسيكية القائمة على الهامش من درجات التوائم الثلاثة الإيجابية والسلبية للحصول على هامش مناسب. يحد فقدان النقاط القائم على الحد المقترح مؤخرًا بشكل مستقل من نطاق الدرجات الثلاثية الإيجابية والسلبية. ومع ذلك، تستخدم أطر الخسارة هذه شروط جزائية متساوية أو ثابتة لتقليل درجات أزواج العينات الإيجابية والسلبية، وهي غير مرنة في التحسين. حدسنا هو أنه إذا انحرفت درجة ثلاثية عن المستوى الأمثل، فيجب التأكيد عليها. تحقيقا لهذه الغاية، نقترح خسارة تسجيل الحد التكيفي، والتي ببساطة تعيد ترجيح كل ثلاثة أضعاف لتسليط الضوء على الدرجات الثلاثية الأقل مثالية. نطبق إطار الخسارة هذا على العديد من نماذج تضمين الرسم البياني المعرفي مثل TransE و TransH و ComplEx. تظهر النتائج التجريبية على التنبؤ بالرابط والتصنيف الثلاثي أن طريقتنا المقترحة حققت أداءً على قدم المساواة مع أحدث ما توصل إليه العلم.Translated Description (French)
L'intégration de graphiques de connaissances vise à représenter les entités et les relations comme des vecteurs de faible dimension, ce qui est un moyen efficace de prédire les liens manquants dans les graphiques de connaissances. La conception d'un cadre de perte solide et efficace est essentielle pour que les modèles d'intégration de graphiques de connaissances fassent la distinction entre les triplets corrects et incorrects. La perte de classement classique basée sur la marge limite les scores des triplets positifs et négatifs pour avoir une marge appropriée. La perte de notation basée sur les limites récemment proposée limite indépendamment la plage des scores des triplets positifs et négatifs. Cependant, ces cadres de perte utilisent termes de pénalité égaux ou fixes pour réduire les scores des paires d'échantillons positifs et négatifs, ce qui est inflexible en optimisation. Notre intuition est que si un score triplet s'écarte loin de l'optimum, il convient de le souligner. À cette fin, nous proposons une perte de notation de limite adaptative, qui pondère simplement chaque triplet pour mettre en évidence les scores triplets moins optimisés. Nous appliquons ce cadre de perte à plusieurs modèles d'intégration de graphique de connaissances tels que TransE, TransH et ComplEx. Les résultats expérimentaux sur la prédiction de lien et la classification des triplets montrent que notre méthode proposée a atteint des performances égales à la état de l'art.Translated Description (Spanish)
La incorporación de gráficos de conocimiento tiene como objetivo representar entidades y relaciones como vectores de baja dimensión, que es una forma efectiva de predecir los eslabones faltantes en los gráficos de conocimiento. El diseño de un marco de pérdida sólido y efectivo es esencial para que los modelos de incorporación de gráficos de conocimiento distingan entre trillizos correctos e incorrectos. La clásica pérdida de clasificación basada en márgenes limita las puntuaciones de trillizos positivos y negativos para tener un margen adecuado. La pérdida de puntuación basada en límites recientemente propuesta limita de forma independiente el rango de puntuaciones de trillizos positivos y negativos. Sin embargo, estos marcos de pérdida utilizan términos de penalización iguales o fijos para reducir las puntuaciones de los pares de muestras positivas y negativas, lo cual es inflexible en la optimización. Nuestra intuición es que si una puntuación de triplete se desvía mucho de la óptima, debe enfatizarse. Con este fin, proponemos Adaptive Limit Scoring Loss, que simplemente vuelve a ponderar cada triplete para resaltar las puntuaciones de triplete menos optimizadas. Aplicamos este marco de pérdida a varios modelos de incrustación de gráficos de conocimiento como TransE, TransH y ComplEx. Los resultados experimentales sobre predicción de enlaces y clasificación de triplete muestran que nuestro método propuesto ha logrado un rendimiento a la par con el estado de la técnica.Files
2022.findings-acl.91.pdf.pdf
Files
(1.2 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:66e658824fb18947f9a55b2ff443ae5c
|
1.2 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- تضمين الرسم البياني المعرفي من خلال الحد التكيفي لخسارة النقاط باستخدام استراتيجية الترجيح الديناميكية
- Translated title (French)
- Intégration du graphique de connaissances par perte de notation de limite adaptative à l'aide de la stratégie de pondération dynamique
- Translated title (Spanish)
- Incorporación de gráficos de conocimiento mediante la pérdida de puntuación de límite adaptativo utilizando una estrategia de ponderación dinámica
Identifiers
- Other
- https://openalex.org/W4285110218
- DOI
- 10.18653/v1/2022.findings-acl.91