Published January 1, 2016
| Version v1
Publication
Open
Issues in evaluating semantic spaces using word analogies
Creators
- 1. École Normale Supérieure - PSL
- 2. Université Paris Sciences et Lettres
- 3. École Normale Supérieure
Description
The offset method for solving word analogies has become a standard evaluation tool for vector-space semantic models: it is considered desirable for a space to represent semantic relations as consistent vector offsets.We show that the method's reliance on cosine similarity conflates offset consistency with largely irrelevant neighborhood structure, and propose simple baselines that should be used to improve the utility of the method in vector space evaluation.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
أصبحت طريقة الإزاحة لحل تشبيهات الكلمات أداة تقييم قياسية للنماذج الدلالية للفضاء المتجه: يُعتبر من المرغوب فيه أن تمثل المساحة العلاقات الدلالية كإزاحة متسقة للمتجه. نوضح أن اعتماد الطريقة على تشابه جيب التمام يخلط بين اتساق الإزاحة وهيكل الحي غير ذي الصلة إلى حد كبير، ونقترح خطوط أساس بسيطة يجب استخدامها لتحسين فائدة الطريقة في تقييم الفضاء المتجه.Translated Description (French)
La méthode de décalage pour résoudre des analogies de mots est devenue un outil d'évaluation standard pour les modèles sémantiques d'espace vectoriel : il est considéré comme souhaitable qu'un espace représente des relations sémantiques en tant que décalages vectoriels cohérents. Nous montrons que la dépendance de la méthode à la similarité cosinus confond la cohérence de décalage avec une structure de voisinage largement non pertinente, et proposons des lignes de base simples qui devraient être utilisées pour améliorer l'utilité de la méthode dans l'évaluation de l'espace vectoriel.Translated Description (Spanish)
El método de desplazamiento para resolver analogías de palabras se ha convertido en una herramienta de evaluación estándar para modelos semánticos de espacio vectorial: se considera deseable que un espacio represente relaciones semánticas como desplazamientos vectoriales consistentes. Mostramos que la dependencia del método en la similitud de coseno combina la coherencia de desplazamiento con una estructura de vecindario en gran medida irrelevante, y proponemos líneas de base simples que deberían usarse para mejorar la utilidad del método en la evaluación del espacio vectorial.Files
W16-2503.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- مشاكل في تقييم المساحات الدلالية باستخدام تشبيهات الكلمات
- Translated title (French)
- Problèmes d'évaluation des espaces sémantiques à l'aide d'analogies de mots
- Translated title (Spanish)
- Problemas en la evaluación de espacios semánticos utilizando analogías de palabras
Identifiers
- Other
- https://openalex.org/W2963176474
- DOI
- 10.18653/v1/w16-2503
References
- https://openalex.org/W1503259811
- https://openalex.org/W1614298861
- https://openalex.org/W1615991656
- https://openalex.org/W1662133657
- https://openalex.org/W1836521361
- https://openalex.org/W2051123508
- https://openalex.org/W2141599568
- https://openalex.org/W2153579005
- https://openalex.org/W2155870214
- https://openalex.org/W2250189634
- https://openalex.org/W2252211741
- https://openalex.org/W2460442863
- https://openalex.org/W2509570823
- https://openalex.org/W2577221992
- https://openalex.org/W2740606810
- https://openalex.org/W3099386342