Published January 1, 2022
| Version v1
Publication
Open
Unsupervised Dependency Graph Network
Creators
- 1. Centre Universitaire de Mila
- 2. Université de Montréal
- 3. Tencent (China)
- 4. Microsoft Research (United Kingdom)
- 5. Tsinghua University
Description
Recent work has identified properties of pretrained self-attention models that mirror those of dependency parse structures. In particular, some self-attention heads correspond well to individual dependency types. Inspired by these developments, we propose a new competitive mechanism that encourages these attention heads to model different dependency relations. We introduce a new model, the Unsupervised Dependency Graph Network (UDGN), that can induce dependency structures from raw corpora and the masked language modeling task. Experiment results show that UDGN achieves very strong unsupervised dependency parsing performance without gold POS tags and any other external information. The competitive gated heads show a strong correlation with human-annotated dependency types. Furthermore, the UDGN can also achieve competitive performance on masked language modeling and sentence textual similarity tasks.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
حددت الأعمال الحديثة خصائص نماذج الاهتمام الذاتي المدربة مسبقًا والتي تعكس تلك الخاصة بهياكل تحليل التبعية. على وجه الخصوص، تتوافق بعض رؤوس الانتباه الذاتي بشكل جيد مع أنواع التبعية الفردية. مستوحاة من هذه التطورات، نقترح آلية تنافسية جديدة تشجع على توجيه هذا الاهتمام لنمذجة علاقات التبعية المختلفة. نقدم نموذجًا جديدًا، شبكة الرسم البياني للتبعية غير الخاضعة للإشراف (UDGN)، والتي يمكن أن تحفز هياكل التبعية من المجاميع الأولية ومهمة نمذجة اللغة المقنعة. تُظهر نتائج التجربة أن UDGN تحقق أداءً قويًا للغاية في تحليل التبعية دون إشراف بدون علامات نقاط البيع الذهبية وأي معلومات خارجية أخرى. تُظهر الرؤوس ذات البوابات التنافسية ارتباطًا قويًا بأنواع التبعية المشروحة من قبل الإنسان. علاوة على ذلك، يمكن لـ UDGN أيضًا تحقيق أداء تنافسي في نمذجة اللغة المقنعة ومهام التشابه النصي للجمل.Translated Description (French)
Des travaux récents ont identifié des propriétés de modèles d'auto-attention pré-entraînés qui reflètent celles des structures d'analyse de dépendance. En particulier, certaines têtes d'auto-attention correspondent bien à des types de dépendance individuels. Inspirés par ces développements, nous proposons un nouveau mécanisme concurrentiel qui encourage ces têtes d'attention à modéliser différentes relations de dépendance. Nous introduisons un nouveau modèle, le Unsupervised Dependency Graph Network (UDGN), qui peut induire des structures de dépendance à partir de corpus bruts et de la tâche de modélisation du langage masqué. Les résultats de l'expérience montrent que l'UDGN atteint de très fortes performances d'analyse de dépendance non supervisée sans étiquettes de point de vente en or et toute autre information externe. Les têtes fermées compétitives montrent une forte corrélation avec les types de dépendance annotés par l'homme. En outre, l'UDGN peut également atteindre des performances compétitives sur des tâches de modélisation de langage masqué et de similarité textuelle de phrases.Translated Description (Spanish)
Trabajos recientes han identificado propiedades de modelos de autoatención preentrenados que reflejan las de las estructuras de análisis de dependencia. En particular, algunos jefes de autoatención se corresponden bien con los tipos de dependencia individuales. Inspirados en estos desarrollos, proponemos un nuevo mecanismo competitivo que incentive a estas cabezas de atención a modelar diferentes relaciones de dependencia. Introducimos un nuevo modelo, el Unsupervised Dependency Graph Network (UDGN), que puede inducir estructuras de dependencia a partir de corpus RAW y la tarea de modelado de lenguaje enmascarado. Los resultados del experimento muestran que UDGN logra un rendimiento de análisis de dependencia sin supervisión muy fuerte sin etiquetas pos de oro y cualquier otra información externa. Las cabezas cerradas competitivas muestran una fuerte correlación con los tipos de dependencia anotados por los humanos. Además, la UdGN también puede lograr un rendimiento competitivo en tareas de modelado de lenguaje enmascarado y similitud textual de oraciones.Files
2022.acl-long.327.pdf.pdf
Files
(1.1 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:05678e8d7f5e20f39e633014119f0312
|
1.1 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- شبكة الرسم البياني للتبعية غير الخاضعة للإشراف
- Translated title (French)
- Réseau de graphiques de dépendance non supervisé
- Translated title (Spanish)
- Red de gráficos de dependencia no supervisada
Identifiers
- Other
- https://openalex.org/W4285169662
- DOI
- 10.18653/v1/2022.acl-long.327
References
- https://openalex.org/W1574662932
- https://openalex.org/W1632114991
- https://openalex.org/W1977124973
- https://openalex.org/W2088672056
- https://openalex.org/W2104806460
- https://openalex.org/W2116341502
- https://openalex.org/W2123442489
- https://openalex.org/W2126400076
- https://openalex.org/W2133458109
- https://openalex.org/W2142708806
- https://openalex.org/W2149902104
- https://openalex.org/W2152180407
- https://openalex.org/W2163536689
- https://openalex.org/W2164910554
- https://openalex.org/W2169126000
- https://openalex.org/W2250790822
- https://openalex.org/W2251861449
- https://openalex.org/W2252238553
- https://openalex.org/W2462305634
- https://openalex.org/W2565877108
- https://openalex.org/W2566475580
- https://openalex.org/W2572905271
- https://openalex.org/W2787063232
- https://openalex.org/W2883510303
- https://openalex.org/W2888844359
- https://openalex.org/W2896457183
- https://openalex.org/W2948947170
- https://openalex.org/W2949399644
- https://openalex.org/W2949847915
- https://openalex.org/W2962788148
- https://openalex.org/W2963925437
- https://openalex.org/W2964198424
- https://openalex.org/W2965373594
- https://openalex.org/W2970597249
- https://openalex.org/W2971351900
- https://openalex.org/W2986267869
- https://openalex.org/W2987266335
- https://openalex.org/W2991265431
- https://openalex.org/W2991516293
- https://openalex.org/W2995923603
- https://openalex.org/W3016557243
- https://openalex.org/W3034510440
- https://openalex.org/W3035070476
- https://openalex.org/W3035740499
- https://openalex.org/W3091998909
- https://openalex.org/W3099862735
- https://openalex.org/W3112776819
- https://openalex.org/W3117738520
- https://openalex.org/W3117798239
- https://openalex.org/W3127742036
- https://openalex.org/W3156636935
- https://openalex.org/W3159616660
- https://openalex.org/W3167369375
- https://openalex.org/W3174040594
- https://openalex.org/W3176607063
- https://openalex.org/W3195577433
- https://openalex.org/W3206713041
- https://openalex.org/W4287300871
- https://openalex.org/W4289373464
- https://openalex.org/W4297733535
- https://openalex.org/W4313908941
- https://openalex.org/W4385245566