Published January 1, 2019
| Version v1
Publication
Open
UER: An Open-Source Toolkit for Pre-training Models
Creators
- 1. Renmin University of China
- 2. Tencent (China)
- 3. Peking University
Description
Existing works, including ELMO and BERT, have revealed the importance of pre-training for NLP tasks.While there does not exist a single pre-training model that works best in all cases, it is of necessity to develop a framework that is able to deploy various pre-training models efficiently.For this purpose, we propose an assemble-on-demand pre-training toolkit, namely Universal Encoder Representations (UER).UER is loosely coupled, and encapsulated with rich modules.By assembling modules on demand, users can either reproduce a state-of-the-art pre-training model or develop a pre-training model that remains unexplored.With UER, we have built a model zoo, which contains pre-trained models based on different corpora, encoders, and targets (objectives).With proper pre-trained models, we could achieve new state-of-the-art results on a range of downstream datasets.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
كشفت الأعمال الحالية، بما في ذلك إلمو وبيرت، عن أهمية التدريب المسبق لمهام البرمجة اللغوية العصبية. على الرغم من عدم وجود نموذج واحد للتدريب المسبق يعمل بشكل أفضل في جميع الحالات، إلا أنه من الضروري تطوير إطار قادر على نشر مختلف نماذج ما قبل التدريب بكفاءة. لهذا الغرض، نقترح مجموعة أدوات ما قبل التدريب عند الطلب، وهي تمثيلات التشفير العالمية (UER). يقترن UER بشكل فضفاض، ومغلف بوحدات غنية. من خلال تجميع الوحدات النمطية عند الطلب، يمكن للمستخدمين إما إعادة إنتاج نموذج ما قبل التدريب المتطور أو تطوير نموذج ما قبل التدريب الذي لا يزال غير مستكشف. مع UER، قمنا ببناء حديقة حيوانات نموذجية، والتي تحتوي على نماذج مدربة مسبقًا تعتمد على مجموعات مختلفة، ومشفرات، وأهداف (أهداف). مع نماذج مناسبة مدربة مسبقًا، يمكننا تحقيق نتائج جديدة على مجموعة من مجموعات البيانات النهائية.Translated Description (French)
Les travaux existants, y compris ELMO et BERT, ont révélé l'importance de la pré-formation pour les tâches de PNL. Bien qu'il n'existe pas un seul modèle de pré-formation qui fonctionne le mieux dans tous les cas, il est nécessaire de développer un cadre capable de déployer efficacement divers modèles de pré-formation. À cette fin, nous proposons une boîte à outils de pré-formation à assembler à la demande, à savoir Universal Encoder Representations (UER). UER est faiblement couplé et encapsulé avec des modules riches. En assemblant des modules à la demande, les utilisateurs peuvent reproduire un modèle de pré-formation de pointe ou développer un modèle de pré-formation qui reste inexploré. Avec UER, nous avons construit un modèle zoo, qui contient des modèles pré-entrainés basés sur différents corpus, codeurs et cibles (objectifs). Avec des modèles pré-entrainés appropriés, nous pourrions obtenir de nouveaux résultats de pointe sur une gamme d'ensembles de données en aval.Translated Description (Spanish)
Los trabajos existentes, incluidos ELMO y BERT, han revelado la importancia de la capacitación previa para las tareas de PNL. Si bien no existe un único modelo de capacitación previa que funcione mejor en todos los casos, es necesario desarrollar un marco que pueda implementar varios modelos de capacitación previa de manera eficiente. Para este propósito, proponemos un kit de herramientas de capacitación previa de ensamblaje bajo demanda, a saber, Representaciones de codificadores universales (UER). El UER está ligeramente acoplado y encapsulado con módulos ricos. Al ensamblar módulos bajo demanda, los usuarios pueden reproducir un modelo de capacitación previa de vanguardia o desarrollar un modelo de capacitación previa que permanece sin explorar. Con UER, hemos construido un zoológico modelo, que contiene modelos preentrenados basados en diferentes cuerpos, codificadores y objetivos (objetivos). Con modelos preentrenados adecuados, podríamos lograr nuevos resultados de vanguardia en una gama de conjuntos de datos posteriores.Files
D19-3041.pdf.pdf
Files
(226 Bytes)
| Name | Size | Download all |
|---|---|---|
|
md5:5360980bad11bf9723da89687501effc
|
226 Bytes | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- UER: مجموعة أدوات مفتوحة المصدر لنماذج ما قبل التدريب
- Translated title (French)
- UER : An Open-Source Toolkit for Pre-training Models
- Translated title (Spanish)
- UER: un conjunto de herramientas de código abierto para modelos de preentrenamiento
Identifiers
- Other
- https://openalex.org/W2970390493
- DOI
- 10.18653/v1/d19-3041
References
- https://openalex.org/W1486649854
- https://openalex.org/W1615991656
- https://openalex.org/W1832693441
- https://openalex.org/W2064675550
- https://openalex.org/W2153579005
- https://openalex.org/W2170973209
- https://openalex.org/W2743935014
- https://openalex.org/W2758816656
- https://openalex.org/W2933138175
- https://openalex.org/W2962739339
- https://openalex.org/W2963026768
- https://openalex.org/W2963186636
- https://openalex.org/W2963212250
- https://openalex.org/W2963310665
- https://openalex.org/W2963341956
- https://openalex.org/W2963403868
- https://openalex.org/W2963626623
- https://openalex.org/W2963644595
- https://openalex.org/W2963756346
- https://openalex.org/W2963918774
- https://openalex.org/W2964308564