Published January 1, 2022
| Version v1
Publication
Open
Supervised Contrastive Learning as Multi-Objective Optimization for Fine-Tuning Large Pre-trained Language Models
Description
Recently, Supervised Contrastive Learning (SCL) has been shown to achieve excellent performance in most classification tasks. In SCL, a neural network is trained to optimize two objectives: pull an anchor and positive samples together in the embedding space, and push the anchor apart from the negatives. However, these two different objectives may conflict, requiring trade-offs between them during optimization. In this work, we formulate the SCL problem as a Multi-Objective Optimization problem for the fine-tuning phase of RoBERTa language model. Two methods are utilized to solve the optimization problem: (i) the linear scalarization (LS) method, which minimizes a weighted linear combination of pertask losses; and (ii) the Exact Pareto Optimal (EPO) method which finds the intersection of the Pareto front with a given preference vector. We evaluate our approach on several GLUE benchmark tasks, without using data augmentations, memory banks, or generating adversarial examples. The empirical results show that the proposed learning strategy significantly outperforms a strong competitive contrastive learning baseline
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
في الآونة الأخيرة، ثبت أن التعلم التباين الخاضع للإشراف (SCL) يحقق أداءً ممتازًا في معظم مهام التصنيف. في SCL، يتم تدريب الشبكة العصبية لتحسين هدفين: سحب المرساة والعينات الإيجابية معًا في مساحة التضمين، ودفع المرساة بعيدًا عن السلبيات. ومع ذلك، قد يتعارض هذان الهدفان المختلفان، مما يتطلب مقايضات بينهما أثناء التحسين. في هذا العمل، نقوم بصياغة مشكلة SCL كمشكلة تحسين الأهداف المتعددة لمرحلة الضبط الدقيق لنموذج لغة RoBERTa. يتم استخدام طريقتين لحل مشكلة التحسين: (1) طريقة التدرج الخطي (LS)، والتي تقلل من تركيبة خطية مرجحة من خسائر بيرتاسك ؛ و (2) طريقة بالضبط باريتو الأمثل (EPO) التي تجد تقاطع جبهة باريتو مع متجه تفضيل معين. نقوم بتقييم نهجنا في العديد من المهام المعيارية الغراء، دون استخدام زيادة البيانات أو بنوك الذاكرة أو توليد أمثلة عدائية. تُظهر النتائج التجريبية أن استراتيجية التعلم المقترحة تتفوق بشكل كبير على خط أساس تعليمي تنافسي تنافسي قويTranslated Description (French)
Récemment, il a été démontré que l'apprentissage contrastif supervisé (SCL) permet d'obtenir d'excellentes performances dans la plupart des tâches de classification. Dans SCL, un réseau de neurones est formé pour optimiser deux objectifs : tirer un ancrage et des échantillons positifs ensemble dans l'espace d'intégration, et pousser l'ancrage à l'écart des négatifs. Cependant, ces deux objectifs différents peuvent entrer en conflit, nécessitant des compromis entre eux lors de l'optimisation. Dans ce travail, nous formulons le problème SCL comme un problème d'Optimisation Multi-Objective pour la phase de réglage fin du modèle de langage RoBERTa. Deux méthodes sont utilisées pour résoudre le problème d'optimisation : (i) la méthode de scalarisation linéaire (LS), qui minimise une combinaison linéaire pondérée de pertes pertask ; et (ii) la méthode Optimale de Pareto Exact (EPO) qui trouve l'intersection du front de Pareto avec un vecteur de préférence donné. Nous évaluons notre approche sur plusieurs tâches de référence de COLLE, sans utiliser d'augmentations de données, de banques de mémoire ou générer d'exemples contradictoires. Les résultats empiriques montrent que la stratégie d'apprentissage proposée surpasse de manière significative une base d'apprentissage contrastive compétitive solideTranslated Description (Spanish)
Recientemente, se ha demostrado que el Aprendizaje Contrastivo Supervisado (SCL) logra un excelente rendimiento en la mayoría de las tareas de clasificación. En SCL, una red neuronal está entrenada para optimizar dos objetivos: juntar un ancla y muestras positivas en el espacio de incrustación y separar el ancla de los negativos. Sin embargo, estos dos objetivos diferentes pueden entrar en conflicto, lo que requiere compensaciones entre ellos durante la optimización. En este trabajo, formulamos el problema SCL como un problema de optimización multiobjetivo para la fase de ajuste del modelo de lenguaje RoBERTa. Se utilizan dos métodos para resolver el problema de optimización: (i) el método de escalarización lineal (LS), que minimiza una combinación lineal ponderada de pérdidas por tarea; y (ii) el método Óptimo de Pareto Exacto (ePO), que encuentra la intersección del frente de Pareto con un vector de preferencia dado. Evaluamos nuestro enfoque en varias tareas de referencia de PEGAMENTO, sin usar aumentos de datos, bancos de memoria o generar ejemplos contradictorios. Los resultados empíricos muestran que la estrategia de aprendizaje propuesta supera significativamente una sólida línea de base de aprendizaje contrastivo competitivoFiles
PreprintXarch.pdf.pdf
Files
(667.3 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:b844800add9a7f0c347eda497e328acd
|
667.3 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- التعلم التباين الخاضع للإشراف كأمثلية متعددة الأهداف لضبط نماذج اللغة الكبيرة المدربة مسبقًا
- Translated title (French)
- Apprentissage contrastif supervisé en tant qu'optimisation multiobjective pour le réglage fin de grands modèles linguistiques pré-entraînés
- Translated title (Spanish)
- Aprendizaje contrastivo supervisado como optimización multiobjetivo para afinar grandes modelos de lenguaje preentrenados
Identifiers
- Other
- https://openalex.org/W4390853407
- DOI
- 10.48550/arxiv.2209.14161