Published January 1, 2021
| Version v1
Publication
Open
Causal Direction of Data Collection Matters: Implications of Causal and Anticausal Learning for NLP
Creators
- 1. ETH Zurich
- 2. Max Planck Institute for Intelligent Systems
- 3. University of Cambridge
- 4. University College London
- 5. Indian Institute of Technology Kharagpur
Description
The principle of independent causal mechanisms (ICM) states that generative processes of real world data consist of independent modules which do not influence or inform each other.While this idea has led to fruitful developments in the field of causal inference, it is not widely-known in the NLP community.In this work, we argue that the causal direction of the data collection process bears nontrivial implications that can explain a number of published NLP findings, such as differences in semi-supervised learning (SSL) and domain adaptation (DA) performance across different settings.We categorize common NLP tasks according to their causal direction and empirically assay the validity of the ICM principle for text data using minimum description length.We conduct an extensive meta-analysis of over 100 published SSL and 30 DA studies, and find that the results are consistent with our expectations based on causal insights.This work presents the first attempt to analyze the ICM principle in NLP, and provides constructive suggestions for future modeling choices.
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
ينص مبدأ الآليات السببية المستقلة (ICM) على أن العمليات التوليدية لبيانات العالم الحقيقي تتكون من وحدات مستقلة لا تؤثر على بعضها البعض أو تبلغ بعضها البعض. في حين أدت هذه الفكرة إلى تطورات مثمرة في مجال الاستدلال السببي، إلا أنها ليست معروفة على نطاق واسع في مجتمع البرمجة اللغوية العصبية. في هذا العمل، نجادل بأن الاتجاه السببي لعملية جمع البيانات يحمل آثارًا غير بديهية يمكن أن تفسر عددًا من نتائج البرمجة اللغوية العصبية المنشورة، مثل الاختلافات في التعلم شبه الخاضع للإشراف (SSL) وأداء تكييف المجال (DA) عبر بيئات مختلفة. نحن نصنف مهام البرمجة اللغوية العصبية الشائعة وفقًا لاتجاهها السببي ونقيس تجريبيًا صحة مبدأ البرمجة اللغوية العصبية للبيانات النصية باستخدام الحد الأدنى من طول الوصف. نحن نجري تحليلًا تلويًا واسعًا لأكثر من 100 دراسة منشورة عن البرمجة اللغوية العصبية و 30 دراسة، ونجد أن النتائج تتفق مع توقعاتنا بناءً على الرؤى السببية. يقدم هذا العمل المحاولة الأولى لتحليل مبدأ البرمجة اللغوية العصبية، ويقدم اقتراحات بناءة لخيارات النمذجة المستقبلية.Translated Description (French)
Le principe des mécanismes causaux indépendants (ICM) stipule que les processus génératifs de données du monde réel se composent de modules indépendants qui ne s'influencent pas ou ne s'informent pas les uns les autres. Bien que cette idée ait conduit à des développements fructueux dans le domaine de l'inférence causale, elle n'est pas largement connue dans la communauté de la PNL. Dans ce travail, nous soutenons que la direction causale du processus de collecte de données a des implications non triviales qui peuvent expliquer un certain nombre de résultats publiés de la PNL, tels que des différences dans l'apprentissage semi-supervisé (SSL) et les performances d'adaptation du domaine (DA) dans différents contextes. Nous catégorisons les tâches communes de la PNL en fonction de leur direction causale et testons empiriquement la validité du principe ICM pour les données textuelles en utilisant une longueur minimale de description. Nous menons une méta-analyse approfondie de plus de 100 études SSL et 30 DA publiées, et constatons que les résultats sont conformes à nos attentes basées sur des idées causales. Ce travail présente la première tentative d'analyse du principe ICM en PNL et fournit des suggestions constructives pour les futurs choix de modèles.Translated Description (Spanish)
El principio de mecanismos causales independientes (MIC) establece que los procesos generativos de datos del mundo real consisten en módulos independientes que no influyen ni se informan entre sí. Si bien esta idea ha llevado a desarrollos fructíferos en el campo de la inferencia causal, no es ampliamente conocida en la comunidad de PNL. En este trabajo, argumentamos que la dirección causal del proceso de recopilación de datos tiene implicaciones no triviales que pueden explicar una serie de hallazgos publicados de PNL, como las diferencias en el aprendizaje semisupervisado (SSL) y el rendimiento de adaptación de dominio (DA) en diferentes entornos. Categorizamos las tareas comunes de PNL de acuerdo con su dirección causal y analizamos empíricamente la validez del principio de MIC para datos de texto utilizando una longitud de descripción mínima. Realizamos un extenso metanálisis de más de 100 estudios publicados de SSL y 30 DA, y encontramos que los resultados son consistentes con nuestras expectativas basadas en ideas causales. Este trabajo presenta el primer intento de analizar el principio de MIC en PN, y proporciona sugerencias constructivas para futuras opciones de modelado.Files
2021.emnlp-main.748.pdf.pdf
Files
(657.7 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:07bc132c10b6873ea4e7f09bf33b8405
|
657.7 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- التوجيه السببي لمسائل جمع البيانات: الآثار المترتبة على التعلم السببي وما قبل السببي للبرمجة اللغوية العصبية
- Translated title (French)
- La direction causale de la collecte de données compte : Implications de l'apprentissage causal et anticausal pour la PNL
- Translated title (Spanish)
- Dirección causal de los asuntos de recopilación de datos: implicaciones del aprendizaje causal y anticausal para la PNL
Identifiers
- Other
- https://openalex.org/W3204920203
- DOI
- 10.18653/v1/2021.emnlp-main.748
References
- https://openalex.org/W2025768430
- https://openalex.org/W2037603696
- https://openalex.org/W2048679005
- https://openalex.org/W2095844573
- https://openalex.org/W2132119275
- https://openalex.org/W2133556223
- https://openalex.org/W2157331557
- https://openalex.org/W2513458147
- https://openalex.org/W2561274697
- https://openalex.org/W2739858629
- https://openalex.org/W2773436024
- https://openalex.org/W2949973181
- https://openalex.org/W2950339735
- https://openalex.org/W2963101081
- https://openalex.org/W2963748441
- https://openalex.org/W2970038984
- https://openalex.org/W2979826702
- https://openalex.org/W3034716087
- https://openalex.org/W3035013535
- https://openalex.org/W3035083705
- https://openalex.org/W3099396524
- https://openalex.org/W3104235057
- https://openalex.org/W3104976898
- https://openalex.org/W3114610051
- https://openalex.org/W4233639450