Published November 30, 2023 | Version v1
Publication Open

Do CONTRIBUTING Files Provide Information about OSS Newcomers' Onboarding Barriers?

Creators

  • 1. Virginia Commonwealth University
  • 2. Louisiana State University
  • 3. Universidade Tecnológica Federal do Paraná
  • 4. University of Melbourne
  • 5. Northern Arizona University

Description

Effectively onboarding newcomers is essential for the success of open source projects. These projects often provide onboarding guidelines in their 'CONTRIBUTING' files (e.g., CONTRIBUTING.md on GitHub). These files explain, for example, how to find open tasks, implement solutions, and submit code for review. However, these files often do not follow a standard structure, can be too large, and miss barriers commonly found by newcomers. In this paper, we propose an automated approach to parse these CONTRIBUTING files and assess how they address onboarding barriers. We manually classified a sample of files according to a model of onboarding barriers from the literature, trained a machine learning classifier that automatically predicts the categories of each paragraph (precision: 0.655, recall: 0.662), and surveyed developers to investigate their perspective of the predictions' adequacy (75% of the predictions were considered adequate). We found that CONTRIBUTING files typically do not cover the barriers newcomers face (52% of the analyzed projects missed at least 3 out of the 6 barriers faced by newcomers; 84% missed at least 2). Our analysis also revealed that information about choosing a task and talking with the community, two of the most recurrent barriers newcomers face, are neglected in more than 75% of the projects. We made available our classifier as an online service that analyzes the content of a given CONTRIBUTING file. Our approach may help community builders identify missing information in the project ecosystem they maintain and newcomers can understand what to expect in CONTRIBUTING files.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

يعد تأهيل الوافدين الجدد بشكل فعال أمرًا ضروريًا لنجاح المشاريع مفتوحة المصدر. غالبًا ما توفر هذه المشاريع إرشادات التأهيل لبدء العمل في ملفاتها "المساهمة" (على سبيل المثال، CONTRIBUTING.md على GitHub). تشرح هذه الملفات، على سبيل المثال، كيفية العثور على المهام المفتوحة وتنفيذ الحلول وتقديم التعليمات البرمجية للمراجعة. ومع ذلك، غالبًا ما لا تتبع هذه الملفات بنية قياسية، ويمكن أن تكون كبيرة جدًا، وتفوت الحواجز التي عادة ما يجدها الوافدون الجدد. في هذه الورقة، نقترح نهجًا آليًا لتحليل هذه الملفات المساهمة وتقييم كيفية معالجتها لحواجز التأهيل لبدء العمل. قمنا بتصنيف عينة من الملفات يدويًا وفقًا لنموذج حواجز التأهيل لبدء العمل من الأدبيات، ودربنا مصنفًا للتعلم الآلي يتنبأ تلقائيًا بفئات كل فقرة (الدقة: 0.655، التذكير: 0.662)، واستطلعنا آراء المطورين للتحقيق في وجهة نظرهم حول مدى كفاية التنبؤات (75 ٪ من التنبؤات اعتبرت كافية). وجدنا أن المساهمة بالملفات لا تغطي عادة الحواجز التي يواجهها الوافدون الجدد (52 ٪ من المشاريع التي تم تحليلها غابت عن 3 على الأقل من أصل 6 حواجز يواجهها الوافدون الجدد ؛ 84 ٪ غابت عن 2 على الأقل). وكشف تحليلنا أيضًا أن المعلومات حول اختيار مهمة والتحدث مع المجتمع، وهما من أكثر العوائق المتكررة التي يواجهها الوافدون الجدد، مهملة في أكثر من 75 ٪ من المشاريع. لقد جعلنا مصنفنا متاحًا كخدمة عبر الإنترنت تحلل محتوى ملف مساهم معين. قد يساعد نهجنا بناة المجتمع على تحديد المعلومات المفقودة في النظام البيئي للمشروع الذي يحتفظون به ويمكن للقادمين الجدد فهم ما يمكن توقعه في الملفات المساهمة.

Translated Description (French)

L'intégration efficace des nouveaux arrivants est essentielle à la réussite des projets open source. Ces projets fournissent souvent des directives d'intégration dans leurs fichiers de « CONTRIBUTION » (par exemple, CONTRIBUTING.md sur GitHub). Ces fichiers expliquent, par exemple, comment trouver des tâches ouvertes, mettre en œuvre des solutions et soumettre du code pour examen. Cependant, ces fichiers ne suivent souvent pas une structure standard, peuvent être trop volumineux et passent à côté des obstacles couramment rencontrés par les nouveaux arrivants. Dans cet article, nous proposons une approche automatisée pour analyser ces fichiers CONTRIBUTIFS et évaluer comment ils abordent les obstacles à l'intégration. Nous avons classé manuellement un échantillon de fichiers selon un modèle d'obstacles à l'intégration tiré de la littérature, formé un classificateur d'apprentissage automatique qui prédit automatiquement les catégories de chaque paragraphe (précision : 0,655, rappel : 0,662) et interrogé les développeurs pour étudier leur point de vue sur l'adéquation des prédictions (75 % des prédictions ont été jugées adéquates). Nous avons constaté que les fichiers de CONTRIBUTION ne couvrent généralement pas les obstacles auxquels les nouveaux arrivants sont confrontés (52 % des projets analysés ont manqué au moins 3 des 6 obstacles rencontrés par les nouveaux arrivants ; 84 % en ont manqué au moins 2). Notre analyse a également révélé que les informations sur le choix d'une tâche et la discussion avec la communauté, deux des obstacles les plus récurrents auxquels les nouveaux arrivants sont confrontés, sont négligées dans plus de 75 % des projets. Nous avons mis à disposition notre classificateur en tant que service en ligne qui analyse le contenu d'un fichier CONTRIBUTIF donné. Notre approche peut aider les bâtisseurs de communauté à identifier les informations manquantes dans l'écosystème de projet qu'ils maintiennent et les nouveaux arrivants peuvent comprendre à quoi s'attendre en CONTRIBUANT aux fichiers.

Translated Description (Spanish)

La incorporación efectiva de los recién llegados es esencial para el éxito de los proyectos de código abierto. Estos proyectos a menudo proporcionan pautas de incorporación en sus archivos de "CONTRIBUCIÓN" (por ejemplo, CONTRIBUTING.md en GitHub). Estos archivos explican, por ejemplo, cómo encontrar tareas abiertas, implementar soluciones y enviar código para su revisión. Sin embargo, estos archivos a menudo no siguen una estructura estándar, pueden ser demasiado grandes y pasan por alto las barreras que comúnmente encuentran los recién llegados. En este documento, proponemos un enfoque automatizado para analizar estos archivos CONTRIBUYENTES y evaluar cómo abordan las barreras de incorporación. Clasificamos manualmente una muestra de archivos de acuerdo con un modelo de barreras de incorporación de la literatura, entrenamos un clasificador de aprendizaje automático que predice automáticamente las categorías de cada párrafo (precisión: 0.655, memoria: 0.662) y encuestamos a los desarrolladores para investigar su perspectiva de la adecuación de las predicciones (el 75% de las predicciones se consideraron adecuadas). Encontramos que los archivos CONTRIBUYENTES generalmente no cubren las barreras que enfrentan los recién llegados (el 52% de los proyectos analizados omitieron al menos 3 de las 6 barreras que enfrentan los recién llegados; el 84% omitió al menos 2). Nuestro análisis también reveló que la información sobre la elección de una tarea y hablar con la comunidad, dos de las barreras más recurrentes que enfrentan los recién llegados, se descuida en más del 75% de los proyectos. Pusimos a disposición nuestro clasificador como un servicio en línea que analiza el contenido de un archivo CONTRIBUYENTE determinado. Nuestro enfoque puede ayudar a los creadores de comunidades a identificar la información faltante en el ecosistema del proyecto que mantienen y los recién llegados pueden entender qué esperar en los archivos que CONTRIBUYEN.

Files

3611643.3616288.pdf

Files (517.5 kB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:b8741957cffe57317303ee5c0a9283c0
517.5 kB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
هل توفر الملفات المساهمة معلومات حول حواجز انضمام الوافدين الجدد إلى برمجيات المصدر المفتوح ؟
Translated title (French)
Les fichiers de CONTRIBUTION fournissent-ils des informations sur les obstacles à l'intégration des nouveaux arrivants OSS ?
Translated title (Spanish)
¿Los archivos QUE CONTRIBUYEN proporcionan información sobre las barreras de incorporación de los recién llegados a OSS?

Identifiers

Other
https://openalex.org/W4389162353
DOI
10.1145/3611643.3616288

Is supplement to
https://openalex.org/W4383749540 (Other)
https://openalex.org/W4297808784 (Other)
https://openalex.org/W3161889546 (Other)
https://openalex.org/W3133615992 (Other)
https://openalex.org/W3113058030 (Other)
https://openalex.org/W3067217073 (Other)
https://openalex.org/W3037615466 (Other)
https://openalex.org/W3008854194 (Other)
https://openalex.org/W2766067679 (Other)
https://openalex.org/W2748952813 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Brazil

References

  • https://openalex.org/W1771557598
  • https://openalex.org/W1975782063
  • https://openalex.org/W1989526951
  • https://openalex.org/W2028777943
  • https://openalex.org/W2058306311
  • https://openalex.org/W2071255138
  • https://openalex.org/W2077927542
  • https://openalex.org/W2082539579
  • https://openalex.org/W2098544808
  • https://openalex.org/W2123834217
  • https://openalex.org/W2126574721
  • https://openalex.org/W2139313666
  • https://openalex.org/W2142958724
  • https://openalex.org/W2143017621
  • https://openalex.org/W2203872619
  • https://openalex.org/W2394834103
  • https://openalex.org/W2411980894
  • https://openalex.org/W2440056063
  • https://openalex.org/W2522186013
  • https://openalex.org/W2619400223
  • https://openalex.org/W2739693438
  • https://openalex.org/W2765904839
  • https://openalex.org/W2767563557
  • https://openalex.org/W2769536523
  • https://openalex.org/W2774526117
  • https://openalex.org/W2783990487
  • https://openalex.org/W2794967409
  • https://openalex.org/W2808155935
  • https://openalex.org/W2884512787
  • https://openalex.org/W2904867836
  • https://openalex.org/W2946270456
  • https://openalex.org/W2955439455
  • https://openalex.org/W2963889172
  • https://openalex.org/W2992895209
  • https://openalex.org/W2997591727
  • https://openalex.org/W3014875928
  • https://openalex.org/W3017034177
  • https://openalex.org/W3020976332
  • https://openalex.org/W3088041916
  • https://openalex.org/W3100550131
  • https://openalex.org/W3101835033
  • https://openalex.org/W3132736587
  • https://openalex.org/W3163740924
  • https://openalex.org/W3187038508
  • https://openalex.org/W3202191909
  • https://openalex.org/W4206653641
  • https://openalex.org/W4253578565
  • https://openalex.org/W4296422554
  • https://openalex.org/W4299828299
  • https://openalex.org/W4310581300
  • https://openalex.org/W4328022788
  • https://openalex.org/W4384026759
  • https://openalex.org/W4384345668