Published October 1, 2021
| Version v1
Publication
Open
Grey Literature in Software Engineering: A critical review
Creators
- 1. Federal Institute of Education, Science and Technology Alagoas
- 2. Universidade Federal de Pernambuco
- 3. Universidade Tecnológica Federal do Paraná
- 4. Instituto Federal da Bahia
- 5. Instituto Federal de Educação, Ciência e Tecnologia de Pernambuco
- 6. Universidade Católica de Pernambuco
- 7. Universidade Federal de Alagoas
- 8. Universidade Federal do Pará
Description
Grey Literature (GL) recently has grown in Software Engineering (SE) research since the increased use of online communication channels by software engineers. However, there is still a limited understanding of how SE research is taking advantage of GL. This research aimed to understand how SE researchers use GL in their secondary studies. We conducted a tertiary study of studies published between 2011 and 2018 in high-quality software engineering conferences and journals. We then applied qualitative and quantitative analysis to investigate 446 potential studies. From the 446 selected studies, 126 studies cited GL but only 95 of those used GL to answer a specific research question representing almost 21% of all the 446 secondary studies. Interestingly, we identified that few studies employed specific search mechanisms and used additional criteria for assessing GL. Moreover, by the time we conducted this research, 49% of the GL URLs are not working anymore. Based on our findings, we discuss some challenges in using GL and potential mitigation plans. In this paper, we summarized the last 10 years of software engineering research that uses GL, showing that GL has been essential for bringing practical new perspectives that are scarce in traditional literature. By drawing the current landscape of use, we also raise some awareness of related challenges (and strategies to deal with them).
Translated Descriptions
⚠️
This is an automatic machine translation with an accuracy of 90-95%
Translated Description (Arabic)
نما الأدب الرمادي (GL) مؤخرًا في أبحاث هندسة البرمجيات (SE) منذ زيادة استخدام قنوات الاتصال عبر الإنترنت من قبل مهندسي البرمجيات. ومع ذلك، لا يزال هناك فهم محدود لكيفية استفادة أبحاث جنوب شرق من دفتر الأستاذ العام. يهدف هذا البحث إلى فهم كيفية استخدام باحثي SE لدراساتهم الثانوية. أجرينا دراسة ثالثة للدراسات المنشورة بين عامي 2011 و 2018 في مؤتمرات ومجلات هندسة البرمجيات عالية الجودة. ثم طبقنا التحليل النوعي والكمي للتحقيق في 446 دراسة محتملة. من بين 446 دراسة مختارة، استشهدت 126 دراسة بدراسات دفتر الأستاذ العام ولكن 95 فقط من تلك الدراسات استخدمت دفتر الأستاذ العام للإجابة على سؤال بحثي محدد يمثل ما يقرب من 21 ٪ من جميع الدراسات الثانوية البالغ عددها 446 دراسة. ومن المثير للاهتمام أننا حددنا أن القليل من الدراسات استخدمت آليات بحث محددة واستخدمت معايير إضافية لتقييم دفتر الأستاذ العام. علاوة على ذلك، بحلول الوقت الذي أجرينا فيه هذا البحث، لم تعد 49 ٪ من عناوين URL لدفتر الأستاذ العام تعمل. بناءً على النتائج التي توصلنا إليها، نناقش بعض التحديات في استخدام دفتر الأستاذ العام وخطط التخفيف المحتملة. في هذه الورقة، قمنا بتلخيص السنوات العشر الأخيرة من أبحاث هندسة البرمجيات التي تستخدم دفتر الأستاذ العام، مما يدل على أن دفتر الأستاذ العام كان ضروريًا لتقديم وجهات نظر عملية جديدة نادرة في الأدبيات التقليدية. من خلال رسم المشهد الحالي للاستخدام، نرفع أيضًا بعض الوعي بالتحديات ذات الصلة (واستراتيجيات التعامل معها).Translated Description (French)
La littérature grise (GL) s'est récemment développée dans la recherche en génie logiciel (SE) depuis l'utilisation accrue des canaux de communication en ligne par les ingénieurs logiciels. Cependant, il y a encore une compréhension limitée de la façon dont la recherche sur la SE tire parti de la GL. Cette recherche visait à comprendre comment les chercheurs en SE utilisent la GL dans leurs études secondaires. Nous avons mené une étude tertiaire sur des études publiées entre 2011 et 2018 dans des conférences et des revues d'ingénierie logicielle de haute qualité. Nous avons ensuite appliqué une analyse qualitative et quantitative pour étudier 446 études potentielles. Sur les 446 études sélectionnées, 126 études ont cité le GL, mais seulement 95 d'entre elles ont utilisé le GL pour répondre à une question de recherche spécifique, ce qui représente près de 21 % de l'ensemble des 446 études secondaires. Fait intéressant, nous avons identifié que peu d'études utilisaient des mécanismes de recherche spécifiques et utilisaient des critères supplémentaires pour évaluer la GL. De plus, au moment où nous avons mené cette recherche, 49 % des URL GL ne fonctionnent plus. Sur la base de nos conclusions, nous discutons de certains défis liés à l'utilisation du GL et des plans d'atténuation potentiels. Dans cet article, nous avons résumé les 10 dernières années de recherche en génie logiciel qui utilisent GL, montrant que GL a été essentiel pour apporter de nouvelles perspectives pratiques qui sont rares dans la littérature traditionnelle. En dessinant le paysage actuel de l'utilisation, nous sensibilisons également aux défis connexes (et aux stratégies pour les relever).Translated Description (Spanish)
La literatura gris (GL) ha crecido recientemente en la investigación de ingeniería de software (SE) desde el mayor uso de canales de comunicación en línea por parte de los ingenieros de software. Sin embargo, todavía hay una comprensión limitada de cómo la investigación de SE está aprovechando el GL. Esta investigación tuvo como objetivo comprender cómo los investigadores de SE usan GL en sus estudios secundarios. Realizamos un estudio terciario de estudios publicados entre 2011 y 2018 en conferencias y revistas de ingeniería de software de alta calidad. Luego aplicamos análisis cualitativos y cuantitativos para investigar 446 estudios potenciales. De los 446 estudios seleccionados, 126 estudios citaron GL, pero solo 95 de ellos utilizaron GL para responder una pregunta de investigación específica, lo que representa casi el 21% de los 446 estudios secundarios. Curiosamente, identificamos que pocos estudios emplearon mecanismos de búsqueda específicos y utilizaron criterios adicionales para evaluar el GL. Además, en el momento en que realizamos esta investigación, el 49% de las URL del libro mayor ya no funcionaban. Con base en nuestros hallazgos, discutimos algunos desafíos en el uso de GL y posibles planes de mitigación. En este artículo, resumimos los últimos 10 años de investigación en ingeniería de software que utiliza GL, mostrando que GL ha sido esencial para traer nuevas perspectivas prácticas que son escasas en la literatura tradicional. Al dibujar el panorama actual de uso, también creamos cierta conciencia sobre los desafíos relacionados (y las estrategias para enfrentarlos).Files
IST_GreyLiterature_Secondary_Studies_Appendix_A.pdf.pdf
Files
(150.4 kB)
| Name | Size | Download all |
|---|---|---|
|
md5:5444c354cc32d543ebd0c16e0eee8f4d
|
150.4 kB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- الأدب الرمادي في هندسة البرمجيات: مراجعة نقدية
- Translated title (French)
- La littérature grise en génie logiciel : un examen critique
- Translated title (Spanish)
- Literatura Gris en Ingeniería de Software: Una revisión crítica
Identifiers
- Other
- https://openalex.org/W3170490302
- DOI
- 10.1016/j.infsof.2021.106609
References
- https://openalex.org/W2003115510
- https://openalex.org/W2103458796
- https://openalex.org/W2106956101
- https://openalex.org/W2164777277
- https://openalex.org/W2168130919
- https://openalex.org/W2336383631
- https://openalex.org/W2346198741
- https://openalex.org/W2501873590
- https://openalex.org/W2525353023
- https://openalex.org/W2583209614
- https://openalex.org/W2735864825
- https://openalex.org/W2772141859
- https://openalex.org/W2794588146
- https://openalex.org/W2795150358
- https://openalex.org/W2888929421
- https://openalex.org/W2893989659
- https://openalex.org/W2895930829
- https://openalex.org/W2912567338
- https://openalex.org/W2913096780
- https://openalex.org/W2913734115
- https://openalex.org/W2914318823
- https://openalex.org/W2946023400
- https://openalex.org/W3004454911
- https://openalex.org/W3008438078
- https://openalex.org/W3011425854
- https://openalex.org/W3091407142
- https://openalex.org/W4234473732
- https://openalex.org/W4237578926
- https://openalex.org/W4240086371
- https://openalex.org/W4244899690
- https://openalex.org/W4299851096