Reducing the Concretization Effort in FSM-Based Testing of Software Product Lines
- 1. Universidade de São Paulo
- 2. Universidade Tecnológica Federal do Paraná
- 3. Halmstad University
Description
To test a Software Product Line (SPL), the test artifacts and the techniques must be extended to support variability. In general, when new SPL products are developed, more tests are generated to cover new or modified features. A dominant source of extra effort for such tests is the concretization of newly generated tests. Thus, minimizing the amount of new nonconcretized tests required to perform conformance testing on new products reduces the overall test effort. In this paper, we propose a test reuse strategy for conformance testing of SPL products that aims at reducing test effort. We use incremental test generation methods based on finite state machines (FSMs) to maximize test reuse. We combine these methods with a selection algorithm used to identify non-redundant concretized tests. We illustrate our strategy using examples and a case study with an embedded mobile SPL. The results indicate that our strategy can save up to 36% of test effort in comparison to current test reuse strategies for the same fault detection capability.
Translated Descriptions
Translated Description (Arabic)
لاختبار خط إنتاج البرنامج (SPL)، يجب توسيع أدوات الاختبار والتقنيات لدعم التباين. بشكل عام، عند تطوير منتجات SPL الجديدة، يتم إنشاء المزيد من الاختبارات لتغطية الميزات الجديدة أو المعدلة. المصدر المهيمن للجهد الإضافي لمثل هذه الاختبارات هو تجسيد الاختبارات التي تم إنشاؤها حديثًا. وبالتالي، فإن تقليل كمية الاختبارات الجديدة غير المنسقة المطلوبة لإجراء اختبار المطابقة على المنتجات الجديدة يقلل من مجهود الاختبار الإجمالي. في هذه الورقة، نقترح استراتيجية إعادة استخدام الاختبار لاختبار المطابقة لمنتجات SPL التي تهدف إلى تقليل جهد الاختبار. نحن نستخدم طرق توليد الاختبار الإضافية القائمة على آلات الحالة المحدودة (FSMs) لتحقيق أقصى قدر من إعادة استخدام الاختبار. نحن نجمع بين هذه الأساليب وخوارزمية الاختيار المستخدمة لتحديد الاختبارات الملموسة غير الزائدة عن الحاجة. نوضح استراتيجيتنا باستخدام أمثلة ودراسة حالة مع SPL متنقلة مضمنة. تشير النتائج إلى أن استراتيجيتنا يمكن أن توفر ما يصل إلى 36 ٪ من جهد الاختبار مقارنة باستراتيجيات إعادة استخدام الاختبار الحالية لنفس القدرة على اكتشاف الأخطاء.Translated Description (French)
Pour tester une ligne de produits logiciels (SPL), les artefacts de test et les techniques doivent être étendus pour prendre en charge la variabilité. En général, lorsque de nouveaux produits SPL sont développés, davantage de tests sont générés pour couvrir les fonctionnalités nouvelles ou modifiées. Une source dominante d'effort supplémentaire pour de tels tests est la concrétisation des tests nouvellement générés. Ainsi, minimiser la quantité de nouveaux tests non concretisés requis pour effectuer des tests de conformité sur de nouveaux produits réduit l'effort global de test. Dans cet article, nous proposons une stratégie de réutilisation des tests pour les tests de conformité des produits SPL qui vise à réduire l'effort de test. Nous utilisons des méthodes de génération de tests incrémentiels basées sur des machines à états finis (FSM) pour maximiser la réutilisation des tests. Nous combinons ces méthodes avec un algorithme de sélection utilisé pour identifier les tests bétonnés non redondants. Nous illustrons notre stratégie à l'aide d'exemples et d'une étude de cas avec un SPL mobile intégré. Les résultats indiquent que notre stratégie peut économiser jusqu'à 36 % de l'effort de test par rapport aux stratégies actuelles de réutilisation des tests pour la même capacité de détection des pannes.Translated Description (Spanish)
Para probar una línea de productos de software (SPL), los artefactos de prueba y las técnicas deben ampliarse para admitir la variabilidad. En general, cuando se desarrollan nuevos productos SPL, se generan más pruebas para cubrir características nuevas o modificadas. Una fuente dominante de esfuerzo adicional para tales pruebas es la concreción de las pruebas recién generadas. Por lo tanto, minimizar la cantidad de nuevas pruebas no concretizadas requeridas para realizar pruebas de conformidad en nuevos productos reduce el esfuerzo general de la prueba. En este documento, proponemos una estrategia de reutilización de pruebas para las pruebas de conformidad de los productos SPL que tiene como objetivo reducir el esfuerzo de prueba. Utilizamos métodos de generación de pruebas incrementales basados en máquinas de estado finito (FSM) para maximizar la reutilización de las pruebas. Combinamos estos métodos con un algoritmo de selección utilizado para identificar pruebas concretizadas no redundantes. Ilustramos nuestra estrategia utilizando ejemplos y un estudio de caso con un SPL móvil integrado. Los resultados indican que nuestra estrategia puede ahorrar hasta un 36% del esfuerzo de prueba en comparación con las estrategias actuales de reutilización de pruebas para la misma capacidad de detección de fallas.Files
18473405.pdf.pdf
Files
(2.1 MB)
| Name | Size | Download all |
|---|---|---|
|
md5:860b924f5797d2ce5dea6683e9201443
|
2.1 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- الحد من جهد التجسيد في الاختبار القائم على ولايات ميكرونيزيا الموحدة لخطوط منتجات البرمجيات
- Translated title (French)
- Réduire l'effort de concrétisation dans les tests basés sur FSM des gammes de produits logiciels
- Translated title (Spanish)
- Reducción del esfuerzo de concretización en las pruebas basadas en FSM de líneas de productos de software
Identifiers
- Other
- https://openalex.org/W2606797508
- DOI
- 10.1109/icstw.2017.61
References
- https://openalex.org/W116291049
- https://openalex.org/W1490443352
- https://openalex.org/W1509343160
- https://openalex.org/W1535434399
- https://openalex.org/W1608087281
- https://openalex.org/W1745568966
- https://openalex.org/W1952332000
- https://openalex.org/W2004929506
- https://openalex.org/W2009089726
- https://openalex.org/W2011762419
- https://openalex.org/W2015042906
- https://openalex.org/W2023898070
- https://openalex.org/W2030553922
- https://openalex.org/W2048064553
- https://openalex.org/W2058162561
- https://openalex.org/W2090539172
- https://openalex.org/W2114226943
- https://openalex.org/W2115162286
- https://openalex.org/W2118157895
- https://openalex.org/W2125853721
- https://openalex.org/W2295593788
- https://openalex.org/W2345838529
- https://openalex.org/W3013054130
- https://openalex.org/W4251237796
- https://openalex.org/W4255440659
- https://openalex.org/W899947898