Published January 1, 2021 | Version v1
Publication Metadata-only

Toward a Multi-Criteria Framework for Selecting Software Testing Tools

Creators

  • 1. University of Science and Technology
  • 2. Qassim University

Description

Software testing is a vital part of software engineering process. Automated testing makes this process more accurate and more efficient. Due to the large number and the variety of testing tools, a comprehensive taxonomy of these features is necessary. This research aims at developing a comprehensive taxonomy for testing tools to help software developers choose the appropriate tool for particular software. The framework includes two main parts: (1) a taxonomy of testing tools; (2) multi-criteria selection method. The first part covers different criteria of testing tools. Because these criteria are large in numbers, wide and variant, a taxonomy of these criteria is needed. This taxonomy will help developers distinguish among testing tools based on a wide spectrum of different criteria. The second part of the framework is a multi-criteria selection method; that enables software developers to choose the appropriate testing tool using a systematic and adequate automated manner. It reduces the cost of the selection process and helps beginners in testing to choose testing tools based on scientific and comprehensive criteria. The selection method employs scientific two well-known methods of multi-criteria decision-making techniques; Analytic Hierarchy Process (AHP) and Technique for Order Preference by Similarity to Ideal Solution (TOPSIS). The testing tools taxonomy is well validated by academic professionals in Software engineering and achieved good scores in terms of significance, usefulness and comprehension. Academics reported that the taxonomy is slightly complex and needs to be simplified. The selection method was implemented as a website and validated using different scenarios to prove the quality of selection even in complex cases.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

يعد اختبار البرمجيات جزءًا حيويًا من عملية هندسة البرمجيات. يجعل الاختبار الآلي هذه العملية أكثر دقة وكفاءة. نظرًا للعدد الكبير وتنوع أدوات الاختبار، من الضروري إجراء تصنيف شامل لهذه الميزات. يهدف هذا البحث إلى تطوير تصنيف شامل لأدوات الاختبار لمساعدة مطوري البرمجيات على اختيار الأداة المناسبة لبرامج معينة. يتضمن الإطار جزأين رئيسيين: (1) تصنيف أدوات الاختبار ؛ (2) طريقة الاختيار متعددة المعايير. يغطي الجزء الأول معايير مختلفة لأدوات الاختبار. نظرًا لأن هذه المعايير كبيرة من حيث العدد وواسعة ومتنوعة، فهناك حاجة إلى تصنيف لهذه المعايير. سيساعد هذا التصنيف المطورين على التمييز بين أدوات الاختبار بناءً على مجموعة واسعة من المعايير المختلفة. الجزء الثاني من الإطار هو طريقة اختيار متعددة المعايير ؛ والتي تمكن مطوري البرمجيات من اختيار أداة الاختبار المناسبة باستخدام طريقة آلية منهجية وكافية. يقلل من تكلفة عملية الاختيار ويساعد المبتدئين في الاختبار على اختيار أدوات الاختبار بناءً على معايير علمية وشاملة. تستخدم طريقة الاختيار طريقتين علميتين معروفتين لتقنيات صنع القرار متعددة المعايير ؛ عملية التسلسل الهرمي التحليلي (AHP) وتقنية تفضيل الطلبات عن طريق التشابه مع الحل المثالي (TOPSIS). يتم التحقق من صحة تصنيف أدوات الاختبار بشكل جيد من قبل المتخصصين الأكاديميين في هندسة البرمجيات وحققت درجات جيدة من حيث الأهمية والفائدة والفهم. أفاد الأكاديميون أن التصنيف معقد قليلاً ويحتاج إلى تبسيط. تم تنفيذ طريقة الاختيار كموقع إلكتروني والتحقق من صحتها باستخدام سيناريوهات مختلفة لإثبات جودة الاختيار حتى في الحالات المعقدة.

Translated Description (French)

Les tests logiciels sont une partie essentielle du processus d'ingénierie logicielle. Les tests automatisés rendent ce processus plus précis et plus efficace. En raison du grand nombre et de la variété des outils de test, une taxonomie complète de ces fonctionnalités est nécessaire. Cette recherche vise à développer une taxonomie complète pour les outils de test afin d'aider les développeurs de logiciels à choisir l'outil approprié pour un logiciel particulier. Le cadre comprend deux parties principales : (1) une taxonomie des outils de test ; (2) une méthode de sélection multicritères. La première partie couvre différents critères d'outils de test. Étant donné que ces critères sont nombreux, larges et variés, une taxonomie de ces critères est nécessaire. Cette taxonomie aidera les développeurs à faire la distinction entre les outils de test en fonction d'un large éventail de critères différents. La deuxième partie du cadre est une méthode de sélection multicritères ; qui permet aux développeurs de logiciels de choisir l'outil de test approprié en utilisant une méthode automatisée systématique et adéquate. Il réduit le coût du processus de sélection et aide les débutants dans les tests à choisir des outils de test basés sur des critères scientifiques et complets. La méthode de sélection utilise deux méthodes scientifiques bien connues de techniques de prise de décision multicritères ; Processus de hiérarchie analytique (AHP) et Technique de préférence d'ordre par similarité à la solution idéale (TOPSIS). La taxonomie des outils de test est bien validée par les professionnels universitaires en génie logiciel et a obtenu de bons scores en termes de signification, d'utilité et de compréhension. Les universitaires ont signalé que la taxonomie est légèrement complexe et doit être simplifiée. La méthode de sélection a été mise en œuvre sous forme de site Web et validée à l'aide de différents scénarios pour prouver la qualité de la sélection même dans des cas complexes.

Translated Description (Spanish)

Las pruebas de software son una parte vital del proceso de ingeniería de software. Las pruebas automatizadas hacen que este proceso sea más preciso y eficiente. Debido a la gran cantidad y variedad de herramientas de prueba, es necesaria una taxonomía integral de estas características. Esta investigación tiene como objetivo desarrollar una taxonomía integral para probar herramientas para ayudar a los desarrolladores de software a elegir la herramienta adecuada para un software en particular. El marco incluye dos partes principales: (1) una taxonomía de herramientas de prueba; (2) un método de selección multicriterio. La primera parte cubre diferentes criterios de herramientas de prueba. Debido a que estos criterios son grandes en número, amplios y variantes, se necesita una taxonomía de estos criterios. Esta taxonomía ayudará a los desarrolladores a distinguir entre las herramientas de prueba basadas en un amplio espectro de criterios diferentes. La segunda parte del marco es un método de selección multicriterio; que permite a los desarrolladores de software elegir la herramienta de prueba adecuada utilizando una forma automatizada sistemática y adecuada. Reduce el coste del proceso de selección y ayuda a los principiantes en las pruebas a elegir herramientas de prueba basadas en criterios científicos e integrales. El método de selección emplea dos métodos científicos bien conocidos de técnicas de toma de decisiones multicriterio; Proceso de jerarquía analítica (AHP) y Técnica de preferencia de orden por similitud con la solución ideal (TOPSIS). La taxonomía de las herramientas de prueba está bien validada por profesionales académicos en ingeniería de software y obtuvo buenas puntuaciones en términos de importancia, utilidad y comprensión. Los académicos informaron que la taxonomía es un poco compleja y debe simplificarse. El método de selección se implementó como un sitio web y se validó utilizando diferentes escenarios para demostrar la calidad de la selección incluso en casos complejos.

Additional details

Additional titles

Translated title (Arabic)
نحو إطار متعدد المعايير لاختيار أدوات اختبار البرمجيات
Translated title (French)
Vers un cadre multicritères pour la sélection des outils de test logiciel
Translated title (Spanish)
Hacia un marco multicriterio para seleccionar herramientas de prueba de software

Identifiers

Other
https://openalex.org/W3211916408
DOI
10.1109/access.2021.3128071

Is supplement to
https://openalex.org/W1707101138 (Other)
https://openalex.org/W2353261385 (Other)
https://openalex.org/W2376559135 (Other)
https://openalex.org/W2017291030 (Other)
https://openalex.org/W2364658784 (Other)
https://openalex.org/W2152262712 (Other)
https://openalex.org/W2739656158 (Other)
https://openalex.org/W3167506726 (Other)
https://openalex.org/W2115086241 (Other)
https://openalex.org/W2128204165 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Yemen

References

  • https://openalex.org/W124349154
  • https://openalex.org/W598686621
  • https://openalex.org/W1540396208
  • https://openalex.org/W1542917638
  • https://openalex.org/W1583981513
  • https://openalex.org/W1586992608
  • https://openalex.org/W1593867524
  • https://openalex.org/W1601570143
  • https://openalex.org/W1976565174
  • https://openalex.org/W2001961185
  • https://openalex.org/W2015873350
  • https://openalex.org/W2047544452
  • https://openalex.org/W2059621895
  • https://openalex.org/W2081356202
  • https://openalex.org/W2155278553
  • https://openalex.org/W2184562650
  • https://openalex.org/W2188807487
  • https://openalex.org/W2204448588
  • https://openalex.org/W2213250134
  • https://openalex.org/W2224333338
  • https://openalex.org/W2319350884
  • https://openalex.org/W2334860424
  • https://openalex.org/W2498218675
  • https://openalex.org/W2538640525
  • https://openalex.org/W2551056345
  • https://openalex.org/W2552974844
  • https://openalex.org/W2577042338
  • https://openalex.org/W2578339543
  • https://openalex.org/W2585206336
  • https://openalex.org/W2605792472
  • https://openalex.org/W2606964844
  • https://openalex.org/W2741079213
  • https://openalex.org/W2743165481
  • https://openalex.org/W2793027217
  • https://openalex.org/W2810110985
  • https://openalex.org/W2883476426
  • https://openalex.org/W2921192686
  • https://openalex.org/W2979140528
  • https://openalex.org/W2981997102
  • https://openalex.org/W2994890762
  • https://openalex.org/W3134930408
  • https://openalex.org/W3149401442
  • https://openalex.org/W4214807166
  • https://openalex.org/W4238266904
  • https://openalex.org/W4241522006
  • https://openalex.org/W4246168925
  • https://openalex.org/W4247221756
  • https://openalex.org/W4285719527