Efficient traversal of decision tree ensembles with FPGAs
Creators
- 1. University of Trieste
- 2. National University of San Luis
- 3. The Abdus Salam International Centre for Theoretical Physics (ICTP)
- 4. Institute of Information Science and Technologies
Description
System-on-Chip (SoC) based Field Programmable Gate Arrays (FPGAs) provide a hardware acceleration technology that can be rapidly deployed and tuned, thus providing a flexible solution adaptable to specific design requirements and to changing demands.In this paper, we present three SoC architecture designs for speeding-up inference tasks based on machine learned ensembles of decision trees.We focus on QuickScorer, the state-of-the-art algorithm for the efficient traversal of tree ensembles and present the issues and the advantages related to its deployment on two SoC devices with different capacities.The results of the experiments conducted using publicly available datasets show that the solution proposed is very efficient and scalable.More importantly, it provides almost constant inference times, independently of the number of trees in the model and the number of instances to score.This allows the SoC solution deployed to be fine tuned on the basis of the accuracy and latency constraints of the application scenario considered.
Translated Descriptions
Translated Description (Arabic)
توفر مصفوفات البوابة الميدانية القابلة للبرمجة (FPGAs) القائمة على النظام على الرقاقة (SoC) تقنية تسريع الأجهزة التي يمكن نشرها وضبطها بسرعة، وبالتالي توفير حل مرن قابل للتكيف مع متطلبات التصميم المحددة والمتطلبات المتغيرة. في هذه الورقة، نقدم ثلاثة تصاميم معمارية لـ SoC لتسريع مهام الاستدلال بناءً على مجموعات متعلمة آليًا من أشجار القرار. نحن نركز على QuickScorer، الخوارزمية الحديثة لاجتياز مجموعات الأشجار بكفاءة وتقديم المشكلات والمزايا المتعلقة بنشرها على جهازي SoC بقدرات مختلفة. تُظهر نتائج التجارب التي أجريت باستخدام مجموعات البيانات المتاحة للجمهور أن الحل المقترح فعال للغاية وقابل للتطوير. والأهم من ذلك، أنه يوفر أوقات استدلال ثابتة تقريبًا، بغض النظر عن عدد الأشجار في النموذج وعدد الحالات التي يجب تسجيلها. وهذا يسمح بضبط حل SoC الذي تم نشره بدقة على أساس قيود الدقة والكمون الزمني لسيناريو التطبيق المدروس.Translated Description (French)
Les Field Programmable Gate Arrays (FPGA) basés sur le système sur puce (SoC) fournissent une technologie d'accélération matérielle qui peut être rapidement déployée et réglée, fournissant ainsi une solution flexible adaptable aux exigences de conception spécifiques et aux demandes changeantes. Dans cet article, nous présentons trois conceptions d'architecture SoC pour accélérer les tâches d'inférence basées sur des ensembles d'arbres de décision appris par machine. Nous nous concentrons sur QuickScorer, l'algorithme de pointe pour la traversée efficace d'ensembles d'arbres et présentons les problèmes et les avantages liés à son déploiement sur deux dispositifs SoC de capacités différentes. Les résultats des expériences menées à l'aide d'ensembles de données accessibles au public montrent que la solution proposée est très efficace et évolutive. Plus important encore, elle fournit des temps d'inférence presque constants, indépendamment du nombre d'arbres dans le modèle et du nombre d'instances à noter. Cela permet à la solution SoC déployée d'être affinée sur la base des contraintes de précision et de latence du scénario d'application considéré.Translated Description (Spanish)
Las matrices de puertas programables de campo (FPGA) basadas en el sistema en chip (SoC) proporcionan una tecnología de aceleración de hardware que se puede implementar y ajustar rápidamente, proporcionando así una solución flexible adaptable a los requisitos de diseño específicos y a las demandas cambiantes. En este documento, presentamos tres diseños de arquitectura SoC para acelerar las tareas de inferencia basadas en conjuntos de árboles de decisión aprendidos por máquina. Nos centramos en QuickScorer, el algoritmo de vanguardia para el recorrido eficiente de conjuntos de árboles y presentamos los problemas y las ventajas relacionadas con su implementación en dos dispositivos SoC con diferentes capacidades. Los resultados de los experimentos realizados utilizando conjuntos de datos disponibles públicamente muestran que la solución propuesta es muy eficiente y escalable. Más importante aún, proporciona tiempos de inferencia casi constantes, independientemente del número de árboles en el modelo y el número de instancias a puntuar. Esto permite que la solución SoC implementada se ajuste con precisión en función de las limitaciones de precisión y latencia del escenario de aplicación considerado.Files
Journal_FPGA.pdf.pdf
Files
(3.0 MB)
Name | Size | Download all |
---|---|---|
md5:218892586829a4eb821f09520f4a03aa
|
3.0 MB | Preview Download |
Additional details
Additional titles
- Translated title (Arabic)
- العبور الفعال لمجموعات شجرة القرار مع FPGAs
- Translated title (French)
- Traversée efficace des ensembles d'arbres de décision avec les FPGA
- Translated title (Spanish)
- Recorrido eficiente de conjuntos de árboles de decisión con FPGA
Identifiers
- Other
- https://openalex.org/W3163262786
- DOI
- 10.1016/j.jpdc.2021.04.008
References
- https://openalex.org/W1509600527
- https://openalex.org/W1678356000
- https://openalex.org/W1988888548
- https://openalex.org/W1994154443
- https://openalex.org/W2069870183
- https://openalex.org/W2073965851
- https://openalex.org/W2131588559
- https://openalex.org/W2134807578
- https://openalex.org/W2149427297
- https://openalex.org/W2162059449
- https://openalex.org/W2396382682
- https://openalex.org/W2499833508
- https://openalex.org/W2566147423
- https://openalex.org/W2886518140
- https://openalex.org/W2907337442
- https://openalex.org/W2936749751
- https://openalex.org/W2944840111
- https://openalex.org/W2945162353
- https://openalex.org/W2948210845
- https://openalex.org/W3204337895
- https://openalex.org/W4210605217
- https://openalex.org/W4238913942
- https://openalex.org/W4240241721
- https://openalex.org/W4249787940
- https://openalex.org/W4251543090
- https://openalex.org/W4252050762
- https://openalex.org/W4254315825
- https://openalex.org/W4255534610
- https://openalex.org/W4292902531
- https://openalex.org/W4299508085