Published April 1, 2024 | Version v1
Publication Open

Data Lakehouse: Next Generation Information System

Creators

  • 1. Abdelmalek Essaâdi University

Description

This paper introduces the Data Lakehouse Architecture, a transformative model in data architecture that seamlessly integrates the analytical strengths of traditional data warehouses with the schema flexibility inherent in data lakes. Departing from current frameworks, this comprehensive approach establishes a unified platform, overcoming limitations of conventional data management. Addressing the critical need for an integrated solution, our primary objective is to set a new standard for sophisticated data management. The distinctiveness of our proposal lies in the seamless fusion of data warehouse analytics and data lake schema flexibility, underscoring its originality. The full article delves into the research methodology, providing a comprehensive understanding of the study's framework proposal. The foundational outcomes showcase the successful implementation of our Data Lakehouse Architecture, revealing enhanced processing capabilities for structured data analysis, complex querying, and high-performance reporting. The conclusion emphasizes the paradigm shift and transformative impact on data management practices, reinforcing the significance of our innovative solution. This research not only contributes a novel technological framework but also highlights the importance of adaptability and performance in the face of evolving data landscapes.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

تقدم هذه الورقة بنية Data Lakehouse، وهي نموذج تحويلي في بنية البيانات يدمج بسلاسة نقاط القوة التحليلية لمستودعات البيانات التقليدية مع مرونة المخطط المتأصلة في بحيرات البيانات. بعيدًا عن الأطر الحالية، ينشئ هذا النهج الشامل منصة موحدة للتغلب على قيود إدارة البيانات التقليدية. لتلبية الحاجة الماسة إلى حل متكامل، فإن هدفنا الأساسي هو وضع معيار جديد لإدارة البيانات المتطورة. يكمن تميز اقتراحنا في الدمج السلس لتحليلات مستودع البيانات ومرونة مخطط بحيرة البيانات، مما يؤكد أصالته. تتعمق المقالة الكاملة في منهجية البحث، مما يوفر فهمًا شاملاً لمقترح إطار الدراسة. تعرض النتائج التأسيسية التنفيذ الناجح لهيكل Data Lakehouse الخاص بنا، مما يكشف عن قدرات معالجة محسنة لتحليل البيانات المنظم والاستعلام المعقد وإعداد التقارير عالية الأداء. يؤكد الاستنتاج على تحول النموذج والتأثير التحويلي على ممارسات إدارة البيانات، مما يعزز أهمية حلنا المبتكر. لا يساهم هذا البحث في إطار تكنولوجي جديد فحسب، بل يسلط الضوء أيضًا على أهمية القدرة على التكيف والأداء في مواجهة مشهد البيانات المتطور.

Translated Description (French)

Cet article présente l'architecture Data Lakehouse, un modèle transformateur en architecture de données qui intègre de manière transparente les forces analytiques des entrepôts de données traditionnels avec la flexibilité de schéma inhérente aux lacs de données. S'écartant des cadres actuels, cette approche globale établit une plate-forme unifiée, surmontant les limites de la gestion conventionnelle des données. Pour répondre au besoin critique d'une solution intégrée, notre objectif principal est d'établir une nouvelle norme pour la gestion sophistiquée des données. Le caractère distinctif de notre proposition réside dans la fusion transparente de l'analyse de l'entrepôt de données et de la flexibilité du schéma du lac de données, soulignant son originalité. L'article complet se penche sur la méthodologie de la recherche, fournissant une compréhension complète de la proposition-cadre de l'étude. Les résultats fondamentaux mettent en évidence la mise en œuvre réussie de notre architecture Data Lakehouse, révélant des capacités de traitement améliorées pour l'analyse de données structurées, les requêtes complexes et les rapports haute performance. La conclusion met l'accent sur le changement de paradigme et l'impact transformateur sur les pratiques de gestion des données, renforçant l'importance de notre solution innovante. Cette recherche apporte non seulement un nouveau cadre technologique, mais souligne également l'importance de l'adaptabilité et de la performance face à l'évolution des paysages de données.

Translated Description (Spanish)

Este documento presenta la Data Lakehouse Architecture, un modelo transformador en la arquitectura de datos que integra a la perfección las fortalezas analíticas de los almacenes de datos tradicionales con la flexibilidad del esquema inherente a los lagos de datos. Partiendo de los marcos actuales, este enfoque integral establece una plataforma unificada, superando las limitaciones de la gestión de datos convencional. Abordando la necesidad crítica de una solución integrada, nuestro objetivo principal es establecer un nuevo estándar para la gestión sofisticada de datos. El carácter distintivo de nuestra propuesta radica en la fusión perfecta de la analítica del almacén de datos y la flexibilidad del esquema del lago de datos, lo que subraya su originalidad. El artículo completo profundiza en la metodología de investigación, proporcionando una comprensión integral de la propuesta marco del estudio. Los resultados fundamentales muestran la implementación exitosa de nuestra arquitectura Data Lakehouse, que revela capacidades de procesamiento mejoradas para el análisis estructurado de datos, consultas complejas e informes de alto rendimiento. La conclusión enfatiza el cambio de paradigma y el impacto transformador en las prácticas de gestión de datos, lo que refuerza la importancia de nuestra solución innovadora. Esta investigación no solo aporta un marco tecnológico novedoso, sino que también destaca la importancia de la adaptabilidad y el rendimiento frente a la evolución de los paisajes de datos.

Files

158.pdf

Files (385.3 kB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:154cf81910f770abbe7241831de9b842
385.3 kB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
داتا ليكهاوس: نظام معلومات الجيل التالي
Translated title (French)
Data Lakehouse : système d'information de nouvelle génération
Translated title (Spanish)
Data Lakehouse: Sistema de Información de Próxima Generación

Identifiers

Other
https://openalex.org/W4395468934
DOI
10.56294/mw202467

Is supplement to
https://openalex.org/W4395014643 (Other)
https://openalex.org/W4391913857 (Other)
https://openalex.org/W4391375266 (Other)
https://openalex.org/W2748952813 (Other)
https://openalex.org/W2390279801 (Other)
https://openalex.org/W2382290278 (Other)
https://openalex.org/W2376932109 (Other)
https://openalex.org/W2358668433 (Other)
https://openalex.org/W2350741829 (Other)
https://openalex.org/W2001405890 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Morocco

References

  • https://openalex.org/W2946292619
  • https://openalex.org/W3085477028
  • https://openalex.org/W3167309973
  • https://openalex.org/W3201379052
  • https://openalex.org/W3211870954
  • https://openalex.org/W4206680474
  • https://openalex.org/W4214903737
  • https://openalex.org/W4283723207
  • https://openalex.org/W4293799460
  • https://openalex.org/W4318185132
  • https://openalex.org/W4321438373
  • https://openalex.org/W4328054606
  • https://openalex.org/W4366771658
  • https://openalex.org/W4367155888
  • https://openalex.org/W4384344973
  • https://openalex.org/W4385652345
  • https://openalex.org/W4386015095
  • https://openalex.org/W4387304828
  • https://openalex.org/W4388759019
  • https://openalex.org/W4391093568