Published July 26, 2021 | Version v1
Publication Open

Design and implementation of a cloud-based event-driven architecture for real-time data processing in wireless sensor networks

Creators

  • 1. Chemnitz University of Technology
  • 2. University of Sfax

Description

Abstract The growth of the Internet of Things (IoTs) and the number of connected devices is driven by emerging applications and business models. One common aim is to provide systems able to synchronize these devices, handle the big amount of daily generated data and meet business demands. This paper proposes a cost-effective cloud-based architecture using an event-driven backbone to process many applications' data in real-time, called REDA. It supports the Amazon Web Service (AWS) IoT core, and it opens the door as a free software-based implementation. Measured data from several wireless sensor nodes are transmitted to the cloud running application through the lightweight publisher/subscriber messaging transport protocol, MQTT. The real-time stream processing platform, Apache Kafka, is used as a message broker to receive data from the producer and forward it to the correspondent consumer. Micro-services design patterns, as an event consumer, are implemented with Java spring and managed with Apache Maven to avoid the monolithic applications' problem. The Apache Kafka cluster co-located with Zookeeper is deployed over three availability zones and optimized for high throughput and low latency. To guarantee no message loss and to simulate the system performances, different load tests are carried out. The proposed architecture is reliable in stress cases and can handle records goes to 8000 messages in a second with low latency in a cheap hosted and configured architecture.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

الملخص إن نمو إنترنت الأشياء (IoTs) وعدد الأجهزة المتصلة مدفوع بالتطبيقات الناشئة ونماذج الأعمال. أحد الأهداف المشتركة هو توفير أنظمة قادرة على مزامنة هذه الأجهزة، والتعامل مع كمية كبيرة من البيانات التي يتم إنشاؤها يوميًا وتلبية متطلبات العمل. تقترح هذه الورقة بنية سحابية فعالة من حيث التكلفة باستخدام العمود الفقري القائم على الحدث لمعالجة العديد من بيانات التطبيقات في الوقت الفعلي، تسمى رضا. وهو يدعم جوهر إنترنت الأشياء لخدمة أمازون ويب (AWS)، ويفتح الباب كتطبيق مجاني قائم على البرامج. يتم نقل البيانات المقاسة من العديد من عقد المستشعرات اللاسلكية إلى تطبيق التشغيل السحابي من خلال بروتوكول نقل رسائل الناشر/المشترك خفيف الوزن، MQTT. تُستخدم منصة معالجة البث في الوقت الفعلي، أباتشي كافكا، كوسيط رسائل لتلقي البيانات من المنتج وإرسالها إلى المستهلك المراسل. يتم تنفيذ أنماط تصميم الخدمات الصغيرة، كمستهلك للحدث، باستخدام جافا سبرينغ وتتم إدارتها باستخدام أباتشي مافن لتجنب مشكلة التطبيقات المتجانسة. يتم نشر مجموعة أباتشي كافكا الموجودة في الموقع المشترك مع حارس حديقة الحيوان عبر ثلاث مناطق توفر ومحسنة للإنتاجية العالية والكمون المنخفض. لضمان عدم فقدان الرسالة ومحاكاة أداء النظام، يتم إجراء اختبارات حمل مختلفة. البنية المقترحة موثوقة في حالات الإجهاد ويمكنها التعامل مع السجلات التي تصل إلى 8000 رسالة في الثانية مع زمن انتقال منخفض في بنية مستضافة ومهيأة رخيصة.

Translated Description (French)

Résumé La croissance de l'Internet des objets (IdO) et du nombre d'appareils connectés est tirée par des applications et des modèles commerciaux émergents. Un objectif commun est de fournir des systèmes capables de synchroniser ces appareils, de gérer la grande quantité de données générées quotidiennement et de répondre aux demandes de l'entreprise. Cet article propose une architecture cloud rentable utilisant une dorsale événementielle pour traiter les données de nombreuses applications en temps réel, appelée REDA. Il prend en charge le noyau IoT d'Amazon Web Service (AWS) et ouvre la porte en tant qu'implémentation logicielle gratuite. Les données mesurées provenant de plusieurs nœuds de capteurs sans fil sont transmises à l'application en cours d'exécution dans le cloud via le protocole léger de transport de messagerie éditeur/abonné, MQTT. La plate-forme de traitement de flux en temps réel, Apache Kafka, est utilisée comme courtier de messages pour recevoir les données du producteur et les transmettre au consommateur correspondant. Les modèles de conception de micro-services, en tant que consommateur d'événements, sont implémentés avec Java Spring et gérés avec Apache Maven pour éviter le problème des applications monolithiques. Le cluster Apache Kafka co-localisé avec Zookeeper est déployé sur trois zones de disponibilité et optimisé pour un débit élevé et une faible latence. Pour garantir l'absence de perte de message et simuler les performances du système, différents tests de charge sont effectués. L'architecture proposée est fiable dans les cas de stress et peut gérer des enregistrements allant jusqu'à 8000 messages en une seconde avec une faible latence dans une architecture hébergée et configurée bon marché.

Translated Description (Spanish)

Resumen El crecimiento del Internet de las cosas (IoT) y la cantidad de dispositivos conectados está impulsado por las aplicaciones emergentes y los modelos de negocio. Un objetivo común es proporcionar sistemas capaces de sincronizar estos dispositivos, manejar la gran cantidad de datos generados diariamente y satisfacer las demandas comerciales. Este documento propone una arquitectura rentable basada en la nube que utiliza una columna vertebral basada en eventos para procesar los datos de muchas aplicaciones en tiempo real, llamada REDA. Es compatible con el núcleo de IoT de Amazon Web Service (AWS) y abre la puerta a una implementación basada en software gratuito. Los datos medidos de varios nodos de sensores inalámbricos se transmiten a la aplicación que se ejecuta en la nube a través del protocolo de transporte de mensajería ligero para editores/suscriptores, MQTT. La plataforma de procesamiento de flujo en tiempo real, Apache Kafka, se utiliza como intermediario de mensajes para recibir datos del productor y reenviarlos al consumidor corresponsal. Los patrones de diseño de microservicios, como consumidor de eventos, se implementan con Java Spring y se gestionan con Apache Maven para evitar el problema de las aplicaciones monolíticas. El clúster Apache Kafka ubicado junto con Zookeeper se implementa en tres zonas de disponibilidad y está optimizado para un alto rendimiento y una baja latencia. Para garantizar la ausencia de pérdida de mensajes y simular el rendimiento del sistema, se realizan diferentes pruebas de carga. La arquitectura propuesta es confiable en casos de estrés y puede manejar registros de 8000 mensajes en un segundo con baja latencia en una arquitectura barata alojada y configurada.

Files

s11227-021-03955-6.pdf.pdf

Files (2.0 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:945d3c4c85e471f17b1024a46aa6ea66
2.0 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
تصميم وتنفيذ بنية قائمة على الأحداث السحابية لمعالجة البيانات في الوقت الفعلي في شبكات الاستشعار اللاسلكية
Translated title (French)
Conception et mise en œuvre d'une architecture événementielle basée sur le cloud pour le traitement des données en temps réel dans les réseaux de capteurs sans fil
Translated title (Spanish)
Diseño e implementación de una arquitectura basada en eventos en la nube para el procesamiento de datos en tiempo real en redes de sensores inalámbricos

Identifiers

Other
https://openalex.org/W3185316233
DOI
10.1007/s11227-021-03955-6

Is supplement to
https://openalex.org/W2410685830 (Other)
https://openalex.org/W3163064706 (Other)
https://openalex.org/W1607805252 (Other)
https://openalex.org/W2417363734 (Other)
https://openalex.org/W2593395814 (Other)
https://openalex.org/W3039046615 (Other)
https://openalex.org/W2775718962 (Other)
https://openalex.org/W3212994206 (Other)
https://openalex.org/W2598464802 (Other)
https://openalex.org/W4233642475 (Other)

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
Tunisia

References

  • https://openalex.org/W147630071
  • https://openalex.org/W1543330775
  • https://openalex.org/W1607805252
  • https://openalex.org/W2051087527
  • https://openalex.org/W2111619626
  • https://openalex.org/W2172259164
  • https://openalex.org/W2173620267
  • https://openalex.org/W2381405996
  • https://openalex.org/W2479438733
  • https://openalex.org/W2560268830
  • https://openalex.org/W2617557114
  • https://openalex.org/W2621452375
  • https://openalex.org/W2734243431
  • https://openalex.org/W2767346351
  • https://openalex.org/W2786321307
  • https://openalex.org/W2790330524
  • https://openalex.org/W2808038031
  • https://openalex.org/W2809826268
  • https://openalex.org/W2889065502
  • https://openalex.org/W2893377854
  • https://openalex.org/W2902813590
  • https://openalex.org/W2906980899
  • https://openalex.org/W2915073704
  • https://openalex.org/W2942573745
  • https://openalex.org/W2969990561
  • https://openalex.org/W2979845756
  • https://openalex.org/W2995624592
  • https://openalex.org/W3000429479
  • https://openalex.org/W3008629209
  • https://openalex.org/W3032230397
  • https://openalex.org/W3093827463
  • https://openalex.org/W3115615001
  • https://openalex.org/W4239181295
  • https://openalex.org/W4254765448