Connectivité/réseaux

Fabriquer votre propre système domotique open source

laurie — Fri, 20 Nov 2020 14:33:56 +0000

Fabriquer votre propre système domotique open source

Tags

IoT

laurie Fri, 11/20/2020 - 15:33

Télécharger le PDF

Fiche système domotique

Body

A l’ère de la domotique, les objets connectés se mettent en place, tant dans votre maison que dans votre entreprise, et touchent chaque domaine du quotidien : du pot de fleur au luminaire, tout peut être connecté. Vous désirez trouver une solution pour remédier au dysfonctionnement de vos locaux? Gérer votre consommation et éviter des dépenses inutiles? Améliorer le confort de vos employés, de vos clients ou de votre famille?

Cette fiche va vous expliquer comment mettre en place un système de pilotage d’un réseau de capteurs et actionneurs (OpenZWave), ou comment votre Raspberry Pi va vous permettre de domotiser vous-même votre maison ou votre entreprise, de façon simple et à moindre coût.

Prérequis

Expérience de base en utilisation de Raspberry PI

Connaissances générales en Linux

Pour quoi faire?

L'appellation Smart Building désigne un bâtiment intelligent, c’est-à-dire connecté. Cette connectivité est réalisée à l’aide de capteurs et d’actionneurs déployés au sein du bâtiment :

Les capteurs réagissent à un phénomène physique de l’environnement (chaleur, lumière, son, mouvement,...),
en parallèle, les actionneurs permettent d’exécuter des commandes (par exemple, pour piloter les équipements électriques auxquels ils sont connectés)

Vous allez donc pouvoir ajuster et réaliser automatiquement des actions telles que le réglage d’un équipement de chauffage à une certaine température, d’un éclairage en fonction de la présence/absence de personne dans la pièce, ...

Un tel système de pilotage vous permettra une meilleure gestion énergétique de votre bâtiment : en effet, la visualisation des données collectées par les différents capteurs provenant des appareils connectés va vous permettre de comprendre où et comment l’énergie de votre bâtiment est (mal) utilisée. Grâce à cela, vous pourrez réduire votre consommation en optimisant les ressources énergétiques, tout en vous permettant un certain confort.

Cette fiche vous propose de déployer et configurer un système de pilotage d’un réseau de capteurs OpenSource (OpenZWave), extrêmement adaptable à vos besoins en capteurs IoT.

Recherche d’une solution appropriée

Solution open source :

L’avantage de travailler avec un modèle open source par rapport à l'utilisation de matériels propriétaires et fermés est que vous pourrez gérer localement vos données sans dépendre d’un service externe. Vous ne risquez pas de perdre vos données avec le système que nous vous proposons, par exemple.

Capteurs-Actionneurs :

Pour faciliter le déploiement de capteurs et d’actionneurs, nous conseillons une solution sans fil. Sachant cela, nous avons établi quelques critères supplémentaires afin de nous permettre de statuer sur le protocole de communication à choisir, ces critères sont :

La consommation : la puissance de communication doit être faible.
La disponibilité : le marché doit offrir de nombreux appareils utilisant ce protocole.
L’interopérabilité : le protocole ne doit pas dépendre d’un fournisseur particulier.

Voici les protocoles smart building de communication sans-fils les plus répandus:

Wifi : ce protocole est trop énergivore et complexe à re-configurer,
Bluetooth 5, 6LowPAN : peu d'appareils disponible sur le marché,
Zigbee : il y a une mauvaise interopérabilité (en cours de debug),
Z-Wave : ce protocole domotique est largement répandu.

Au vu de ces différentes constatations, nous conseillons l’utilisation du protocole domotique Z-Wave.

Matériel requis

Un ordinateur Linux. Dans notre cas, nous utiliserons un micro-ordinateur, Raspberry Pi. Ce micro-ordinateur en plus d'être peu cher, est très répandu parmi la communauté des développeurs open source, des makers et des prototypeurs. Existant en plusieurs versions, nous vous conseillons, pour des raison de prix et de puissance, d’identifier le modèle le plus adapté à votre besoin :

pi 0W (low cost mais peu puissant),
pi 3B+ (modèle intermédiaire),
pi 4B (assez cher mais puissant).

Dans la suite de cette fiche, nous considérons avoir opté pour une carte Raspberry Pi 0W.

Matériel nécessaire pour la configuration du Raspberry Pi (micro-ordinateur) :

1 carte mémoire de type µSD de 8Go minimum pour installer l’OS linux (Raspbian),
Un lecteur de carte micro SD,
Une alimentation pour le Raspberry Pi,
Un ordinateur

Matériel pour les capteurs - actionneurs Z-Wave :

Une antenne Z-Wave (dongle USB) :
- AEOTEC Z-Wave USB dongle : dongle offrant le plus de performance
- ZME_UZB1 : modèle low cost
Prises intelligentes :
- Fibaro Plug : l’avantage est le côté esthétique
- Neo CoolCam Plug : modèle low cost
Capteurs Z-Wave optionnels :
- Fibaro motion sensors : capteur de température, de luminosité, de vibration et de présence
- Neo CoolCam PIR sensor : capteur de présence (possède une faible autonomie)

ETAPE 0 - Quick start (mode développeur)

Cette section va vous permettre de mettre en oeuvre l'outil d'home-automation Z-Wave rapidement.

Pour se faire, aller sur le Github du CETIC : https://github.com/cetic/zwave2mqtt

Il vous permettra de disposer des différents Add-ons qui vous permettront d'agrémenter votre système domotique/immotique.

Dans ces fonctionnalités supplémentaires, vous trouverez comment:

1) Passer votre Raspberry Pi en hotspot wifi (+ bridge sur ethernet),

2) Interagir avec l'outil Z-Wave via des lignes de commandes,

3) Gérer votre réseau Z-Wave via l'outil Node-Red

Une fois déployé, passez directement à l'étape 2 pour maîtriser vos outils.

ETAPE 1 - Configuration logicielle

Cette étape, contrairement à l'étape 0, va vous permettre d'instancier l'outil Z-Wave de façon détaillée.

1.1. Installation de la dernière image du logiciel du Raspberry-Pi

A cette étape, il vous faut “flasher” une image du système d'exploitation Raspberry Pi (Raspbian par exemple) sur la carte micro SD. Vous trouverez les instructions complètes pour faire cela ici (attention, la méthode diffère selon votre système d’exploitation) mais en résumé, vous pouvez :

1. Télécharger le fichier d’image et le décompresser,

2. Installer un logiciel d’écriture d’image ISO sur un volume. Il est conseillé d'utiliser Balena Etcher car c'est un logiciel fonctionnant sur Mac et Windows.

3. Dans Etcher, sélectionnez l’image du point 1 et écrivez-là sur la carte micro SD.

1.2. Configurer votre Raspberry Pi

A ce stade ci, votre Raspberry est prête à l’emploi. Les points suivants décrivent la manière dont vous pouvez commencer à installer les outils qui permettront de gérer votre bâtiment selon que vous utilisez un écran et un clavier, ou non.

1.2.1. Si vous utilisez un écran et un clavier :

1. Branchez votre clavier et votre écran,

2. Alimentez la Raspberry,

3. Sur votre ordinateur, ouvrez un terminal (raccourci clavier : ctrl + alt + t),

4. Connectez-vous à internet en utilisant :

a. soit un câble ethernet

b. soit avec le Wi-Fi.

b1. encodez la commande suivante dans le terminal :

sudo raspi-config

b2.Sélectionnez l'option “Network Options”,

b3. Sélectionnez l'option “Wi-Fi”.

Vous avez maintenant accès à votre Raspberry.

1.2.2. Si vous n’utilisez pas d’écran et de clavier

Pour les personnes n’utilisant pas d’écran et de clavier, il vous faut donc configurer la Raspberry pour une utilisation “headless”. La connexion se fera sur un terminal de lignes de commandes via SSH. Pour activer la fonctionnalité SSH, vous devez la configurer. Pour cela, nous vous conseillons de suivre le tutoriel officiel : https://raspberry-pi.fr/raspberry-pi-sans-ecran-sans-clavier/

1. Ensuite, connectez-vous en SSH :

a) Si vous utiliser un environnement UNIX, vous pouvez utiliser la commande suivante dans une console :

ssh pi@YOUR_PI_ADDR

b) Si vous voulez vous connecter à l‘aide d’un ordinateur Windows, vous aurez besoin d’utiliser un outils comme Putty.

2. Une fois connecté à la Raspberry pi, encodez le nom utilisateur par défaut qui est "pi",

3. Encodez le mot de passe par défaut qui est "raspberry",

Vous avez maintenant accès à votre Raspberry.

1.3. Installation des logiciels nécessaires à la gestion des capteurs

Nous avons besoin d'installer le logiciel Zwave2Mqtt, une passerelle IoT OpenSource pour vos objets Z-WAVE. Pour cela, vous pouvez utiliser Docker. Ce tutoriel donne des informations de contexte et d'installation de l'outil Docker sur Raspberry-Pi.

Branchez votre Dongle sur le Raspberry et installez la dernière version Docker et Docker-Compose avec les commandes shell suivantes :

echo ">>>Install dependancies"
sudo apt-get install apt-transport-https
echo ">>>Create /etc/apt/sources.list.d/docker.list"
sudo sh -c 'echo "deb [arch=armhf] https://download.docker.com/linux/raspbian $(lsb_release -c -s) stable" > /etc/apt/sources.list.d/docker.list'
echo ">>>Get the apt key :"
wget -O - https://download.docker.com/linux/raspbian/gpg | sudo apt-key add -
sleep 3
echo ">>>Install Docker & Docker-ycompose:"
sudo apt-get update
sudo apt-get install docker-ce=18.06.1~ce~3-0~raspbian
sudo apt-get install docker-compose -y
echo ">>>Optionnal : allow some users to use Dls /e   ocker (for example, user pea) :"
sudo usermod -G docker pi

Configurez l’application Z-Wave Control Panel qui permettra de gérer votre réseau Z-Wave en entrant les commandes suivantes :

$ nano docker-compose.yml
version: "2"
services:
  zwave2mqtt:
    container_name: zwave2mqtt

    image: robertslando/zwave2mqtt:latest
    restart: always
    tty: true
    stop_signal: SIGINT
    networks:
      - zwave
    devices:
      - "/dev/ttyACM0:/dev/ttyACM0"
    volumes:
      - ./conf/zwave/store:/usr/src/app/store
    ports:
      - "8091:8091"
  mosquitto:
    container_name: mosquitto
    image: eclipse-mosquitto
    restart: always
    ports:
      - "1883:1883"
networks:
  zwave:

Lancez le Z-Wave Control Panel avec la commande suivante :
```
$ docker-compose up -d
```
Vous pouvez vérifier que le Z-Wave Control Panel est bien installé en entrant http://raspberrypi.local:8091 dans votre navigateur web (voir illustration ci-dessous).

Interface du Z-Wave Control Panel

Etape 2 - configuration de l’application Z-Wave Control Panel

Cliquez sur le deuxième icône (“Settings”) qui se trouve dans le menu de gauche de l’interface (voir l’illustration ci-dessous). L'interface comme illustrée ci-dessous s'affiche.

Interface de l'onglet "Settings" du Z-Wave Control Panel

Configurez comme suit:

ZWave Panel :
- Serial Port : /dev/ttyACM0
- Network Key : 0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01,0x01
- Poll interveal : 2000
MQTT Panell :
- Name : my-zwave
- Host URL : 172.17.0.1
- port : 1883
- Reconnect period : 3000
- prefix : zwave
- QoS : 1
Gateway Panel :
- Type : Named topics
- Payload type : Entire Z-Wave value Object

Etape 3 - Installation des Sensors & Plugs

Le but de cette opération est de réaliser la connexion des périphériques Z-Wave au Raspberry Pi 0W via le Z-Wave Control Panel.

Pour inclure une prise dans votre réseau Z-Wave :

1. Sélectionnez la première icône dans le menu de gauche de l’interface (voir l'illustration 4 ci-dessous) pour afficher l’interface du Control Panel,

2. Cliquez sur le champ “Actions”, sélectionnez “Add Node”,

3. Cliquez sur l’icône “Envoyer”,

4. Réalisez un triple clique sur la prise intelligente.

Ajouter un noeud à votre réseau

Etape 4 - Vérification des données

La première solution est de vérifier vos données sur l’interface graphique :

1.Cliquez sur le noeud que vous venez d’inclure (voir étape 3),

2. Dans le Panel en dessous (voir l'illustration 5) , cliquez sure “Node”,

3. Puis cliquez sur “User”, les informations s’affichent.

Interface de vérification des données

Note : vous pouvez également configurer vos équipements. Par exemple :

Vous pouvez modifier le nom (ex : Name: “my first wall plug”).
Cliquez sur l’icône “Envoyer” pour que les modifications soient prises en compte.

La deuxième solution consiste à s’abonner aux messages. Pour ce faire, vous devez installer un “subscriber” pour vous abonner aux messages du collecteur de données (Z-Wave Control Panel). Pour cela, vous devez :

1. Installer le “client” avec la commande :

sudo apt isntall mosquitto-clients

2. Exécuter le “subscriber” :

mosquitto_sub -t ‘#’ -v

3. Option du subscriber :

mosquitto_sub --help

-t : pour fixer les “topic”. Dans notre cas, # = tous les topics
-v : verbose, pour avoir un maximum d’information.
-h : Si besoin pour fixer l’adresse IP ou l’URL (par défaut : localhost)
-p : Si besoin, pour fixer le port (par défaut : 1883)

Bonus : pour contrôler l'état d'un module type “prise de courant”, vous pouvez entrer la commande shell suivante :

mosquitto_pub -t 'zwave/$LOCATION$/$NODE-NAME$/switch_binary/switch/set' -m '0'

Votre système domotique est maintenant installé, configuré et prêt à être utilisé!

Airberry : fabriquer votre moniteur de qualité d’air

laurie — Thu, 19 Nov 2020 13:30:12 +0000

Airberry : fabriquer votre moniteur de qualité d’air

Tags

Connectivité/réseaux

IoT

laurie Thu, 11/19/2020 - 14:30

Télécharger le PDF

Fiche Airberry

Body

Mesurer la qualité de l'air

Vous doutez de la qualité de l’air dans votre entreprise, vos bureaux ou même à votre domicile ? Vous désirez mesurer la teneur en particules fines de votre environnement??

Airberry est fait pour vous !

Nous savons tous qu'une mauvaise qualité de l'air influence directement la santé : l'exposition à la pollution de l'air, à court ou à long terme, augmente fortement le risque de développer des maladies respiratoires aiguës, chroniques et cardio-vasculaires. Mais pas de panique, cette fiche vous permet de construire vous-même l'Airberry, une solution efficace et peu coûteuse qui vous permettra de monitorer la qualité de l'air intérieur de vos bureaux, vos entrepôts, vos lieux de productions,...

Prérequis

Connaissances basiques en soudure

Expérience de base en utilisation de Raspberry PI

Pour quoi faire?

Cette fiche présente la mise en oeuvre du projet Airberry, c’est-à-dire l’installation d’un moniteur de qualité d’air basé sur les variables suivantes ;

la température,
l’humidité,
les particules fines : il s’agit des PM10 - PM pour Particulate Matter - et des PM25, soit les particules fines ayant un diamètre inférieur à 10 micromètres (PM10) et à 2.5 micromètres (PM25).
la variation de la concentration de gaz spécifiques. Les gaz spécifiques mesurés peuvent être l'ammoniac (NH3, rejeté par exemple lors de la production d’engrais azotés), le CO2, le CO, l’éthanol, etc.

Matériel requis

L'Airberry est un ensemble de senseurs pilotés par une Raspberry Pi qui envoie ses données vers un serveur centralisé. Afin de construire le détecteur, il vous faut le matériel suivant :

Une Raspberry Pi Zero W (notre choix s'est porté sur ce modèle pour une question de coût, mais vous pouvez réaliser ce tutoriel avec une Raspberry Pi 3 par exemple),
Un senseur de la famille MQ-X pour mesurer la concentration en gaz. Cette famille regroupe les capteurs physicochimiques pouvant détecter une grande variété de gaz, polluants et fumées dans l’atmosphère. Nous avons choisi un senseur MQ-135 car celui-ci est sensible à l'ammoniac (NH3), au CO2, à l’alcool, au Benzène et à l’oxyde d’azote (NOx). Bref, il détecte les principaux polluants dans l'atmosphère de votre maison.
Un senseur de particules fines SDS011 pour mesurer la concentration en particules fines, typiquement mesurée en μg/m3. Cette mesure sera déterminée par diffusion laser. Pour plus de détails sur les mesures des particules fines, voir par exemple : https://www.fierceelectronics.com/components/particulate-matter-sensing-for-air-quality-measurements.

Une mesure précise de la concentration des gaz en ppm (partie par million) peut être obtenue à l’aide de senseurs de la famille MQ-X, mais nécessite une calibration avec un gaz de concentration précisément connue, ce qui est difficile à réaliser en dehors d’un laboratoire. Cependant, la courbe de réponses de ces capteurs est telle qu’ils sont parfaitement indiqués pour surveiller la variation relative de ces gaz.

Illustration du matériel nécessaire

un thermomètre et hygromètre DHT 22,
un pin header 2 rangs 40 broches,
un convertisseur analogique digital MCP3008,
une résistances de 330 et 680 Ohms,
un PCB Airberry Rev 2.0. Vous pouvez télécharger les fichiers Gerber ici, ils sont à compléter avec des headers femelles et des câbles sertis ou par des soudures directes. Néanmoins, le PCB peut être remplacé par des soudures directes selon le câblage décrit ci-après.

Afin d’utiliser et d’installer le logiciel sur la Raspberry, il vous faudra également :

une carte micro SD d'au moins 8 Gb,
un adaptateur secteur micro USB (type chargeur de téléphone),
un lecteur de carte micro SD,
un ordinateur,
un fer à souder.

ETAPE 1 - Montage du détecteur

La notice ci-après propose un montage sur une carte imprimée. Il n'est cependant pas indispensable d'utiliser une telle carte car l'important est de connecter les différentes pins entre elles, tel qu'indiqué sur le schéma plus bas.

Les détecteurs utilisés dans ce projet exploitent plusieurs types de communication :

- Le détecteur de particules fines communique avec la Raspberry par UART, grâce à deux connections : une pour la transmission (Tx) et l'autre pour la réception (Rx). Le détecteur et la Raspberry échangent des bits, une suite de 0 et 1 afin de, par exemple, ordonner l'acquisition d'une mesure ou d'en transmettre le résultat.

- Les senseurs "MQ-X" sont essentiellement des résistances variables, dont la valeur dépend de la concentration en gaz dans l'environnement proche du senseur. Cette résistance variable est montée comme un pont diviseur de tension. La tension est donc divisée différemment selon la teneur en gaz. Mesurer cette tension divisée revient donc à mesurer la teneur en gaz. Cependant, cette mesure est une mesure analogique : il ne s'agit pas d'acquérir une série structurée de bits, mais de mesurer une valeur continue. Malheureusement, les Raspberry n'ont pas de convertisseur Analogique/Digital (DAC) intégré. Le senseur MQ-X est donc raccordé à un DAC, qui a pour rôle de convertir la mesure continue en une valeur sur une échelle donnée. Dans notre projet, nous utiliserons un DAC 10 bits, c'est à dire que la valeur continue sera rapportée sur une échelle de 1024 (2 exposant 10) mesures possibles.

- Le DAC est quant à lui raccordé à la Raspberry par le port SPI. Il s'agit d'un protocole de communication digital permettant d'utiliser les même ports pour relier plusieurs détecteurs. Ce protocole exploite 3+1 pins : MISO (Master In Slave Out), MOSI (Master Out Slave In), Clk (clock) et Cs (channel selector). MISO et MOSI sont les équivalents de Rx, Tx dans le cas UART, tandis que Clk permet une synchronisation précise de la communication et Cs permet de sélectionner le senseur qui communiquera (c'est un interrupteur).

- Les senseurs DHT, pour la température, utilisent un protocole de communication propre qui exploite une seule pin pour la communication.

1.1. Pinout

Les entrées / sorties des éléments de la liste d'achats sont représentés sur les illustrations suivantes :

Le thermomètre et hygromètre DHT 22 :

Le convertisseur analogique digital MCP3008 :

La Raspberry Pi Zero W (il a le même pinout que RPi3) :

Le senseur MQ-X :

Le capteur de particules fines SDS011 :

1.2. Raccordements

Le câblage à effectuer est détaillé sur le schéma ci-dessous, celui-ci représente les connections à effectuer. Les étiquettes portant le même nom doivent être physiquement connectées. Il s’agit en réalité du schéma de connexion de la carte du circuit imprimé décrit en début de fiche.

Le schéma de câblage est bien entendu le même sur carte ou par raccordements directs. Par exemple, la sortie de la résistance R2 est connectée au canal 0 du MCP 3008, puisque ils sont tout deux reliés à l’étiquette "ch0".

Les blocs “JST” représentent des connecteurs vers les senseurs ou la Raspberry. Vous pouvez directement les souder à la Raspberry.

Sur l'illustration ci-dessous, les connexions vers la Raspberry se font au niveau des trois composants représentés sur le coté gauche :

On peut voir que :

Gnd se connecte à Ground sur la Raspberry (pin 6)

VCC se connecte à 5V sur la Raspberry (pin 2 ou 4)

V33 se connecte à 3V3 sur la Raspberry (pin 1)

rx se connecte à Tx sur la Raspberry (pin 8)

tx se connecte à Rx sur la Raspberry (pin 10)

dht se connecte à GPIO 18 sur la Raspberry (pin 12)

clk se connecte à SPI CLK sur la Raspberry (pin 23)

dout se connecte à MISO sur la Raspberry (pin 21)

din se connecte à MOSI sur la Raspberry (pin 19)

cs se connecte à GPIO22 sur la Raspberry (pin 15)

Une fois ces raccordements effectués, votre détecteur se trouve prêt à être configuré.

Illustration du montage final

Illustration du PCB

ETAPE 2 - Configuration et installation du logiciel

Cette partie décrit comment installer la Raspberry Pi Zero W et comment la connecter à internet.

2.1. Matériel utilisé

Les composants nécessaires au fonctionnement de la Raspberry sont :

Une Raspberry Pi Zero W
Une alimentation pour la Raspberry Pi
Une carte micro SD d’au moins 8Go
Un lecteur de carte micro SD
Un ordinateur

2.2. Installation initiale de la Raspberry

Pour le bon déroulement du projet Airberry, il est nécessaire de disposer d’une Raspberry fonctionnelle. A cette fin, il faut “flasher” une image du système d'exploitation Raspberry Pi (RaspBian par exemple) sur la carte micro SD. Vous trouverez les instructions complètes pour faire cela ici mais en résumé, vous pouvez :

1. Sur votre ordinateur, télécharger le fichier d’image et le décompresser,

2. Installer un logiciel d’écriture d’image ISO sur un volume. Il est conseillé d'utiliser Balena Etcher car c'est un logiciel fonctionnant sur Mac et Windows.

3. Dans Etcher, sélectionnez l’image du point 1 et écrivez-là sur la carte micro SD.

4. Configuration initiale de la Raspberry : si vous avez un écran et un clavier à connecter, reportez-vous au point 1 ci-dessous, sinon le point 2 décrit une configuration "headless", c’est à dire sans écran ni clavier sur la Raspberry.

a) Pour une installation avec écran et clavier : mettez la Raspberry sous tension, puis suivez ce lien afin de configurer une connexion WiFi. A la suite de cela, vous pouvez passer directement à la section 2.4 "installation du logiciel de mesure".

b) Pour une installation "headless", la connexion se fera sur un terminal de ligne de commandes via SSH. Pour activer la fonctionnalité SSH et connecter la Raspberry au Wifi local afin de pouvoir effectuer l’installation de l’Airberry, il faut ajouter quelques informations sur la carte SD configurée au point précédent. pour cela :

1. Débranchez et rebranchez la carte micro SD.

2. Parcourez le volume "boot".

3. Créez un fichier nommé "SSH" (pas d’extension ni de contenu) dans le volume "boot".

4. Créez un fichier "wpa_supplicant.conf" avec le contenu suivant :

ctrl_interface=DIR=/var/run/wpa_supplicant GROUP=netdev

update_config=1

country="be"

network={

 ssid="<Name of your WiFi>"

 psk="<Password for your WiFi>"

}

N'oubliez pas d'indiquer votre nom de réseau et mot de passe WiFi dans les variables "ssid" et "psk". Vous trouverez davantage de détails sur cette procédure ici.

2.3. Connexion de la Raspberry au WiFi

A ce stade ci, votre Raspberry devrait être reliée à votre réseau WIFI. Il faut à présent se connecter dessus, pour cela :

1. Ouvrez un terminal

2. Encodez :

ssh pi@raspberrypi.local

3. Encodez le mot de passe qui est "raspberry".

2.4. Installation du logiciel de mesure

Réalisé par un membre du CETIC, un logiciel de mesure est disponible sur Github.

1. Clonez le dépôt dans le répertoire de votre choix sur votre ordinateur :

git clone https://github.com/terence-bigtt/airBerry.git

2. Copiez le contenu du répertoire backend / scripts vers le raspberry (utilisateurs windows) :

scp backend/scripts pi@raspberrypi.local:~

3. Connectez-vous au terminal de la Raspberry en ssh:


ssh pi@raspberrypi.local

4. Entrez la commande ci-dessous :

sudo bash install.sh

Ce script va effectuer les opérations suivantes :

1. Désactiver le bluetooth (qui occupe l’interface UART matérielle).

2. Activer le support UART (pour la communication avec le SDS011).

3. Activer le Support SPI (pour la communication avec le MCP3008).

4. Installer le serveur de configuration et de mesures.

5. Installer la vue de configuration.

6. Installer un point d'accès Wifi (RaspAP, voir section 2.5).

7. Servir la vue de configuration via le serveur minihttp installé par RaspAP.

Le serveur de mesure effectue une mesure sur tous les capteurs connectés à intervalle régulier (par défaut, toutes les 15 minutes). Après cette mesure, il envoie ces données au serveur central, grâce à un token (voir l'étape 4 de cette fiche) et à l’adresse de ce serveur. Si il ne parvient pas à réaliser cette étape, le serveur de mesure stocke localement la donnée datée. Dès qu’une connexion avec le serveur est établie, le Airberry envoie les données qu’il a stockée localement afin d’éviter de perdre des mesures. En parallèle, il stocke en interne un certain nombre de mesures passées (100 par défaut), lesquelles peuvent être visualisées dans l’onglet “Dashboard” de l’interface, disponible à l'adresse http://raspberrypi.local/air ou http://<adresse ip du Airberry>/air (disponible que le même wifi que le Airberry).

Une fois les mesures effectuées, le serveur re-planifie une nouvelle mesure après le délai configuré.

2.5. Configuration d’un Access Point

L'installation et l'utilisation du Airberry peut avoir lieu dans des endroits à priori différents. Par conséquent, il est utile de pouvoir configurer l'accès internet de manière simple. A cette fin, nous utiliserons le logiciel RaspAp, qui a été installé automatiquement lors de l'étape précédente.

Afin de configurer la connectivité, veuillez suivre les étapes suivantes :

1. Redémarrez la Raspberry en la débranchant et rebranchant. Après un petit moment, le réseau “raspi-webgui” doit devenir disponible.

2. Connectez-vous à ce réseau avec le mot de passe “ChangeMe”, et dans un navigateur, demandez l’adresse 10.3.141.1. Cette adresse sert une interface accessible avec les user/mots de passe suivants :

Username : admin
Password : secret

3. Dans l’onglet “Configure HotSpot / avancé”, activez l’option “Wifi client AP mode”.

4. Redémarrez (System / Reboot). Attention, après cette opération, l’adresse de la Raspberry sur le hotspot (réseau raspi-webgui) change et devient 192.168.50.1.

5. Si tout s’est bien passé, la Raspberry devrait être connectée à internet.

ETAPE 3 - Configuration d’un serveur de récolte de données (optionnel)

Le CETIC met à disposition l’accès à un serveur de récolte de données pour le projet AirBerry. Contactez-le si vous souhaitez obtenir une clé d’identification pour votre appareil de mesure.

Si vous souhaitez configurer votre propre serveur, vous trouverez la documentation concernant les étapes à suivre sur le site ThingsBoard (nous avons également une fiche expliquant comment installer et prendre en main cette plateforme).

ETAPE 4 - Configuration finale

1. Connectez-vous à l'interface de configuration du Airberry : http://raspberrypi.local/air ou http://<adresse ip du Airberry>/air,

2. Cliquez sur l'onglet "Admin", qui vous permettra de configurer :

- l’intervalle de temps entre les mesure,

- l’adresse du serveur central : entrez l'adresse de récolte de données de votre serveur ThingsBoard, celui du CETIC est https://air.ext.cetic.be/api/v1/{}/telemetry,

- le token d’identification pour le serveur central : entrez le token device généré par ThingsBoard ou celui fournit par le CETIC,

- le nombre de dernières mesures à conserver.

ETAPE 5 - Fonctionnement local et customisation

L’Airberry conserve une partie de ses mesures localement et permet de les afficher sur un graphique. Il est tout à fait envisageable de modifier le logiciel de configuration et de pilotage de l’ Airberry pour conserver systématiquement toutes les mesures, et de n’utiliser le moniteur que dans un mode local. De même, il est envisageable de publier les données vers un autre système que ThingsBoard (Grafana, par exemple), moyennant quelques modifications mineures. Le code est opensource et disponible sur le dépôt Github.

La gestion des réseaux de capteurs

laurie — Wed, 18 Nov 2020 15:07:34 +0000

La gestion des réseaux de capteurs

Tags

Connectivité/réseaux

IoT

laurie Wed, 11/18/2020 - 16:07

Télécharger le PDF

Fiche La gestion des réseaux de capteurs

Body

Découvrez les plateformes IoT

Vous ne déployez pas encore d’objets connectés? Aujourd’hui l’IoT est la réponse qu’il vous faut afin de plonger dans l’ère du numérique, d’améliorer la qualité de vos services et de proposer de nouvelles stratégies et approches!

Cette fiche traite principalement des besoins de gestion des réseaux de capteurs : dans un premier temps, nous allons introduire les concepts d’Iot et d’IIoT, deux notions importantes à l’heure actuelle, surtout pour le monde industriel, pour ensuite aborder les besoins et les problématique liés à ces concepts.

Suite à cela, nous nous focaliserons sur les différents types de plateforme IoT et nous décrirons les critères de sélection à prendre en compte lors du choix d’une plateforme. Ces critères nous permettront de choisir la plateforme IoT qui nous semble la plus pertinente.

Pourquoi utiliser une plateforme IoT?

1. Introduction à l’Internet des Objets (IoT)

Depuis quelques années, l’Internet des Objets (IoT) est l’un des piliers, avec l’intelligence artificielle, la réalité augmentée et bien d’autres technologies disruptives, qui accompagne l’évolution des industries dans leur 4ème phase d’évolution (autrement dit, l’Industrie 4.0).

Du capteur de la station météo au smartphone, l’Internet des Objets est de plus en plus présent dans notre quotidien. Son essor est lié à notre besoin de numériser notre environnement afin de l'analyser, le comprendre, le prédire et si possible, l’optimiser.

Un réseau de capteurs IoT représente un ensemble d’objets connectés capable de numériser leur environnement puis de transmettre cette information sur internet. Une plateforme IoT représente quant à elle un ensemble de services : elle permet de collecter, stocker, corréler, analyser et exploiter les données générées par les capteurs. D’une certaine façon, elle rend des données inexploitées, exploitables et permet, à partir du traitement de celles-ci, de créer de la valeur en générant et en mettant à disposition de nouvelles informations.

Cette technologie est mise en oeuvre dans de nombreux secteurs d’activités comme l’industrie avec le monitoring environnemental (voir notre fiche sur l’Airberry), la santé avec les capteurs cardiaques connectés ou encore dans nos maisons avec les prises intelligentes (voir la fiche Fabriquer votre propre système domotique open source), la sécurité,...

2. L’IoT et le monde industriel

L’IIoT (Industrial Internet of Things) est une sous-catégorie de l’IoT : il s’agit de l’IoT appliqué au secteur industriel. Alors que l’IoT vise à répondre aux besoins d’un large public, l’IIoT se focalise sur les besoins des professionnels et des entreprises. Ces derniers doivent pouvoir disposer d’indicateurs concrets et de données permettant d’analyser et de comprendre les comportements des systèmes industriels. Les capteurs et détecteurs ne sont pas seulement interconnectés, ils sont également connectés aux autres équipements de l’entreprise afin de générer un maximum d’informations tout au long de la chaîne de production. Tous les maillons de la chaîne industrielle de valeur (les machines, les produits, les collaborateurs, les fournisseurs, les infrastructures,...) peuvent désormais communiquer entre eux, ce qui rend l’usine plus intelligente.

3. Quelques usages et avantages de l’IIoT

De façon générale, cette technologie permet de fluidifier et de simplifier la gestion des données, ainsi que de remonter facilement les données stratégiques pour l’entreprise, étant donné que le flux d’information est en temps réel.

3.1. Gestion du processus de production, des ressources et des stocks

L’IIoT améliore nettement la gestion des opérations industrielles à chaque étape du processus de production : il y a une surveillance et un suivi beaucoup plus performant, le contrôle qualité est automatisé, les ressources et les stocks sont gérés de manière plus responsable et anticipée, la production est adaptable en temps réel, les ajustements des équipements techniques du bâtiment (éclairage, chauffage, climatisation,...) répondent aux besoins réels de l’entreprise,... Celle-ci peut désormais contrôler plus précisément ses coûts de financements et diminuer les gaspillages.

3.2. Amélioration de la maintenance

Un autre avantage est que l’analyse constante des données liées au fonctionnement des différentes machines et systèmes rend la planification et l’exécution des interventions plus efficaces, notamment grâce à la mise en place d’un système de maintenance prédictive ou à l’automatisation d’alertes.

3.3. Plus de réactivité, plus de sécurité

L’IIoT représente également un atout en ce qui concerne la sécurité des bâtiments, ainsi que du personnel, car celles-ci se trouvent renforcées par les systèmes de surveillances qui augmentent la vitesse de réactivité face à une menace potentielle, qui préviennent des risques d’accidents, qui évaluent l’usage ou la mauvaise utilisation du système de sécurité, qui détectent des chutes, qui envoient des messages à des centres de secours, qui peuvent accorder l’accès ou non aux zones de l’entreprises (via des contrôles d’accès biométriques par exemple), … Cela contribue à renforcer le bien-être des employés et à éviter les interruptions de production.

4. L’IoT et l’IIot, des solutions pour l’avenir

Comme ont peut le constater, l’IIoT vient bouleverser les prises de décisions, le fonctionnement et l’organisation d’une entreprise en simplifiant ses processus et en y ajoutant de l’intelligence. Cette technologie représente une nouvelle source de revenus et crée des avantages concurrentiels indéniables. Elle n’apporte pas seulement des gains financiers en améliorant le bénéfice net et le retour sur investissement de l’entreprise, il y a également des gains de temps, de qualité de travail, de confort et sécurité des employés, de flexibilité, de productivité et de traçabilité importants qui favorisent la transition numérique de l’entreprise vers l’Industrie 4.0.

Bien que le monde de l’Internet des Objets soit toujours en pleine expansion et que de nombreuses technologies émergent encore sur le marché, il existe de nombreuses problématiques liées à cette thématique, notamment concernant le rapatriement des informations collectées sur le terrain. En effet, il existe des contraintes comme la couverture réseau ou encore l’autonomie énergétique de ces objets déployés. Il est donc nécessaire de gérer ces différentes solutions IoT existantes à l’aide de l’outil de management de réseaux de capteurs, les plateformes IoT.

5. Les problématiques de L’IoT

L’enjeu des plateformes IoT réside dans leurs capacités à gérer un parc de capteurs connectés. La gestion est divisible en plusieurs catégories :

La gestion des connecteurs : API pour collecter les données
La gestion des flux : le filtrage des données collectées et l’extraction des informations
La gestion du stockage : la sauvegarde des informations
La gestion des utilisateurs : le droit d’accès des utilisateurs
La gestion des capteurs : le cycle de vie des capteurs
La gestion des actions & alertes : la prise de décision automatisée

Pour répondre à ces besoins, nous allons fixer les critères de sélection d’une plateforme IoT dans la deuxième partie de cette fiche.

Comment choisir sa plateforme IoT ?

1. Définition de la plateforme IoT

La plateforme IoT est un ensemble de services qui a pour objectifs de gérer :

la collecte des données des objets connectés,
le cycle de vie de capteurs,
le partage des informations (à des utilisateurs et/ou à des applications).

2. Les types de plateformes : open source vs propriétaires

Il existe deux types de plateformes IoT : les plateformes open source et les plateformes propriétaires.

Les plateformes open-source : le logiciel est distribué librement et le code-source est ouvert à tous. Vous devez développer l’ensemble des services et vous occuper de la maintenance de la plateforme vous-même, il vous faut donc assez bien de connaissances et de ressources pour faire cela. Cela peut prendre un certain temps , mais heureusement, vous pouvez compter sur la communauté pour vous aider.
Les plateformes propriétaires : généralement, vous souscrivez aux services et vous partagez la responsabilité avec le prestataire qui fournit et maintient les environnements.

Pour aller plus en détails, voici les avantages et inconvénients de 4 modèles de plateformes IoT existants :

Les solutions PaaS (Plateforme as a Service) : ces plateformes sont des services proposés par des acteurs du Cloud (Azur IoT, IBM Watson IoT ou encore AWS IoT) ou par des opérateurs téléphoniques comme Orange Live Objects ou encore EnCo de Proximus).
Les solutions SaaS (Software as a Service) : ces logiciels sont des services proposés par des entreprises visant à offrir une solution clé en main pour les utilisateurs, comme par exemples : AllThingsTalks, ThingsPlay, Opinum DataHub, WeSmart.
Les solutions open source : ces solution communautaires sont des services de gestion IoT génériques et adaptables aux besoins, comme ThingsBoard CE ou MainFlux.
Les solutions sur mesure : cette approche vise les besoins spécifiques. Il n’existe donc pas de solution plateforme IoT en soi mais il s’agit d’outils, tel que FADI, qui vous permettront de mettre oeuvre et de maintenir plus aisément votre propre plateforme IoT.

Les avantages et inconvénients de ces approches sont :

3. Les critères de sélection

Pour comparer des services de plateformes IoT, nous avons basés nos études comparatives sur les critères suivants :

Device management : il s’agit de la déclaration et gestion du parc d’objets connectés, de la gestion des configurations et des protocoles de communication, de la gestion des firmwares (systèmes d’exploitation) et de la gestion des droits d’accès à la plateforme.
Sécurité : il s’agit d’être protégé des risques d’hacking, de garantir la confidentialité des données de bout en bout, de proposer un cryptage fort des données, de fournir un système d’authentification sécurisé, de permettre la séparation des données dans l’écosystème commun.
Capacité de récupération des données : il s’agit du type et du nombre de protocoles de communication gérés par la plateforme (MQTT, CoAP...), des types d’accès autorisés (LoRa, Sigfox …).
Visualisation des données : ce sont les interfaces, les écrans, les modules d’affichage des informations à disposition par défaut, mais également de la modélisation et des processus de provisioning des objets (capteurs), des fonctionnalités de gestion des flottes ainsi que la capacité à bufferiser les messages descendants.
Stockage des données : cela se rapporte à l’historisation de l’ensemble des données transmises (messages, logs...) basé sur les capacités de stockage offertes par l’utilisation des technologies cloud.
Rule engine : il s’agit de la mise à disposition d’un moteur de règles et d’alertes, celles-ci sont envoyées via SMS ou par mail en cas d’intrusion dans un environnement privé par exemple.

Comment identifier la PoV d’une plateforme IoT?

Afin d’identifier la Proof of Value (PoV, c’est-à-dire la preuve de viabilité économique d’un concept ou d’un service) d'une plateforme IoT, il est désirable de maîtriser les coûts de déploiement et d'utilisation tout en minimisant les besoins de développement. En effet, l’open source répond parfaitement au besoin d’interopérabilité et permet, simplement et rapidement, de développer, de déployer et de tester vos solutions IoT. Il n’y a pas de risques de dépendance par rapport à un fournisseur et vous pouvez partager vos réalisations (applications, améliorations du code,...) avec la communauté. Un autre avantage est que si vous rencontrez des bugs, la communauté peut vous apporter une multitude de points de vue et de solutions par rapport à ceux-ci.

1. Comparaison de plusieurs plateformes IoT open source

Il existe actuellement de nombreux projets de plateformes IoT open source. Pour réaliser notre sélection, nous avons pris le parti d’étudier les plateformes IoT avec de fortes communautés : Kaa IoT Platform, SiteWhere, ThingSpeak, ThingsBoard CE, Mainflux, DeviceHive et Thinger et WSo2.

2. Identification des besoins de notre plateforme IoT open source

Pour être capable de collecter les données de l’ensemble des réseaux de capteurs déployés, la plateforme IoT open source devra satisfaire aux critères suivants :

Supporter la gestion des appareils,
Collecter les données via les protocoles HTTP, MQTT et CoAP,
Posséder au minimum une authentification de base (identifiant + mot de passe) ou un échange de jetons sécurisés (JWT),
Inclure un outil de visualisation des données,
Inclure une base de données “IoT”,
Inclure un moteur de règles.

3. Conclusions à propos de la plateforme IoT open source adéquate

Suite aux critères précédemment cités, notre choix s’est centré sur les plateformes IoT ThingsBoard et Mainflux. La plateforme ThingsBoard est finalement préférée à Mainflux car elle constitue une solution supportée par davantage d’utilisateurs (sur Github : 4500 stars pour Thingsboard contre 686 stars pour Mainflux). Cet aspect doit toujours être pris en compte car une forte communauté open source permet de garantir une meilleure pérennité de l’application. De plus, si après une période de test de ThingsBoard CE (Community Edition), vous désirez pérenniser l’application et garantir une maintenance, il est possible d’acheter une licence ou de souscrire à un abonnement à la solution ThingsBoard PE (Professional Edition).

Pour en apprendre plus au sujet de la plateforme ThingsBoard, depuis l'installation jusqu'à sa prise en main, rendez-vous sur la fiche qui lui est dédiée!

ThingsBoard : gérer les données de vos appareils connectés

laurie — Tue, 17 Nov 2020 10:23:53 +0000

ThingsBoard : gérer les données de vos appareils connectés

Tags

Connectivité/réseaux

Gestion de données

IoT

laurie Tue, 11/17/2020 - 11:23

Télécharger le PDF

Fiche Thingsboard

Body

Installation et prise en main de la plateforme IoT

Cette fiche vous explique comment mettre en place ThingsBoard, une plateforme IoT open source, qui vous permet de gérer vos appareils connectés, collecter, traiter et visualiser les données de télémétries provenant de vos capteurs.

Prérequis

Connaissances de base en linux

Matériel requis

Avoir un réseau de capteurs déployé.

La configuration matérielle requise dépend de la base de données choisie et du nombre d’appareils connectés au système :

ThingsBoard + base de données Postgres : environnement de production minimal (2Go de RAM minimum;4 Go de Ram recommandés).
ThingsBoard + base de données Cassandra : environnement de production optimisé (4Go de RAM minimum; 8 Go sont recommandés).
ThingsBoard + base de données HSQLDB embarquée : environnement de développement (Non recommandé).

Pour quoi faire?

Comme expliqué dans notre précédente fiche relative aux plateformes IoT, ThingsBoard nous semble être la solution la plus pertinente par rapport aux critères de sélection que nous avions énoncés (besoin d’être open source, de supporter la gestion des appareils, de collecter les données via les protocoles HTTP, MQTT et CoAP, d’inclure un outil de visualisation des données et une base de données “IoT”,...).

Get Started - ThingsBoard CE & Docker

Pour effectuer l’installation de la plateforme IoT Open Source ThingsBoard, plusieurs solutions s’offrent à vous. Il est possible d’installer ThingsBoard sur plusieurs plateformes comme indiqué sur la documentation officielle. Dans notre cas, nous installerons ThingsBoard sur Docker, dans une machine virtuelle Debian.

Etape 1 - Installation de Docker

Docker est un outil qui permet de packager des applications afin de faciliter leurs partages et leurs utilisations.

Pour effectuer l’installation sur une machine Linux, il vous faut télécharger le fichier docker-install.sh puis l'exécuter avec la commande suivante :

wget get.docker.com -o docker-install.sh && sudo sh docker-install.sh

Si des erreurs surviennent, veuillez effectuer l’installation pas à pas avec la documentation officielle de Docker disponible sur ce lien.

Etape 2 - Installation et prise en main de ThingsBoard

Pour l’installation de ThingsBoard, trois configurations de base de données s’offrent à vous :

ThingsBoard + base de données Postgres : environnement de production minimal (2Go de RAM minimum;4 Go de Ram recommandés).
ThingsBoard + base de données Cassandra : environnement de production optimisé (4Go de RAM minimum; 8 Go sont recommandés).

ThingsBoard + base de données HSQLDB embarquée : environnement de développement (Non recommandé).

Dans ce tutoriel, nous utiliserons la configuration légère ThingsBoard Postgres car elle répond parfaitement à notre besoin de démonstration.

2.1 Installation de ThingsBoard CE

Maintenant que Docker est opérationnel, vous pouvez installer et exécuter l’outil via la commande suivante :

docker run -it -p 9090:9090 -p 1883:1883 -p 5683:5683/udp -v ~/.mytb-data:/data -v ~/.mytb-logs:/var/logs/thingsboard --name mytb --restart always thingsboard/tb-postgres

2.2 Login

Pour accéder à l’outil ThingsBoard, il est nécessaire d’identifier votre adresse IP (par exemple, si vous avez installé ThingsBoard sur votre odinateur, l’adresse est “localhost”) :

http://$YOUR-IP$:9090

Une fois sur l’interface ThingsBoard, il vous faut vous connecter au compte administrateur avec les informations suivantes :

Email par défaut : tenant@thingsboard.org,
Mot de passe par défaut : tenant.

2.3 Création d’un device

Pour créer votre premier appareil connecté, vous devez :

1. vous rendre sur l’onglet “Dispositifs” ou “Devices”,

2. cliquez ensuite sur le “+” en bas à droite puis “Ajouter un nouveau dispositif”,

3. donnez-lui un nom et attribuez-lui un type,

4. cliquez sur “Ajouter”.

Votre device est désormais créé.

2.4 Simulation d’un device

Afin de simplifier la démonstration, nous utiliserons dans ce tutoriel un appareil connecté simulé. Pour simuler le senseur, nous allons utiliser le système de “Chaîne de règle” de ThingsBoard :

1. Cliquez sur l’onglet “Chaîne de règles” (ou “Rule chains” en anglais), puis créez une nouvelle chaîne de règles.

2. Donnez-lui un nom et cliquez sur “Ajouter”.

Il faut désormais configurer cette chaîne de règles :

1. Pour simuler un device, nous allons avoir besoin d’un “Generator” : sélectionnez, dans la catégorie “Action”, le bloc rouge nommé “Générator”,

2. Dans son écran de configuration, attribuez-lui un nom,

3. Choisissez le nombre de secondes entre chaque message généré par le device. Dans notre exemple nous prendrons 2 secondes.

4. Sélectionnez ensuite “Dispositif” comme origine et choisissez le device créé précédemment. Enfin, notre fonction de démonstration est la suivante :

var msg = { temp: 25+Math.floor(Math.random() * Math.floor(5)), humidity: 77 };
var metadata = { data: 40 };
var msgType = "POST_TELEMETRY_REQUEST";
return { msg: msg, metadata: metadata, msgType: msgType };

5. Cliquez ensuite sur “Ajouter”,

6. Ensuite, sélectionnez dans la catégorie “Action”, un bloc rouge “Save timeseries”, ajoutez-le, nommez-le et cliquez sur “Ajouter”. Ce bloc va vous permettre de stocker vos données.

7. Reliez le bloc “Generator” au bloc “Save timeseries” en choisissant “Success” comme “Étiquette de liens” et cliquez sur “Ajouter”. Ne vous préoccupez pas du bloc vert “Input”.

Votre device est maintenant simulé et vous pouvez le vérifier comme suit :

1. Cliquez sur l’onglet “Dispositif”,

2. Cliquez sur le device créé précédemment,

3. Cliquez sur l’onglet “Dernière télémétrie”. Vous pouvez désormais observer la température et l’humidité qui sont mises à jour toutes les deux secondes.

2.5 Visualisation des données dans le dashboard

Maintenant que vous avez un appareil simulé opérationnel, vous allez pouvoir visualiser les informations qu’il renvoit sur un écran de contrôle appelé “Dashboard” grâce aux étapes suivantes :

1. Cliquez sur l’onglet “Tableaux de bord“ (ou “Dashboards” en anglais).

2. Cliquez ensuite sur le “+” en bas à droite puis “Créer un nouveau tableau de bord”,

3. Nommez-le et cliquez sur “Ajouter”. Il est possible d’attribuer ce Dashboard à un utilisateur en cliquant sur l'icône “Gérer les clients affectés” à côté de l'icône supprimer.

Après avoir cliqué sur le dashboard, il faut définir l’alias qui sera utilisé. Il s’agit d’un nom secondaire qui va être attribué à un certain device. Pour se faire :

1. cliquez sur le bouton orange “Edition” en bas à droite,

2. cliquez ensuite sur l’icône “Alias d’entité” à gauche du bouton plein écran. Vous pouvez alors ajouter votre alias en saisissant un nom.

3. Dans votre cas, sélectionnez le filtre “Entité unique” puis le type dispositif avec le nom de votre device.

Votre alias est désormais créé. Vous pouvez désormais ajouter des éléments à votre dashboard en cliquant sur “Ajouter un nouveau widget” (une carte, une jauge de température, un graphique temporel...).

La démonstration en vidéo

Retrouvez la démonstration de la plateforme IoT ThingsBoard grâce cette vidéo

Pour aller plus loin

Si vous désirez en savoir plus sur ThingsBoard, nous vous invitons à consulter la documentation officielle disponible ici.

DMWay, la communication IoT simplifiée

laurie — Thu, 12 Nov 2020 14:22:15 +0000

DMWay, la communication IoT simplifiée

Tags

laurie Thu, 11/12/2020 - 15:22

Télécharger le PDF

Fiche DMway

Body

Du smart building à l’Industrie 4.0 en passant par l’e-santé, de plus en plus d’appareils intelligents infiltrent notre quotidien. Que ce soit pour optimiser l’efficacité énergétique d’un bâtiment, faire de la maintenance prédictive, s’assurer un meilleur confort de vie,... Il existe désormais une pléthore d’objets connectés! Le hic ? Il existe également une multitude de protocoles IoT. Trouver un seul protocole de communication compatible avec tous les différents appareils connectés s’avère compliqué... sauf si vous avez DMWay!

Cette fiche vous explique plus en détails DMWay, la solution multi-protocoles de gestion de données pour l’IoT Gateways.

Pour qui ?

Vous êtes une entreprise utilisant de nombreux capteurs hétérogènes ? Une entreprise industrielle désirant commander sa chaîne de production ? Votre société propose des services de maintenance prédictive ? Vous implémentez des solutions de capture de données ? Vous devez certifier des installations ? Vous vendez des gateways industrielles et des solutions de data-lake ? Vous voulez simplement vous simplifier la vie quant à la collecte et à la gestion de vos données ?

DMWay est une solution logicielle qui va fortement vous intéresser !

Pour quoi faire ?

A l’heure actuelle, il existe une multitude d’objets connectés et tout autant de protocoles de communication IoT, propriétaires ou non. La gestion des sources et des formats de données hétérogènes est très compliquée : les backends ont besoin d’un connecteur adapté pour chaque protocole étant donné que de nombreux types de sources de données ont leurs propres caractéristiques et exigences. Les utilisateurs se retrouvent souvent bloqués soit par rapport à une marque de matériel soit avec un système de gestion qui ne répond pas complètement à leurs attentes.

DMWay (Dynamic Mapping Gateway) sert d’intermédiaire entre les objets connectés et les applications web. Son objectif est d’interconnecter des données hétérogènes en uniformisant les protocoles IoT reçus en entrée et en fournissant, en sortie, les différents protocoles dans le format souhaité.

On peut plus facilement résumer le rôle de DMWay à celui de traducteur !

Les atouts de DMWay

Se défaire du vendor lock in

Avec DMWay, vous êtes propriétaire de vos données et vous pouvez les gérer comme vous le souhaitez.

Le multiplexage de données

Grâce à DMWay, vous pourrez connecter vos différents capteurs/actionneurs et distribuer les données qui en résultent à des backends différents. Si vous disposez de 45 capteurs de marque X conçus pour communiquer avec le backend de cette même marque X, il est difficile d’apporter de l’évolutivité à vos données ... Or déployer DMWay comme intermédiaire, vous permet de communiquer les données avec des backends d’autres marques ou open-source.

La sémantique des données

La sémantique des données concerne la signification du message : elle assure la conservation du sens des données lors des échanges entre les différentes parties communicantes. Le rôle de la sémantique est vraiment d’assurer la cohérence des significations reçues (on parle d’interopérabilité sémantique).

DMway permet de détecter et conserver la sémantique initiale, et sous certaine configuration, il peut l’enrichir, surtout lorsque les couches de protocoles sous-jacentes sont faiblement structurées.

Le support built in des standards majeurs de l’IoT

DMway comprend les protocoles principaux, les standards majeurs de l’industrie IoT :

OCF/OneIOTA
OneM2M/HGI
OPC/UA
CoAP
CayenneLPP
ZWave
ModBus
MQTT
...

Les interfaces supportées

Afin de supporter les différents protocoles ci-dessus, DMway supporte diverses interfaces physiques, comme Ethernet, WiFi, GPRS, ou Serial, RS-485, . En effet, p… Par exemple, vous pouvez communiquer directement vers un équipement en CayenneLPP via Serial ou communiquer en ZWave, RF, LoRaWAN,... via leurs outils d’interfaçage MQTT.T au moyen d’une connexion Ethernet.

Support built in des backends les plus communs

La solution DMway permet d’intégrer très facilement un nouveau backend grâce à une configuration rapide !

Actuellement, elle vous permet de communiquer vers l’extérieur envia, entre autres, MQTT, CoAP, OneM2M et SerialM.,... DMway dispose également de connecteurs spécifiques pour MongoDB, RabbitMQT, Thingsboard et TSorage (et prochainement OPC/UA !).

Si vos plateformes intègrent du MQTT, comme Azure ou AWS par exemple, vous pouvez également les connecter directement à DMwWay.

Versatilité dans le déploiement

DMway est un logiciel léger que vous pouvez déployer à divers endroits de votre architecture :

Edge computing : vous pouvez réalisez une implémentation de DMWay directement dans votre gateway.
Cloud computing/ Fog server : vous pouvez installer DMWay a l’entrée d’une solution de stockage ou de votre plateforme web pour simplifier l’interconnexion de vos capteurs.
Hybride (Edge & Cloud) : vous pouvez déployer DMWay sur votre gateway et sur vos serveurs afin de simplifier et uniformiser votre architecture de déploiement.

Pourquoi choisir DMway plutôt qu’une autre solution ?

DMWay fait face à de nombreux concurrents sur le marché… Néanmoins, aucun ne couvre tous les aspects de DMWay !

Les cas d’utilisation de DMway

DMWay a déjà été mobilisé dans divers cas d’utilisation :

Le projet de recherche MAPIU

L’objectif de ce projet dans le domaine de la logistique était de voir, grâce au placement de capteurs à l’intérieur de camions, les chocs subis par les caisses lors du transport. DMWay a été implémenté entre les capteurs et le système de gestion situé dans le cloud.

Le projet de recherche KEY2SUCCESS4.0

Ce projet de démonstrateur industriel léger et polyvalent a pour but de démontrer l’usage de l’IoT dans l’industrie 4.0. DMWay a été implémenté localement en tant qu'interprète multiplexeur.

Le projet Build4Wal

Ce projet, aussi appelé Construction 4.0, a pour objectif de stimuler la transition numérique du secteur de la construction. DMWay facilite le déploiement des capteurs pour l’interconnexion à la plateforme Thingsboard.

Le système domotique du CETIC

Des capteurs hétérogènes ont été installés au sein du bâtiment. Ce cas d’application illustre la capacité d’ajout de capteurs à chaud ainsi que le multiplexage : de nouveaux capteurs ont été installés sans avoir besoin de modifier la configuration ou de faire quoi que ce soit d’autre. La communication s’est directement faite avec le système déjà en place et avec différents backends tels que Thingsboard et Grafana.

La démonstration en vidéo

Voici le replay du webinaire organisé par le Hub-C le 16 décembre 2021 afin de faire une démonstration de DMway La présentation est réalisée par Amel Achour, ingénieure de recherche Senior en Evolutivité des systèmes embarqués et réseaux IoT au sein du CETIC.

Pour aller plus loin...

DMway est un outil développé par le CETIC, n’hésitez pas à prendre contact si vous désirez des informations supplémentaires!

Si vous voulez en savoir plus sur les réseaux de capteurs et l’IoT, vous pouvez consulter nos fiches relatives à la gestion des réseaux de capteurs, à la plateforme IoT Thingsboard ou encore celles concernant la fabrication de son propre système domotique open source et de son propre moniteur de qualité d’air.

Besoin d’une aide supplémentaire ?

Le Hub-C dans le cadre de ses services d’accompagnement numérique organise des workshops et groupes de travail en lien avec les nouvelles technologies de prototypages. Vous souhaitez un accompagnement pour votre projet innovant ou vous souhaitez participer à un prochain workshop? N'hésitez pas à contacter un membre du Hub !

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

FADI, un Framework pour l'Automatisation du Déploiement et de l'orchestration d'Infrastructures conteneurisées

laurie — Thu, 05 Nov 2020 10:35:10 +0000

FADI, un Framework pour l'Automatisation du Déploiement et de l'orchestration d'Infrastructures conteneurisées

Tags

laurie Thu, 11/05/2020 - 11:35

Télécharger le PDF

Fiche FADI

Body

Vous disposez de nombreuses données (des mails, des pdfs, des communications vocales, des données provenant de vos capteurs, ...) mais ne savez pas comment les exploiter et les capitaliser ? Vous désirez faire un prototype/POC avec une brique logicielle à moindre frais ? Vous recherchez une solution technologique "neutre" car vous craignez l'enfermement propriétaire/le vendor lock-in ?

Que vous soyez une grande entreprise ou une plus petite, FADI va vous intéresser : il s’agit d’une solution peu coûteuse en termes d'infrastructure et d'achat de licences. Avec cette suite, vous pouvez en effet procéder étape par étape dans le développement et l’opération de vos prototypes et produits : les intégrer, déployer, ...

Prérequis

Avoir une connaissance des technologies liées aux conteneurs (Docker, Kubernetes).

Savoir écrire des lignes de commandes.

Disposer d’une station de travail récente ou d’un espace de test Kubernetes.

Pour quoi faire ?

Pour faire simple, FADI est un framework personnalisable selon vos besoins, qui assemble et configure les outils à votre place afin de faciliter et d’automatiser l’intégration, le déploiement et le suivi de vos applications.

À l’origine, FADI est une plateforme dédiée au Big Data qui rassemble des applications cloud native et qui se base sur des outils open source éprouvés. Cette plateforme rend le déploiement de solutions Big Data mais aussi celui des piles logicielles plus simples, portables et évolutifs sur diverses infrastructures (clouds privés et publics).

Illustration des divers composants de FADI

Quelques concepts ...

Une application “Cloud Native”

Voici une description succincte des caractéristiques d’une application “cloud native”, et donc des applications assemblées par la plateforme FADI :

Une architecture basée sur les services et les microservices.

Un microservice est une architecture pour les applications : les services y sont individuels, indépendants, et spécifiques et, une fois assemblés, constituent l’application. Chaque service peut donc être déployé, mis à jour et géré de façon parfaitement autonome.

Une communication entre les services (internes et externes) basée sur les API (Application Programming Interface, interface de programmation d’application).

Une infrastructure basée sur les conteneurs (ce qui facilite la gestion des microservices).

Un conteneur est un package logiciel léger et indépendant, une sorte d’enveloppe virtuelle ou d’environnement isolé, qui regroupe tous les éléments nécessaires au bon fonctionnement et à la distribution d’une application : le code, les fichiers de configuration, l’environnement d’exécution, les libraires et toutes les dépendances requises pour l’exécution,... L’ensemble du contenu du conteneur se trouve dans une image conteneur, c’est un fichier de code qui contient l’application/service, ses dépendances et sa configuration. Les intérêts des conteneurs sont de virtualiser les applications logicielles en utilisant le système d’exploitation de leur hôte et de pouvoir les actualiser sans réorganiser la totalité de l’application. De cette façon, les ressources sont très facilement flexibles et portables d’un système à un autre. Les conteneurs n'intègrent pas leur propre système d’exploitation, ils sont donc très légers et facilement déployables dans d’autres environnements avec peu, voire aucune modification! Vous pouvez mettre à jour un seul outil, séparément des autres; vous pouvez installer la dernière version de Grafana et garder Jupyterhub à sa première version par exemple.

Docker est la technologie de conteneurisation la plus utilisée. Elle vous permet de créer aisément vos conteneurs et vos applications basées sur ceux-ci, et est très facile à déployer. Il s’agit d’une solution open source fonctionnant sous Linux mais également Windows Server.

La méthode de développement logiciel DevOps (contraction de Développement et Opération).

Les objectifs de cette méthode sont de permettre, grâce à la communication et à la collaboration entre les développeurs et les responsables des opérations IT, la fluidification des processus, l’accélération de la résolution d'incidents ainsi que de la livraison de nouvelles fonctionnalités avec un niveau de qualité élevé.

Les pratiques DevOps lors du cycle de vie de l’application se caractérisent par une automatisation et une surveillance accrues de toutes les étapes de la création du logiciel. Cela concerne

L'intégration continue : il s’agit d'exécuter des tests automatisés afin de vérifier chaque modification du code source pour en garantir sa qualité. Les problèmes d’intégration sont facilement détectés si vous réalisez correctement la planification de votre développement, la compilation, l’intégration, les tests de votre code et la gestion de vos livrables (les artefacts prêts à être déployés).
Le déploiement continu : une fois les tests validés lors de l’intégration continue, ils peuvent être mis en production. Le déploiement continu est l’automatisation de la mise en production des applications lors de chaque modification.

Pour en savoir plus sur les applications cloud natives, cliquez ici. Quant à la méthode DevOps, vous pouvez consulter les sites suivants : Appvizer, Netapp, Padok

Un orchestrateur de conteneurs

Alors qu’utiliser un ou deux conteneurs peut être facilement gérable et contrôlable, en utiliser plus d’une dizaine peut rapidement se révéler être une tâche fastidieuse, notamment à cause des multiples dépendances et communications entre outils. Un orchestrateur de conteneurs permet de gérer ces communications en automatisant le déploiement, la gestion, la mise à l’échelle et la mise en réseau des conteneurs. L’orchestrateur ne crée pas les conteneurs (pour cela vous devez utiliser une plateforme de conteneurs comme Docker, cité ci-dessus) mais permet de les gérer.

L'orchestrateur de conteneurs le plus connu et mature actuellement est open source et développé par google, il s’agit de Kubernetes. Très utilisé dans le monde industriel, il se déploie sur toutes les architectures disponibles (dans le cloud privé, dans du bare metal, c’est-à-dire une serveur dédié physique, dans des clouds publiques,...) et peut fonctionner sur tout type d'infrastructure.

Une pile logicielle

Une pile logicielle est un groupe de logiciels fonctionnant selon un ordre spécifique et permettant le développement de sites et applications en offrant, ensemble, un service.

Les atouts de FADI

Pourquoi FADI est-elle une plateforme très intéressante ?

Parce vous pouvez développer entièrement vos prototypes et produits !

Les déploiements sont automatisés et simplifiés

Déployer chaque outil à la fois prend du temps et rend la maintenance plus compliquée ; l’automatisation des déploiements va vous simplifier la vie !

Pour plus de fiabilité, vous pouvez prévoir et programmer vos déploiements au moment désiré. Vous pouvez également les contrôler en effectuant une sorte de versionning : par exemple, vous pouvez réaliser un premier déploiement et faire un correctif pour le second, revenir au premier déploiement,... De cette façon, FADI vous assure une certaine traçabilité.

Les déploiements sont simplifiés grâce à des assemblages de services préconfigurés basés sur le logiciel Helm, appelés des Charts. Il s’agit de packages (ou templates) de ressources Kubernetes sous forme de scripts d’installation (des automatisations d’installation) : ces packages sont des sélections d’outils open source pertinents selon le cas d’utilisation/le scénario qui vous intéresse. Par exemple, si vous vous demandez comment installer Apache Nifi sur Kubernetes, vous trouverez toute la démarche ici. Vous trouverez les autres Helm Charts produites et maintenues par le CETIC dans ce dépôt GitHub (attention, ils ne concernent pas tous FADI ! ).

Sa portabilité

FADI est une solution portable, c’est-à-dire que vous pouvez la déployer un peu partout : dans un cloud privé, dans un cloud public, sur site, de manière hybride, etc. Une chose est certaine, là où vous pouvez déployer Kubernetes, vous pouvez déployer FADI.

Sa maintenabilité

FADI s'appuie sur la méthodologie DevOps : vous n’aurez pas à vous soucier de grand-chose étant donné que l’installation, l’intégration, les essais, les déploiements continus et les mises à jour de FADI sont automatisés ! La maintenance étant beaucoup plus facile, le système sera toujours à jour au niveau des dépendances.

Une solution qui vous correspond

Personnalisable de bout en bout, FADI s’adapte à vos besoins. Que cela soit le type d’infrastructure (cloud ou pas), de base de données, etc., FADI offre une sélection d’outils qui vous permet de gérer vos données... Vous pouvez également y intégrer très facilement vos propres solutions existantes ou de nouveaux services. De plus, FADI étant une solution se basant sur des technologies open source matures, vous pouvez toujours la modifier !

Ses traitements des données

FADI propose deux modes d’intégration (voir la fiche Introduction au data processing pour plus d’informations) :

Le mode batch pour le traitement d’un grand volume de données en une seule fois, sur une période donnée (traitement par lot).

Le mode stream pour le traitement des données en continu

L’avantage d’avoir ces deux modes de traitement est que FADI répond à de nombreux use-cases différents :

Le mode Batch est souvent utilisé lorsqu’il faut réaliser des facturations, commandes, rapports,...

Le mode Stream est surtout conseillé lorsque vous devez détecter des évènements et y répondre rapidement, comme par exemple la surveillance des services, la cybersécurité, l’analyse des comportements, la détection de fraudes,...

Ses solutions de stockage de données

FADI propose deux manières de stocker et de centraliser vos données :

1) Les Data Lakes (lacs de données) qui sont le référentiel de données vous permettant de stocker “en vrac” les données brutes originales ingérées (audit, relecture, expériences, etc.). Le mode de traitement des données par lots/batch est préféré pour ce genre d’approche (traitements des données à la demande).

2) Les Data Warehouse (entrepôts de données) qui sont des bases de données où sont stockées les vues agrégées des données ingérées. Le mode de traitement des données Stream est préféré pour cette approche (traitement au moment de l’ingestion des données).

Monitoring et Data visualisation

Il est extrêmement important, à l’heure actuelle, que vous sachiez si vos infrastructures IT sont opérationnelles et sécurisées. Les outils de supervision (monitoring) sont précieux pour vos stratégies de contrôle, d’observation et de décisions.

FADI utilise des outils open-source de monitoring afin de vous permettre de suivre l’état de santé de vos systèmes, collecter vos données en temps réel et déclencher des alertes dès qu’un problème est rencontré.

L’aspect open-source de ces outils répond aux défis du DevOps : le fait de pouvoir remonter n’importe quel type de métriques provenant des applications, et même les indicateurs métiers, répond aux besoins actuels des entreprises en termes de rapidité, flexibilité et de maîtrise des coûts.

FADI vous permet donc de monitorer vos données en configurant vous-même vos systèmes d’alertes. Comme vous pouvez le constater ci-dessous, les outils proposés servent aussi à faire de la data visualisation : c’est-à-dire à représenter et à visualiser les données collectées sous forme de graphique, diagramme et/ou tableaux de bord (dashboards) afin de pouvoir prendre rapidement des décisions. Les outils proposés initialement par FADI sont :

Grafana : il s’agit d’un outil orienté data visualisation avec lequel vous pouvez réaliser des tableaux de bords et des graphiques à partir de différentes sources de données, et principalement à partir de séries temporelles.

Illustration de Grafana provenant de la présentation de FADI

Prometheus : ce logiciel est parfait pour la surveillance de vos métriques ! Il les collecte et les stocke sous forme de séquences temporelles. Bien que des représentations visuelles soient possibles, Prometheus est plutôt utilisé pour la collecte, l’analyse de données ainsi que la génération d’alertes. N’incluant pas de tableaux de bord par défaut, préférez Grafana pour la visualisation de vos données ( il prend en charge l’intégration de Prometheus). Si vous désirez plus d’informations sur Prometheus et le monitoring, nous vous conseillons ce lien.

Zabbix : cette plateforme distribuée est relativement facile d’utilisation pour les personnes ayant peu de connaissances techniques. Elle vous permet de collecter et de gérer vos données, de détecter un problème et d’envoyer des notifications selon des règles personnalisables. Vous pouvez également visualiser et analyser l’état de santé de l’infrastructure IT. Tout comme Prometheus, vous pouvez également interfacer Zabbix avec Grafana.

Illustration d’un dashboard provenant de Zabbix

Apache Superset : cet outil open source a été initialement développé par Airbnb. Il fonctionne en tant qu’application web sur les principaux navigateurs internet et permet d’explorer et visualiser vos données très intuitivement sous forme de graphiques, feuilles de calculs et tableaux de bord.

Illustration d’un dashboard provenant de Apache Superset

N’oubliez pas que vous pouvez également intégrer très facilement vos propres outils dans FADI si vous préférez.

Perspectives

Actuellement (mai 2021), le CETIC a prévu plusieurs développements à faire pour FADI ; notamment l’ajout d’un wizard pour configurer encore plus facilement FADI et travailler sur les aspects de sécurité (DevSecOps).

Exemple de cas d'étude

Le monitoring des bureaux du CETIC

L’objectif de ce cas d’utilisation était de fournir des informations (tableaux de bord et alertes) en fonction des données des capteurs placés au sein du bâtiment du CETIC (température, CO2, ...). Dans cet exemple, les mesures de température des capteurs ont été ingérées, stockées affichées dans un tableau de bord assez simple. Rendez-vous sur ce guide utilisateur FADI pour accéder au tutoriel de cet exemple, vous y apprendrez comment :

1) Installer FADI via ce lien.

2) Préparer la base de données pour stocker les mesures avec PostgreSQL (qui est à la fois entrepôt de données et base de données).

3) Ingérer les mesures des capteurs grâce à Apache Nifi, depuis la source de données (un fichier csv dans ce cas) et les stocker dans la base de données.

4) Afficher les tableaux de bord et configurer des alertes à partir des données ingérées et stockées dans l'entrepôt de données avec Grafana.

5) Explorez les données avec Superset.

6) Traiter les données en utilisant Jupyter comme interface web pour les explorer à l'aide de notebooks et Apache Spark, un framework de calcul distribué, comme moteur d’analyse pour le traitement de grands ensembles de données.

Illustration du processus de monitoring des bureaux du CETIC provenant du guide utilisateur de FADI

Autres exemples de cas d’étude

Cette liste de projets représente d’autres exemples de cas d’étude où le framework FADI a été utilisé :

Artemtec

Grinding 4.0

UserMEDIA/ CloudMedia

NewTech4Steel (European RFCS project)

Quality4.0 (European RFCS project)

BigData@MA (European, “Manunet” project)

Autosurveillance (European RFCS project)

QuadRide (Wallon CWALity project)

La démonstration en vidéo

Voici le replay du webinaire organisé par le Hub-C le 6 juillet 2021 afin de faire une démonstration de Fadi, un outil qui rend les technologies Big Data plus accessibles. La présentation est réalisée par Faiez Zalila, expert en Ingénierie logicielle basée sur les modèles et systèmes informatiques distribués au sein du CETIC.

Pour aller plus loin ...

FADI est un outil développé par le CETIC, n’hésitez donc pas à prendre contact si vous désirez des informations supplémentaires !

Voici quelques liens utiles par rapport à FADI :

Site officiel de FADI : https://FADI.cetic.be/ contenant la documentation d’installation et d’utilisation
Pour en savoir plus : https://FADI.presentations.cetic.be
Le code source : https://github.com/cetic/fadi
Le dépot Github des Helm charts pour installer FADI dans un cluster Kubernetes : https://github.com/cetic/helm-fadi
“R. Sellami, F. Zalila, A. Nuttinck, S. Dupont, J. -C. Deprez and S. Mouton, "FADI - A Deployment Framework for Big Data Management and Analytics," 2020 IEEE 29th International Conference on Enabling Technologies: Infrastructure for Collaborative Enterprises (WETICE), 2020, pp. 153-158, doi: 10.1109/WETICE49692.2020.00038.”