Logiciel

Tsimulus : un générateur de séries chronologiques réalistes open source

laurie — Sun, 15 Nov 2020 09:32:09 +0000

Tsimulus : un générateur de séries chronologiques réalistes open source

Tags

Cloud Computing

Gestion de données

IoT

Logiciel

Tutoriel

laurie Sun, 11/15/2020 - 10:32

Télécharger le PDF

Fiche Tsimulus

Body

Vous devez tester à grande échelle le bon comportement des outils de traitement de données, y compris dans un contexte big data ? Vous manquez de données en temps réel ?

Nous avons la solution ! Cette fiche vous présente TSimulus, l’outil qui vous permet de simuler des données, sous forme de séries temporelles, de manière très réaliste.

Après l’énonciation des différents concepts nécessaires à sa compréhension, nous vous proposons une démonstration de son utilisation en simulant des températures externes pour la ville d’Uccle. Nous y détaillons les différentes étapes qui permettent de les rendre aussi réalistes que possible.

Cette bibliothèque fait partie du projet de recherche EAM-SDI, fondé par la Région Wallonne.

Prérequis

Connaissances basiques en JSON

Savoir écrire des lignes de commandes dans un terminal

Pour quoi faire ?

Les séries chronologiques sont utilisées dans une grande variété de domaines, notamment l’industrie, l’économie, les finances, la démographie, les prévisions météorologiques et le traitement du signal. Elles répondent à de nombreux objectifs dont les principaux sont la prévision, l’estimation d’une tendance ou encore l’évaluation de l’impact d’un événement.

La bibliothèque TSimulus vous permet de simuler différents capteurs et de générer une quantité suffisante de données pour effectuer des tests par exemple. Vous spécifiez la forme d'une série chronologique (modèles généraux, cycles, importance du bruit ajouté, etc. - ces différents concepts sont décrits dans la section suivante) et TSimulus convertit cette spécification en valeurs de séries chronologiques.

Concrètement, cet outil propose :

Un moyen d'exprimer des contraintes de séries chronologiques à l'aide de documents JSON, ainsi qu'une API Scala pour exprimer programmatiquement ces contraintes.
Un moyen pratique de combiner des contraintes afin d'exprimer des contraintes de niveau supérieur.
Un moteur qui génère des valeurs de séries temporelles en fonction des contraintes décrites.
Un outil en ligne de commande qui s'appuie sur le moteur pour générer des séries chronologiques.
Un microservice sans état qui fournit des services de génération de séries chronologiques.

Quelques concepts

Une série chronologique (ou série temporelle)

Il s’agit d’une séquence de points ordonnée dans le temps, chacun d'eux étant associé au plus à une valeur.

1. Évaluation de la série

Les séries chronologiques peuvent être évaluées à tout moment. Cette évaluation est rapide, sans effet secondaire et référentiellement transparente (en particulier, l'évaluation d'une série chronologique fournit toujours la même valeur pour un horodatage donné).

De plus, la bibliothèque TSimulus prend en charge la génération de valeurs de séries chronologiques sous forme de flux numériques (potentiellement illimités).

2. Les valeurs manquantes

Une série chronologique peut ne pas avoir de valeur à fournir pour un horodatage donné. Ce cas est géré par la bibliothèque comme des valeurs «manquantes». Les valeurs manquantes peuvent être remplacées par des valeurs «par défaut» et peuvent être supprimées d'une collection de valeurs avant d'opérer une agrégation.

Les générateurs

L'objectif principal des générateurs est de décrire les contraintes qui façonnent la série temporelle générée.

Alors que les générateurs de nombres aléatoires peuvent facilement être utilisés pour produire des séquences de nombres non liés (ou, du moins, dont les relations sont difficilement prévisibles), générer des séquences de nombres qui semblent respecter certains modèles évidents est également intéressant dans de nombreuses circonstances, y compris la simulation de l'acquisition de données dans les domaines mentionnés dans la section précédente.

1. Une simulation de données réaliste

Afin de créer des séries chronologiques réalistes, un bruit convaincant doit généralement être ajouté à certains modèles spécifiés. De plus, les valeurs d'une série chronologique peuvent être liées à celles d'une autre série chronologique.

2. Les différents types de générateurs

Voici une description succincte de trois types de générateurs. Vous trouverez davantage d’informations sur ceux-ci ainsi que sur les autres types existants ici.

2.1. Les générateurs primaires

Les séries chronologiques primaires génèrent des valeurs qui n’ont de relation avec aucune autre série chronologique. Un utilisateur peut contraindre la forme générale d'une série chronologique primaire en spécifiant certains points de données (qui correspondent à des points dans les temps associés à des valeurs spécifiques) et en spécifiant que la série chronologique générée doit contenir ces points de données. Pour avoir plus d’informations sur les générateurs primaires, cliquez ici.

2.2. Les générateurs composites

Les générateurs peuvent être combinés de diverses manières afin de produire des générateurs plus complexes. De tels générateurs, appelés générateurs composites, expriment des séries chronologiques dont les valeurs sont le résultat de l'agrégation, de la comparaison, de la corrélation, etc. des valeurs générées par des séries temporelles décrites par d'autres générateurs. Vous en saurez davantage en cliquant ici.

2.3. Les générateurs binaires

Les valeurs des séries temporelles générées peuvent être numériques ou binaires. Des opérations booléennes peuvent être appliquées à des valeurs binaires, qui peuvent être utilisées pour décrire des séries chronologiques conditionnelles. Les valeurs numériques peuvent être combinées et comparées de différentes manières, afin de créer des séries chronologiques complexes en combinant des séries simples. Vous en saurez davantage sur les générateurs binaires en cliquant ici.

3. Le document de configuration

Comme expliqué précédemment, la forme des séries temporelles générées est définie à l'aide de générateurs. Votre travail, en tant qu'utilisateur de TSimulus, est donc de modifier les descriptions de ces générateurs afin d'obtenir un résultat aussi réaliste que possible. Ces générateurs peuvent être spécifiés de manière déclarative dans un document dit de configuration, qui est un document JSON respectant une structure donnée. Ce document est composé d'une section “generators”, dans laquelle les générateurs sont déclarés, d'une section “exported” contenant la liste des générateurs qui doivent être convertis en séries chronologiques, ainsi que d'une paire de dates délimitant la période pour laquelle des valeurs de séries chronologiques doivent être générées.

3.1. La section “generators”

L'utilisation de la section “generators” dans un document de configuration, bien que facultative, est fortement recommandée afin de décrire la spécification des générateurs décrivant la série temporelle à générer. La section “generators” est donc essentiellement une liste de générateurs qui pourraient être convertis en séries chronologiques.

3.2. La section “exported”

Cette section du document de configuration répertorie les générateurs qui doivent être convertis en séries chronologiques. Il s'agit essentiellement d'une liste d'objets JSON contenant les attributs suivants :

name : le nom qui doit être associé à la série chronologique.
generators : une description du générateur représentant la série temporelle à générer. Cela peut être une description en ligne.
frequency : la période, en millisecondes, à laquelle les valeurs de séries temporelles doivent être générées.

3.3. Les sections “from” et “to”

Alors que la bibliothèque entière peut générer des valeurs pour tout moment valide, et malgré le fait que les séries temporelles soient considérées en interne comme des flux de valeurs potentiellement illimités, une telle génération illimitée ne peut pas être traitée dans un temps limité. Par conséquent, deux champs supplémentaires, exprimant le début et la fin de la période pour laquelle des valeurs doivent être générées, sont nécessaires dans le document de configuration afin de pouvoir générer des séries temporelles.

Démonstration de TSimulus

Dans le cadre de cette fiche, nous vous proposons une démonstration de l’utilisation de TSimulus réalisant une simulation des températures externes pour la ville d’Uccle. Après avoir détaillé le matériel nécessaire, nous décrivons les différentes manières d’installer TSimulus et expliquons comment l’utiliser.

La démonstration à proprement parler commence lors de la troisième étape où vous pouvez créer un générateur de données et ensuite le rendre plus réaliste par le biais d’autres générateurs.

Matériel requis

Concernant le CLI, il vous faut :

une machine virtuelle Java
installer un fichier de configuration
taper la ligne de code suivante : java -jar tsimlus-cli.jar

Étape 1 - Comment utiliser la bibliothèque Tsimulus ?

Les séries chronologiques peuvent être générées selon les règles décrites dans un document de configuration. Vous pouvez envisager d'utiliser notre application CLI qui lit les documents de configuration à partir d'un fichier JSON standard.

Vous pouvez également envisager d'utiliser notre microservice qui écoute les requêtes HTTP. Dans ce cas, le document de configuration est soumis en tant que paramètre d'une requête POST.

Étape 2 - Getting started

2.1. Une première génération de données

Le moyen le plus simple de tester le projet TSimulus est de télécharger la dernière version d'un fichier Jar exécutable contenant une application basée sur la bibliothèque TSimulus. Comme décrit dans la section “Matériel requis”, vous aurez besoin d'une machine virtuelle Java installée sur votre environnement.

Pour votre première génération de séries chronologiques, nous allons spécifier un générateur qui proposera un simulateur de températures externes de base pour la ville d’Uccle, en Belgique. Selon l'Institut royal de météorologie de Belgique, les températures moyennes à cet endroit sont les suivantes :

2.1.1. Création d’un générateur qui décrit l'évolution de la température mois par mois

1. Encodez ceci dans un fichier JSON :

{

   "generators":[

   {

      "name": "monthly-basis",

      "type": "monthly",

      "points": {"january": 3.3, "february": 3.7, "march": 6.8, "april": 9.8,     

                  "may": 13.6, "june": 16.2, "july": 18.4, "august": 18,              

                  "september": 14.9, "october": 11.1, "november": 6.8, "december": 

                  3.9}

   }],

   "exported":[

      {"name": "temperature", "generator": "monthly-basis", "frequency": 3600000}

   ],

   "from": "2016-01-01 00:00:00.000",

   "to": "2017-12-31 23:59:59.999"

}

Nous rappelons que le nom et les attributs de chaque objet dans ce document JSON sont décrits dans la section précédente dédiée aux concepts (voir le paragraphe sur les générateurs).

2. Enregistrez la configuration dans un fichier texte à côté de l'application téléchargée et exécutez l'application avec le fichier fraîchement créé :

java -jar rst-gen-cli get_started_1.json

Après quelques secondes, vous obtenez une séquence de lignes, chacune d'elles étant une entrée de valeur composée d'une date, d'un nom de série et d'une valeur séparée par des points-virgules. Dans cette démonstration, le nom de la série est toujours «temperature». Si vous tracez les valeurs de série avec votre outil préféré, vous devriez obtenir quelque chose comme le graphique suivant :

2.2. Vers un modèle plus réaliste

Comme le montre l’illustration ci-dessus, la température varie en permanence, et pour le milieu de chaque mois, elle est conforme aux valeurs spécifiées dans la configuration. Cependant, vous pouvez vous sentir frustré par la régularité des valeurs obtenues : elles augmentent ou diminuent de façon monotone d'un mois à l'autre, ce qui n'est pas un comportement très réaliste. En réalité, au fil des jours, les températures sont globalement plus élevées pendant la journée et plus basses pendant la nuit.

2.2.1. Création d’un nouveau générateur qui exprime la variation de la température sur les heures d'un jour calendaire


{
   "generators": [
       {
          "name": "monthly-basis",
          "type": "monthly",
          "points": {
             "january": 3.3,
             "february": 3.7,
             "march": 6.8,
             "april": 9.8,
             "may": 13.6,
             "june": 16.2,
             "july": 18.4,
             "august": 18,
             "september": 14.9,
             "october": 11.1,
             "november": 6.8,
             "december": 3.9
          }
       },
       {
          "name": "daily-variation",
          "type": "daily",
          "points": {
             "00:00:00.000": -3,
             "02:00:00.000": -3.9,
             "04:00:00.000": -5,
             "06:00:00.000": -4.6,
             "08:00:00.000": -5.7,
             "10:00:00.000": -2.2,
             "12:00:00.000": 1,
             "14:00:00.000": 3,
             "16:00:00.000": 2.3,
             "18:00:00.000": 0.9,
             "20:00:00.000": -2.3,
             "22:00:00.000": -2.7
          }
       },
       {
          "name": "result",
          "type": "aggregate",
          "aggregator": "sum",
          "generators": [
             "monthly-basis",
             "daily-variation"
          ]
       }
    ],
    "exported": [
       {
          "name": "temperature",
          "generator": "result",
          "frequency": 600000
       }
    ],
    "from": "2016-01-01 00:00:00.000",
    "to": "2017-12-31 23:59:59.999"
 }

Veuillez noter que les valeurs de ce deuxième générateur sont relatives à une valeur arbitraire «neutre». Le tracé de ces valeurs n'est donc pas pertinent. Cependant, si nous additionnons les températures mensuelles avec les températures quotidiennes, nous obtenons un comportement plus complexe. Les séries chronologiques résultantes sont davantages réalistes et résultent en le graphe suivant :

Sur cette figure, seules les valeurs du 1er et du 2 janvier 2016 sont affichées. Un modèle de base quotidien est facilement observable, tandis que les valeurs sont assez similaires (bien que légèrement différentes) d'un jour à l'autre.

2.2.2. Création d’un nouveau générateur qui décrit une série chronologique bruitée

Un examen plus approfondi des valeurs générées révèle que la variation de température reste insatisfaisante: pendant un jour civil, les températures varient de manière irréaliste, et deux jours identiques dans des années différentes (par exemple, 2016-02-03 et 2017-02-03) ont la même séquence de valeurs. Dans la vie réelle, la température change légèrement au fil du temps en raison de modifications complexes des conditions atmosphériques.

Afin de simuler ces petits changements, nous introduisons un générateur qui décrit une série chronologique bruitée, et nous le sommons avec les générateurs définis précédemment.


{
   "generators": [
      {
         "name": "monthly-basis",
         "type": "monthly",
         "points": {
            "january": 3.3,
            "february": 3.7,
            "march": 6.8,
            "april": 9.8,
            "may": 13.6,
            "june": 16.2,
            "july": 18.4,
            "august": 18,
            "september": 14.9,
            "october": 11.1,
            "november": 6.8,
            "december": 3.9
         }
      },
      {
         "name": "daily-variation",
         "type": "daily",
         "points": {
            "00:00:00.000": -3,
            "02:00:00.000": -3.9,
            "04:00:00.000": -5,
            "06:00:00.000": -4.6,
            "08:00:00.000": -5.7,
            "10:00:00.000": -2.2,
            "12:00:00.000": 1,
            "14:00:00.000": 3,
            "16:00:00.000": 2.3,
            "18:00:00.000": 0.9,
            "20:00:00.000": -2.3,
            "22:00:00.000": -2.7
         }
      },
      {
         "name": "noise",
         "type": "arma",
         "model": {
            "std": 0.2,
            "c": 0,
            "seed": 1234
         },
         "timestep": 300000,
         "origin": "2016-01-01 00:00:00.000"
      },
      {
         "name": "result",
         "type": "aggregate",
         "aggregator": "sum",
         "generators": [
            "monthly-basis",
            "daily-variation",
            "noise"
         ]
      }
   ],
   "exported": [
      {
         "name": "temperature",
         "generator": "result",
         "frequency": 600000
      }
   ],
   "from": "2016-01-01 00:00:00.000",
   "to": "2017-12-31 23:59:59.999"
}

Le résultat final est maintenant suffisamment réaliste pour une simulation de base de la température dans le temps. En observant le tracé de ses valeurs sur l’illustration ci-dessous, on peut constater que des tendances claires et réalistes émergent, tandis qu'un bruit réaliste est également clairement présent.

Vous n’êtes toujours pas satisfait du réalisme des valeurs générées? N'hésitez pas à modifier les paramètres des générateurs décrits dans le fichier de configuration ou à en essayer d'autres (voir le point sur les générateurs dans la section “quelques concepts”).

La démonstration en vidéo

Voici le replay du webinaire organisé par le Hub-C le 24 mars 2021 afin de faire une démonstration de l'utilisation de Tsimulus presentée par Mathieu Goeminne, expert en science de données au sein du CETIC.

Besoin d’une aide supplémentaire ?

Le Hub-C dans le cadre de ses services d’accompagnement numérique organise des workshops et groupes de travail en lien avec les nouvelles technologies de prototypages. Vous souhaitez un accompagnement pour votre projet innovant ou vous souhaitez participer à un prochain workshop ? N'hésitez pas à contacter un membre du Hub!

Vous avez une question spécifique à propos d’une fiche ? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

Restauration d’images par réseaux de neurones profonds

laurie — Sat, 14 Nov 2020 15:06:07 +0000

Restauration d’images par réseaux de neurones profonds

Tags

Logiciel

Tutoriel

laurie Sat, 11/14/2020 - 16:06

Télécharger le PDF

Fiche restauration d'images

Body

Vous êtes responsable marketing et devez assurer l’attrait d’un lieu ou d’un site web servant de vitrine à votre entreprise ?

Vous êtes féru d’histoire, ou disposez d’une vieille collection d’images de famille ?

Vous exercez un métier lié de près ou de loin aux médias visuels ? Imprimeur, journaliste, écrivain, artiste ?

Si votre travail ou hobby nécessite l’utilisation et éventuellement le traitement d’images de toute sorte (archives photographiques, imagerie médicale, images satellites, microscopiques, infrarouges, ou simplement des images trouvées sur le web), vous vous retrouvez souvent avec des images de faible qualité, rendant votre travail plus fastidieux, ou votre hobby moins appréciable.

Sachez qu’il existe aujourd’hui des techniques, bien qu’encore imparfaites et expérimentales, permettant de restaurer les images, et de tenter d’améliorer leur qualité. De nombreuses techniques de pointe, basées sur les dernières avancées en intelligence artificielle, peuvent aujourd’hui vous aider à :

Augmenter artificiellement la résolution de vos images trop petites
Réduire le bruit, dû à la détérioration du papier, ou à la mauvaise qualité des appareils photos
Donner des couleurs à vos vieilles images monochromes
Rendre vos images plus nettes et plus vives

L’utilisation de ces tous nouveaux produits de la recherche scientifique, encore purement expérimentaux, nécessite de solides connaissances informatiques et une sérieuse maîtrise du domaine de l’intelligence artificielle. Même pour les chercheurs et informaticiens les plus aventureux, une utilisation concrète de ces outils demande du temps et des efforts considérables, tant les contributions sont dispersées dans la jungle du web scientifique, et sont à priori difficilement compatibles entre elles.

Au Cetic, nous avons créé un outil permettant de faciliter l’utilisation de ces techniques, les rendant ainsi accessibles au plus grand nombre. Nous espérons que cet outil permettra de montrer et susciter l’intérêt de ces nouvelles technologies émergentes, encore très peu connues du grand public et imparfaites, mais d’un grand potentiel.

Prérequis

Dans cette fiche, nous adopterons une solution facile à appréhender, même pour les plus débutants. Ainsi, aucun prérequis n’est essentiel pour suivre cette fiche. Des bases éventuelles en informatique et en programmation peuvent aider à la compréhension du système, et une expérience avec Jupyter et Google Colab en particulier peuvent faciliter la lecture de cette fiche.

Nous proposerons ultérieurement une deuxième fiche plus technique, pour aborder plus en profondeur le fonctionnement de l’outil. Cette deuxième fiche nécessitera cette fois certaines connaissances techniques en informatique.

Comment restaurer vos images ?

Cette fiche présente comment installer le toolkit de restauration d’image, et comment l’utiliser sur vos propres images. La méthode proposée dans cette fiche est plutôt à destination des particuliers amateurs de photographie, permettant d’utiliser un environnement Python déjà préconfiguré (Google Colab), puissant et gratuit, permettant de réaliser rapidement des programmes d’intelligence artificielle. Nous installerons directement le toolkit de restauration d’image dans cet environnement, et utiliserons l’interface proposée pour restaurer nos images.

L’outil est encore en développement, et se limite actuellement à l’intégration de quelques techniques encore imparfaites de restauration d’image. Vous pourrez trouver plus d’information sur le toolkit et la restauration d’image aux adresse suivantes:

Le Répertoire Github du toolkit

Les articles de blog sur la restauration d’images:

Etape 0 - Compte Google

Afin de pouvoir installer et utiliser facilement le toolkit de restauration d’image, nous allons utiliser la plateforme Google Colab. Son utilisation nécessite un compte Google. Si vous n’en avez pas déjà un, vous pouvez en créer un par ici.

Etape 1 - Google Colab

Si vous avez un compte Google, vous pouvez maintenant accéder à la plateforme Google Colab par ici.

Google Colab peut être vu comme un éditeur en ligne, semblable à Google Docs et Google Sheet. Vous pouvez y créer des documents, qui sont directement liés à votre compte Google, ou vous pouvez accéder à des documents créés et partagés par d’autres utilisateurs. La différence principale de Google Colab avec les outils de bureautique en ligne, c’est qu’elle permet d’éditer des documents spéciaux : des “Notebook Jupyter”. Ces documents permettent à la fois d’insérer du texte et des images, mais aussi et surtout des blocs de code informatique (généralement dans le langage de programmation Python). Et lorsqu’on exécute un bout de codes dans Google Colab, ils sont en fait exécutés sur une machines virtuelle, éventuellement équipée d’une carte graphique puissante (GPU) hébergée par Google. Et tout ça gratuitement. C’est grâce à un de ces GPU, que nous allons pouvoir utiliser correctement le toolkit de restauration d’image. Car en effet, l’utilisation de programmes utilisant du Deep Learning nécessite généralement une machine puissante, pouvant supporter du calcul intensif, et massivement parallèle. Et les GPUs hébergés chez Google sont particulièrement taillés pour cette tâche.

Passons maintenant au vif du sujet: commencez par vous connecter à votre compte Google si ce n’est pas déjà fait.

Lorsque vous vous êtes connecté, vous devriez voir apparaître une fenêtre similaire à l’image ci-dessous. Si ce n’est pas le cas, dans le menu, allez à File > Open notebook (ou appuyez sur Ctrl + O). Nous allons utiliser cette interface pour accéder aux notebooks permettant de tester le toolkit.

Allez à l’onglet “GitHub”, ce qui vous permettra d’indiquer le répertoire où est hébergé le toolkit.
Entrez l’URL du toolkit de restauration d’image: https://github.com/titsitits/open-image-restoration
Cliquez sur le notebook suivant: Colab_Notebooks/Demo_Image_Restoration.ipynb

Pour une plus grande facilité d’utilisation, Google Colab permet d’ajouter une surcouche au notebook, qui permet de créer une interface graphique simple avec des boutons de contrôle, tout en cachant le code. En double-cliquant sur une des cellules du notebook, vous devriez voir apparaître le code.

Etape 2 - Configuration de Google Colab (optionnel)

Dans cette étape, nous allons vérifier que Google colab est correctement configuré pour exécuter votre notebook de manière optimale. Il faut pour cela que le noyau Python auquel Google Colab vous donne accès dispose d’un GPU. Pour cela, allez au menu “Runtime > Change runtime type”, et sélectionnez l’accélérateur matériel “GPU”.

Bonus: En réalité, les machine virtuelles avec GPU mises à disposition gratuitement par Google Colab sont de qualité variable. Vous pouvez vérifier quel GPU vous a été mis à disposition, grâce à une simple ligne de commande linux. Pour cela, vous pouvez lancer une cellule de code volante via le raccourcis Ctrl+Alt+N, ou via le menu “Insert > Scratch code cell”. Vous devriez voir apparaître une cellule à droite de la fenêtre.

Vous pouvez y écrire la commande:

!nvidia-smi

Le symbole ! permet d’exécuter des commandes linux (du script shell) plutôt que du code python. La commande nvidia-smi permet de vérifier la configuration et l’utilisation du GPU installé sur une machine.

Appuyez ensuite sur le bouton start à gauche de la cellule pour l’exécuter (voir illustration ci-dessous).

A la première exécution d’une cellule du notebook, il vous sera peut-être demandé si vous voulez vraiment l’exécuter. Appuyez simplement sur “Run anyway”.

Vous devriez voir un résultat similaire à l’image ci-dessous.

Nous avons lors de cet essai eu droit à une VM disposant d’un GPU Tesla K80. C’est en réalité un GPU assez vieux, et avec un peu de chance vous devriez pouvoir bénéficier d’un GPU plus puissant (Tesla T4 ou P100 par exemple). La Tesla K80 devrait néanmoins suffire pour traiter décemment des images de petite taille.

Vous pouvez fermer à présent la cellule volante (scratch cell).

Etape 3 - Utilisation du toolkit

Grâce au notebook de démonstration, l’utilisation de base du toolkit de restauration d’images est très simple. Il vous suffit de suivre le notebook et d’exécuter une à une les cellules, en cliquant sur le bouton “start” apparaissant à gauche de celles-ci.

3.1 Sélection des images

Lancez la cellule 1. Upload images to restore. Sous la cellule, un bouton devrait apparaître, vous permettant de choisir des images à transférer.

Il est préférable d’utiliser des images de petite taille (de faible résolution) pour tester l’outil, non seulement parce que les modèles sont en principe plus efficaces sur ces images, mais aussi parce que le processus sera plus rapide. En outre, si les images utilisées sont trop grandes, vous risquez de rencontrer des erreurs d’allocation de mémoire dans le carte graphique (encore une fois, le traitement d’image par Deep Learning est généralement un processus gourmand en ressources computationnelles).

Pour la démonstration, nous utiliserons les deux images historiques ci-dessous

Ces images nous ont été fournies comme cas d’étude en restauration d’images par l’organisation culturelle Nivelloise le Rif Tout Dju

Il est possible que vous rencontriez une erreur lors de la première exécution de la première cellule. Si c’est le cas, relancez-la simplement. D’expérience, nous recommandons l’utilisation de Google Chrome (ou Chromium) comme navigateur pour Google Colab.

3.2 Sélection des techniques de restauration

La deuxième cellule permet de sélectionner les techniques de restaurations à appliquer aux images transférées. Quatre techniques sont actuellement disponibles (d’autres sont prévues dans les futures versions de l’outil) :

“Demoiring” : réduction de la moire. Cette technique permet d’éliminer les éventuelles rayures horizontales et verticales présentes dans l’image. Cette technique est particulièrement utile pour les deux images que nous avons sélectionnées pour la démonstration.
“Denoising” : réduction du bruit gaussien. Cette technique permet de réduire le grain d’une image. La méthode actuellement disponible dans notre toolkit est encore assez instable et lourde. C’est pourquoi elle n’est pas sélectionnée par défaut dans le notebook de démonstration. Celle-ci sera remplacée par un algorithme plus stable et plus performant dans une version future.
“Colorization” : inférence de couleurs. Cette technique permet de transformer une image monochrome en une image couleur, en générant les couleurs artificielle les plus réalistes possible.
“Superresolution” : augmentation de la résolution de l’image (multiple par 4 le nombre de pixels). Cette technique permet d’augmenter le degré de détails d’une image, en générant des détails artificiels les plus réalistes possible

Vous pourrez trouver plus de détails sur les algorithmes testés et sélectionnés dans l’outil de restauration d’images ici: http://www.mickaeltits.be/image_restoration/

Enfin, le paramètre initial_size permet de réduire si nécessaire la taille des images sélectionnées au cas où elles seraient trop grandes. Par défaut, celui-ci est défini à 400 pixels. Ainsi, la taille de vos images sera réduite de manière à ce que ni leur hauteur, ni leur largeur ne dépasse 400 pixels.

La première exécution de cette cellule peut prendre quelque minutes, en particulier si vous utilisez la technique de colorisation. Ceci est dû au fait qu’à la première utilisation, le modèle de Deep Learning utilisé par cette technique doit être téléchargé (243Mo). A la fin du processus, vous devriez voir apparaître vos images traitées, de manière séquentielle, selon les techniques sélectionnées.

3.3 Zoom sur les résultats

Les différences entre les résultats peuvent paraître parfois très subtiles, en particulier pour la super-résolution. La dernière cellule permet de zoomer sur une zone de l’image pour mieux analyser les différences.

Veuillez d’abord pour cela sélectionner l’image à visualiser (paramètre image_file). Vous devez pour cela entrer le nom entier du fichier. Attention : les images ont en principe été converties en .png. Veuillez donc renseigner cette extension dans le nom du fichier.

Les quatre paramètres suivants (left, right, bottom, upper) permettent de délimiter la zone de l’image à visualiser. Enfin, display_size permet d’agrandir le résultat.

Conclusion

Dans l’image utilisée pour la démonstration, vous pourrez remarquer que la dernière image paraît moins pixelisée que l’originale. Il faut néanmoins admettre que le résultat n’est pas optimal, et peut contenir certains artefacts qui rendent l’image peu réaliste. Ceux-ci peuvent apparaître lors de l’utilisation en séquence de plusieurs techniques de traitement de l’image (tel que le Demoiring et le Denoising). La super-résolution accroît alors non-seulement les détails de l’image, mais également les défauts insérés dans l’image par les techniques utilisées en amont. Cette problématique ne montre en fait qu’une partie du challenge de la restauration d’image, et de l’utilisation en chaîne de techniques de restauration d’image. C’est pour cette raison que nous sommes au CETIC en train de développer une solution, permettant de sélectionner automatiquement la meilleure configuration possible d’un pipeline de restauration d’image, afin de rendre le processus plus stable, et le plus accessible possible.

Par ailleurs, les couleurs de l’image testée ne sont pas non-plus très vives. Il existe pour cela également des méthodes, permettant d’augmenter l’éclat des couleurs et le contraste des images. L’intégration de telles techniques dans notre outil est actuellement en plein développement, et permettront d’aller plus loin dans la restauration et l’amélioration de vos images.

Enfin, nous n’avons abordé dans cette fiche qu’une manière simple et limitée d’utiliser notre outil de restauration d’image. Dans une deuxième fiche, nous présenterons l’outil plus en détail, et proposerons une solution permettant d’installer l’outil de manière pérenne sur votre poste de travail, vous permettant ainsi une utilisation et expérimentation plus intensive de l’outil.

TSorage : une plateforme de gestion de données (I)IoT

laurie — Fri, 13 Nov 2020 10:19:18 +0000

TSorage : une plateforme de gestion de données (I)IoT

Tags

laurie Fri, 11/13/2020 - 11:19

Télécharger le PDF

Fiche TSorage

Body

Vous êtes une entreprise à la recherche de technologies fiables, rapides et rentables concernant le déploiement d'applications basées sur des séries chronologiques à grande échelle? TSorage est la solution idéale pour gérer vos flux IoT!

Après la description de TSorage et de ses différents atouts, nous évoquons les concepts nécessaires à la compréhension de cette plateforme et expliquons son architecture. Nous terminons en vous présentant un cas d'étude.

Prérequis

Pour la lecture de ce document,

connaissance élémentaire de l’IIoT et de ses enjeux, de Kubernetes, de Cassandra.

Pour tester TSorage,

un cluster Kubernetes doit être installé, par exemple grâce à minikube.
Maîtrise de HTTP et/ou MQTT, JSON, PromQL, Docker.

Pour quoi faire?

À l’heure actuelle, les entreprises industrielles font face à une concurrence mondiale de plus en plus agressive. L'Internet industriel des objets (IIoT) est perçu comme une opportunité clé pour renforcer la position de ces entreprises ou pour gagner en compétitivité grâce à une meilleure productivité, à l’amélioration de la qualité des produits et à un meilleur contrôle des processus (voir notre fiche sur la gestion des réseaux de capteurs).

Cependant, la gestion de la vitesse et du volume des données de séries chronologiques fournies par ces IIoT représentent un défi dans lequel la valeur des solutions traditionnelles de gestion des données pour l'industrie tend à diminuer. Le monde industriel recherche des outils et des approches capables de répondre aux nouveaux besoins relatifs à l'évolutivité, à la disponibilité, au problèmes de réutilisation, d'intégration et de tarification, entre autres.

Afin de répondre à ces besoins, nous proposons une solution innovante pour la gestion des séries chronologiques appelée TSorage.

TSorage est une plateforme évolutive et résiliente, qui permet la collecte, l’ingestion, le traitement et le stockage de séries chronologiques (ou séries temporelles) générées par l'IoT (industriel ou non) comme les détecteurs, les sondes et autres capteurs au sens large du terme.

Cette plateforme propose une collection de services intégrés pour gérer les séries temporelles, à grande échelle, de tout type, avec un horodatage avec une résolution temporelle d’une milliseconde et avec aussi peu de contraintes techniques que possible.

Une série temporelle est définie comme une collection de valeurs, triées par un horodatage associé à chaque valeur. Dans TSorage, une valeur peut représenter n’importe quel concept tant que celui-ci peut être représenté sous forme d’un objet JSON.

Les atouts de TSorage

TSorage présente les avantages suivants :

Une disponibilité et un passage à l’échelle avant tout (évolutivité)!

TSorage s'appuie sur du matériel standard et moyen de gamme (commodity hardware) pour garantir un service évolutif et résilient aux pannes. Étant nativement une solution distribuée et décentralisée, ses capacités peuvent être étendues en ajoutant simplement plus de ressources sur un cluster TSorage. Lorsqu'il est déployé sur plusieurs sites, TSorage offre des performances de lecture et d'écriture locales tout en prenant en charge de manière transparente la réplication et la synchronisation entre sites, dans le monde entier. Lorsqu'un site se remet d'un problème de connexion, il se re-synchronise automatiquement avec les autres sites du groupe.

Pas de vendor lock-in mais des technologies standardisées, ouvertes, et pérennes

La technologie évolue extrêmement rapidement, surtout le domaine (I)IoT où de nouvelles façons de gérer et d'exploiter les capteurs émergent chaque année. Afin d'atténuer le risque de faire des choix technologiques qui s'avéreraient inappropriés à l'avenir, TSorage est composé de modules indépendants et basés sur des technologies open source. Avec une telle approche, les mises à jour sont beaucoup plus faciles lorsqu’une technologie vient en remplacer une autre. Tous les services de TSorage sont disponibles via une API REST qui offre un moyen standardisé de s’abstraire des technologies sous-jacentes. Cette plateforme favorise également l'intégration avec n'importe quelle source ou consommateur de données, faisant de TSorage une plateforme de choix pour vos applications IoT.

Une flexibilité des données

La plupart des capteurs mesurent un signal continu, tel qu’une température ou une pression. Cependant, les séries chronologiques couvrent également de nombreux autres types de données, tels que les positions géographiques, les transactions commerciales et pratiquement tous les événements répétitifs. TSorage gère nativement des types de données couramment utilisés et est conçu pour être facilement étendu afin de prendre en charge vos types de données spécifiques. Si vous pouvez représenter vos mesures sous forme d'objets JSON, TSorage peut les gérer!

Une adaptation rapide et de manière prévisible

L'ajout d'une nouvelle source de données (comme un capteur) doit être aussi simple et rapide que possible afin de ne pas étouffer toute innovation. Commencez simplement à alimenter TSorage avec un nouveau flux de données et administrez-le dans un second temps, soit via une application Web dédiée, soit par programmation. Chaque valeur peut être soumise avec des propriétés arbitraires (appelées “tags” dans la terminologie TSorage, nous détaillons cela dans la section suivante) qui permettent d'interroger et de gérer plus efficacement les sources de données. En fin de compte, les utilisateurs ne font plus référence à un identifiant de source unique, mais interrogent, comparent et agrègent les sources en fonction de leurs tags.

Au fur et à mesure que vous intégrez de plus en plus de sources de données à la solution, vos besoins de traitement augmentent. TSorage s'appuie sur une architecture élastique qui exploite efficacement les ressources de votre infrastructure. Commencez avec un petit nombre de services conteneurisés et étendez-les à volonté en exécutant simplement plus de nœuds de travail.

Une adaptation à votre infrastructure, prête pour le Cloud.

Lorsque TSorage est utilisé pour gérer des données sensibles, le déploiement sur site peut être préféré à l'utilisation d'une solution d'hébergement à distance. Pour d'autres cas d'utilisation, un déploiement sur un Cloud public ou privé est une meilleure option. Dans les deux cas, TSorage est fourni avec des scripts de déploiement et de surveillance qui réduisent la charge de déploiement et de maintenance de la solution.

Quelques concepts

Voici les différentes notions nécessaires à la bonne compréhension de la plateforme TSorage :

Une métrique

Concept fondamental de TSorage, une métrique est une entité abstraite associée à des mesures classées chronologiquement. Chaque mesure est également appelée un point de données ou une observation.

Dans TSorage, tous les points de données appartenant à une métrique représentent le même phénomène physique, numérique ou logique, et ont donc typiquement le même type de données (bien que ce ne soit pas une limitation technique de la plateforme). Le type de données d'une observation détermine la manière dont TSorage la stocke et la présente, ainsi que les transformations auxquelles cette observation peut être soumise.

Les tags

Les tags sont des propriétés associées aux points de données. Leur utilité est d'aider l'utilisateur à comprendre la signification d'une observation particulière ou à interroger des points de données ayant une signification particulière. Concrètement, un tag est un texte arbitraire (la clé), associé à une valeur textuelle arbitraire (la valeur). Il y a deux types de tags :

- les tags dynamiques : ils sont directement attachés à un point de données,

- les tags statiques : ils sont attachés à une métrique et sont automatiquement hérités de tous ses points de données.

Les tagsets

L'ensemble de tags associé à un point de données est appelé tagset. Un tagset combiné à une métrique constitue une série chronologique dans TSorage.

Il existe deux manières typiques d'utiliser les tagsets :

- Une métrique identifie un capteur (au sens large du terme), tandis que les tags clarifient le statut du capteur (nom du fabricant, position géographique, etc.) ou certains des points de données générés (qualité de la donnée, état de fonctionnement, etc.).
- La métrique fait référence à une propriété d'intérêt (utilisation du processeur, par exemple), tandis que les tags font référence à l'élément à l'origine des points de données (serveur numéro 5, par exemple).

Bien que mélanger ces deux approches soit techniquement possible, nous vous recommandons de choisir l'une d'entre elles et de vous y tenir.

Nous vous conseillons d’utiliser les tagsets pour appliquer une politique de sémantique, c’est-à-dire une ontologie. Au lieu de placer des informations dans le nom de la métrique, en utilisant certaines conventions spécifiques à l’entreprise qui sont peu respectées et qui souffrent donc de nombreuses exceptions, le nom de la métrique peut être dénué de sens et la sémantique peut être explicitée à l’aide du tagset.

Organisation hiérarchique

Veuillez noter que rien ne vous empêche d'organiser les métriques de manière hiérarchique, comme c’est souvent le cas avec les réseaux de capteurs industriels, car les clés de tag peuvent être utilisées pour définir les niveaux hiérarchiques de l'organisation (Vous en découvrirez davantage via la documentation officielle ou via cet article de blog).

Les séries chronologiques sont organisées de manière hiérarchique : les points de données et les valeurs agrégées des différentes séries chronologiques ayant la même métrique peuvent être combinés afin de produire une série chronologique plus générique. Bien que les technologies impliquées dans TSorage sont assez efficaces et passent bien à l’échelle, sachez que l'extraction et la fusion de plusieurs séries chronologiques peuvent mener à une consommation importante des ressources disponibles. Par conséquent, le nombre de séries chronologiques qui doivent être fusionnées pour satisfaire une requête de données doit rester raisonnable afin de maintenir la pression sur la base de données à un niveau acceptable.

Les messages

Afin d'offrir de meilleures performances, les communications TSorage sont basées sur le concept de message. Un message est essentiellement un ensemble de points de données liés à la même série chronologique. En d'autres termes, les messages sont un moyen de soumettre plusieurs points de données à la fois, tout en ne soumettant le nom de la métrique, le tagset dynamique et le type de données qu'une fois par message.

Chaque message doit contenir les éléments suivants :

- metric : l'identifiant de la métrique pour laquelle de nouveaux points de données sont fournis.
- tagset : l’ensemble de tags dynamiques associés à tous les points de données décrits dans le message.
- type : le type de tous les points de données décrits dans le message. Bien que l'utilisation du même type pour tous les points de données relatifs à une métrique soit généralement considérée comme une bonne pratique, le type associé à une métrique (ou à une série chronologique) peut changer d'un message à un autre.
- values : une liste de points de données. Chaque point de données est constitué de deux éléments : une représentation de l'horodatage associé au point de données et la valeur du point de données.

D'un point de vue technique, un message est représenté par un objet JSON (il peut également être représenté par un message Protobuf, cliquez ici pour plus d’infos).

Le schéma JSON d’un message TSorage est le suivant :

{

  "$id": "be.cetic.tsorage.messageschema.json",

  "type": "object",

  "properties": {

    "metric": {

      "type": "string"

    },

    "tagset": {

      "type": "object",

      "additionalProperties": {

        "type": "string"

      }

    },

    "type": {

      "type": "string"

    },

    "values": {

      "type": "array",

      "items": [

        {

          "type": "array",

          "items": [

            {

              "type": "string",

         "pattern" :"^(-?(?:[1-9][0-9]*)?[0-9]{4})-(1[0-2]|0[1-9])-(3[01]|0[1-9]|[12][0-9])T(2[0-3]|[01][0-9]):([0-5][0-9]):([0-5][0-9])(\\.[0-9]+)?(\\.([0-9]){1,3})?$"

            },

            {}

          ]

        }

      ]

    }

  },

  "required": [

    "metric",

    "type",

    "values"

  ]

}

Comme illustré ci-dessus, l'attribut tagset doit être un dictionnaire de chaînes de caractères. Chaque valeur (qui représente un point de données) est un tableau contenant l'horodatage et la valeur du point de donnée, dans cet ordre. L'horodatage est représenté par une chaîne de caractères au format ISO 8601.

La valeur elle-même peut être n'importe quel objet JSON valide. Son schéma réel dépend du type de donnée spécifié. Il existe plusieurs types de données proposés d’office par TSorage, et des types de données supplémentaires arbitrairement complexes peuvent être ajoutés à volonté.

L'extrait ci-dessous est un exemple de message valide décrit à l'aide du format JSON :

{

  "metric": "my-temperature-sensor",

  "tagset": {

    "quality": "good",

    "owner": "myself"

  },

  "type": "tdouble",

  "values": [

    [ "2020-01-02T03:04:05.678", 42.1337 ],

    [ "2020-01-02T03:04:06.123", 654.72 ]

  ]

}

Architecture

Le projet TSorage est basé sur une architecture modulaire, tous les modules étant conçus pour être exécutés dans des conteneurs Docker distincts. Cela fait de TSorage une solution portable, avec des étapes de déploiement simples et standardisées. Il offre également la possibilité de placer les composants sur différentes machines physiques et virtuelles, le rendant disponible sur une large gamme de plateformes et de services.

De plus, le (re)dimensionnement d'une architecture conteneurisée est plus facile, puisqu'un composant peut être déplacé vers une plateforme offrant plus de ressources. Sous certaines conditions, les conteneurs peuvent être dupliqués afin d'augmenter les performances des modules sous-jacents.

La figure ci-dessous donne un aperçu de l'architecture TSorage.

La passerelle (Gateway) : le traitement des séries temporelles commence par la couche Gateway, qui contient des composants ad hoc pour collecter ou extraire des valeurs de séries chronologiques à partir de diverses sources de données. Cette couche prend en charge diverses technologies de communication industrielles, y compris Modbus, OPC-UA et MQTT. Les bases de données distantes peuvent également être consultées pour la collecte de données historiques. Les valeurs de séries chronologiques collectées sont standardisées et temporairement stockées dans un tampon avant d’être finalement transmises à la couche d'ingestion à l'aide des protocoles HTTP ou MQTT.

La couche d’ingestion : le système d’ingestion des données est polyvalent et se base sur des technologies standardisées (HTTP, MQTT, etc.) afin de faciliter l’intégration de TSorage dans votre système informatique! Cette couche est celle du point d'entrée des valeurs de séries chronologiques : la conformité des messages reçus est vérifiée, les messages non autorisés sont rejetés. À partir de là, les entités décrites sont considérées comme des composants internes de TSorage, ce qui signifie essentiellement qu'elles sont gérées par le cluster TSorage. La couche d’ingestion est composée de différents modules d'interface, chacun d'entre eux fournissant un moyen spécifique pour une source de données de soumettre de nouvelles valeurs de séries chronologiques. Les messages acceptés sont poussés vers un topic Apache Kafka12, qui agit comme une file d'attente de messages pour les services internes de traitement de TSorage.

La couche de traitement (processing) : à ce stade, un ensemble d’applications de traitement gère le flux de messages Kafka. C’est le langage de requêtes de séries chronologiques de Prometheus, PromQL, qui a été implémenté afin d’exploiter les données collectées. Ce langage permet de réaliser des agrégations temporelles, des combinaisons de valeurs, et de filtrer des données tout en prenant en compte la sémantique associée aux capteurs." Il permet d’effectuer des agrégations et des transformations de données en temps réel.

- Les rollups de données (data rollups) sont des agrégations des valeurs au fil du temps. De cette façon, des analyses de haut niveau couvrant de longues périodes peuvent être effectuées plus facilement. Les rollups facilitent également l’analyse de séries chronologiques, car leurs valeurs sont alignées chronologiquement.
- Les transformations de données sont les modifications des valeurs, des noms et des tags des séries chronologiques, en temps réel et selon des fonctions métier, afin d’enrichir les informations traitées.

La couche de stockage (storage) : Apache Cassandra est utilisé pour stocker des valeurs de séries chronologiques de manière permanente. Cette base de données distribuée et décentralisée offre une évolutivité linéaire, tandis que la réplication automatique des données entre différents sites permet à la solution de rester opérationnelle et de se remettre automatiquement de la défaillance d’un nœud ou même d’un data center entier. De cette façon, la pérennité, la survie et la disponibilité des données sont assurées. TSorage offre également une résilience aux pannes grâce à un mécanisme qui assure la migration automatique des différentes fonctionnalités de la solution d’un serveur défaillant vers un autre fonctionnel, garantissant ainsi une haute disponibilité des différents services.

Le modèle de données conçu respecte la nature des données manipulées et des requêtes typiques qui se rapportent à une série chronologique ainsi qu’à un intervalle de temps précis. En plus des valeurs de séries chronologiques, la base de données stocke également les métadonnées qui aident à atteindre plus efficacement les données souhaitées. Par exemple, une liste de toutes les partitions associées à une métrique particulière, et ayant un tagset particulier, est tenue à jour afin d’améliorer le temps de réponses des requêtes.

La couche Hub : il s’agit des services qui aident l’utilisateur à interagir avec les autres couches. Les services déployés dépendent des besoins de l’utilisateur mais ils incluent généralement la gestion des tags, le requêtage de données et les représentations de ces dernières sous forme de tableaux de bord. Grafana est l’outil proposé pour concevoir et déployer facilement des tableaux de bord, alimentés par les valeurs de séries temporelles ingérées, sous la forme de visualisation SCADA. La couche Hub offre une implémentation de PromQL, le langage de requête de séries chronologiques de Prometheus. Les outils d’analyse et de visualisation supportant ce langage s’intègrent donc aisément avec TSorage.

Un exemple de cas d’étude

Le CETIC a évalué TSorage dans le cadre du projet de recherche industrielle SW-ARTEMTEC. L’objectif était de fournir des outils analytiques modernes et avancés issus des technologies liées au big data et à la réalité augmentée afin d’améliorer la maintenance des sites industriels répartis géographiquement dans le monde entier.

Le partenaire du CETIC, Safran Aero Boosters (SAB), a apporté des flux données provenant de divers capteurs mesurant l’activité d’équipement de test aérospatial. Ces flux de données ont été enregistrés et traités avec TSorage afin de détecter toute anomalie. Le résultat attendu de ce projet est le développement de services innovants répondant aux attentes du marché de SAB.

Pour aller plus loin...

La plateforme TSorage a été développée par le CETIC dans le cadre de l’Industrie 4.0, avec l’ambition de développer un portefeuille d’outils de gestion de données modernes et conformes aux enjeux introduits par l’Internet Industriels des Objets.

Vous trouverez la documentation technique ici, n’hésitez pas à contacter le CETIC pour plus d'informations.

Vous pouvez également générer des séries temporelles paramétrables grâce à TSimulus pour ensuite les stocker et les visualiser grâce à TSorage.

Notez que TSorage peut aussi être déployé à l’aide de FADI, une plateforme “cloud native” dédiée au Big Data.

DMWay, la communication IoT simplifiée

laurie — Thu, 12 Nov 2020 14:22:15 +0000

DMWay, la communication IoT simplifiée

Tags

laurie Thu, 11/12/2020 - 15:22

Télécharger le PDF

Fiche DMway

Body

Du smart building à l’Industrie 4.0 en passant par l’e-santé, de plus en plus d’appareils intelligents infiltrent notre quotidien. Que ce soit pour optimiser l’efficacité énergétique d’un bâtiment, faire de la maintenance prédictive, s’assurer un meilleur confort de vie,... Il existe désormais une pléthore d’objets connectés! Le hic ? Il existe également une multitude de protocoles IoT. Trouver un seul protocole de communication compatible avec tous les différents appareils connectés s’avère compliqué... sauf si vous avez DMWay!

Cette fiche vous explique plus en détails DMWay, la solution multi-protocoles de gestion de données pour l’IoT Gateways.

Pour qui ?

Vous êtes une entreprise utilisant de nombreux capteurs hétérogènes ? Une entreprise industrielle désirant commander sa chaîne de production ? Votre société propose des services de maintenance prédictive ? Vous implémentez des solutions de capture de données ? Vous devez certifier des installations ? Vous vendez des gateways industrielles et des solutions de data-lake ? Vous voulez simplement vous simplifier la vie quant à la collecte et à la gestion de vos données ?

DMWay est une solution logicielle qui va fortement vous intéresser !

Pour quoi faire ?

A l’heure actuelle, il existe une multitude d’objets connectés et tout autant de protocoles de communication IoT, propriétaires ou non. La gestion des sources et des formats de données hétérogènes est très compliquée : les backends ont besoin d’un connecteur adapté pour chaque protocole étant donné que de nombreux types de sources de données ont leurs propres caractéristiques et exigences. Les utilisateurs se retrouvent souvent bloqués soit par rapport à une marque de matériel soit avec un système de gestion qui ne répond pas complètement à leurs attentes.

DMWay (Dynamic Mapping Gateway) sert d’intermédiaire entre les objets connectés et les applications web. Son objectif est d’interconnecter des données hétérogènes en uniformisant les protocoles IoT reçus en entrée et en fournissant, en sortie, les différents protocoles dans le format souhaité.

On peut plus facilement résumer le rôle de DMWay à celui de traducteur !

Les atouts de DMWay

Se défaire du vendor lock in

Avec DMWay, vous êtes propriétaire de vos données et vous pouvez les gérer comme vous le souhaitez.

Le multiplexage de données

Grâce à DMWay, vous pourrez connecter vos différents capteurs/actionneurs et distribuer les données qui en résultent à des backends différents. Si vous disposez de 45 capteurs de marque X conçus pour communiquer avec le backend de cette même marque X, il est difficile d’apporter de l’évolutivité à vos données ... Or déployer DMWay comme intermédiaire, vous permet de communiquer les données avec des backends d’autres marques ou open-source.

La sémantique des données

La sémantique des données concerne la signification du message : elle assure la conservation du sens des données lors des échanges entre les différentes parties communicantes. Le rôle de la sémantique est vraiment d’assurer la cohérence des significations reçues (on parle d’interopérabilité sémantique).

DMway permet de détecter et conserver la sémantique initiale, et sous certaine configuration, il peut l’enrichir, surtout lorsque les couches de protocoles sous-jacentes sont faiblement structurées.

Le support built in des standards majeurs de l’IoT

DMway comprend les protocoles principaux, les standards majeurs de l’industrie IoT :

OCF/OneIOTA
OneM2M/HGI
OPC/UA
CoAP
CayenneLPP
ZWave
ModBus
MQTT
...

Les interfaces supportées

Afin de supporter les différents protocoles ci-dessus, DMway supporte diverses interfaces physiques, comme Ethernet, WiFi, GPRS, ou Serial, RS-485, . En effet, p… Par exemple, vous pouvez communiquer directement vers un équipement en CayenneLPP via Serial ou communiquer en ZWave, RF, LoRaWAN,... via leurs outils d’interfaçage MQTT.T au moyen d’une connexion Ethernet.

Support built in des backends les plus communs

La solution DMway permet d’intégrer très facilement un nouveau backend grâce à une configuration rapide !

Actuellement, elle vous permet de communiquer vers l’extérieur envia, entre autres, MQTT, CoAP, OneM2M et SerialM.,... DMway dispose également de connecteurs spécifiques pour MongoDB, RabbitMQT, Thingsboard et TSorage (et prochainement OPC/UA !).

Si vos plateformes intègrent du MQTT, comme Azure ou AWS par exemple, vous pouvez également les connecter directement à DMwWay.

Versatilité dans le déploiement

DMway est un logiciel léger que vous pouvez déployer à divers endroits de votre architecture :

Edge computing : vous pouvez réalisez une implémentation de DMWay directement dans votre gateway.
Cloud computing/ Fog server : vous pouvez installer DMWay a l’entrée d’une solution de stockage ou de votre plateforme web pour simplifier l’interconnexion de vos capteurs.
Hybride (Edge & Cloud) : vous pouvez déployer DMWay sur votre gateway et sur vos serveurs afin de simplifier et uniformiser votre architecture de déploiement.

Pourquoi choisir DMway plutôt qu’une autre solution ?

DMWay fait face à de nombreux concurrents sur le marché… Néanmoins, aucun ne couvre tous les aspects de DMWay !

Les cas d’utilisation de DMway

DMWay a déjà été mobilisé dans divers cas d’utilisation :

Le projet de recherche MAPIU

L’objectif de ce projet dans le domaine de la logistique était de voir, grâce au placement de capteurs à l’intérieur de camions, les chocs subis par les caisses lors du transport. DMWay a été implémenté entre les capteurs et le système de gestion situé dans le cloud.

Le projet de recherche KEY2SUCCESS4.0

Ce projet de démonstrateur industriel léger et polyvalent a pour but de démontrer l’usage de l’IoT dans l’industrie 4.0. DMWay a été implémenté localement en tant qu'interprète multiplexeur.

Le projet Build4Wal

Ce projet, aussi appelé Construction 4.0, a pour objectif de stimuler la transition numérique du secteur de la construction. DMWay facilite le déploiement des capteurs pour l’interconnexion à la plateforme Thingsboard.

Le système domotique du CETIC

Des capteurs hétérogènes ont été installés au sein du bâtiment. Ce cas d’application illustre la capacité d’ajout de capteurs à chaud ainsi que le multiplexage : de nouveaux capteurs ont été installés sans avoir besoin de modifier la configuration ou de faire quoi que ce soit d’autre. La communication s’est directement faite avec le système déjà en place et avec différents backends tels que Thingsboard et Grafana.

La démonstration en vidéo

Voici le replay du webinaire organisé par le Hub-C le 16 décembre 2021 afin de faire une démonstration de DMway La présentation est réalisée par Amel Achour, ingénieure de recherche Senior en Evolutivité des systèmes embarqués et réseaux IoT au sein du CETIC.

Pour aller plus loin...

DMway est un outil développé par le CETIC, n’hésitez pas à prendre contact si vous désirez des informations supplémentaires!

Si vous voulez en savoir plus sur les réseaux de capteurs et l’IoT, vous pouvez consulter nos fiches relatives à la gestion des réseaux de capteurs, à la plateforme IoT Thingsboard ou encore celles concernant la fabrication de son propre système domotique open source et de son propre moniteur de qualité d’air.

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

L'impression 3D

laurie — Wed, 11 Nov 2020 12:36:06 +0000

L'impression 3D

Tags

Logiciel

Prototypage

laurie Wed, 11/11/2020 - 13:36

Télécharger le PDF

Fiche L'impression 3D

Body

Cela ne peut vous avoir échappé, les techniques d’impression 3D se développent de plus en plus ces dernières années et viennent bouleverser nos modes de production : coeurs artificiels, équipements sportifs, tiny house, bâtiments de plusieurs niveaux,... Tout ce qui s’imagine aujourd’hui peut se construire dès demain!

Vous aussi vous souhaitez virtualiser et matérialiser tout ce que vous imaginez en 3D? Cette fiche vous présente un aperçu des différentes technologies de fabrication additive (dont une description plus détaillée du processus d’impression FDM), les étapes nécessaires à la conception de votre objet en trois dimensions ainsi que quelques logiciels pour vous y découvrir cette technologie disruptive.

Pour quoi faire ?

L’impression 3D vous permet de :

Réaliser des pièces introuvables dans le commerce, des pièces trop coûteuses,...
Personnaliser vos produits afin de répondre à des besoins spécifiques, chaque réalisation peut être unique!
Prototyper rapidement : avec l’impression 3D, vous gagnez du temps, de l’argent et de la précision. Plus besoin de créer plein de moules pour arriver à fabriquer la pièce tant désirée, vous gagnez en agilité et réduisez vos itérations. La méthode de fabrication est considérablement accélérée grâce à cette technologie!
Optimiser aisément le design de vos pièces : réduire le gaspillage de matière, les coûts de production, tenter des formes complexes,...

Pour qui ?

Une multitude de secteurs peut être intéressée par l’impression 3D! Voici quelques idées d’applications :

L’architecture et la construction : impression de maquettes, de bâtiments plus durables, (re)construction rapide,...
Le secteur médical : impression d’appareils médicaux, de prothèses et d’implants adaptés, d’organes,...
L’industrie chimique : impression d’assemblages moléculaires,...
La mécanique
L’agroalimentaire : impression de moules complexes, impressions alimentaires,...
L’éducation : les réalisations 3D servent comme supports d’apprentissage à de nombreux autres domaines
L’aéronautique et l’aérospatiale : impressions de pièces spécialisées, de structures complexes,....par exemple, Airbus a imprimé des pièces certifiées pour le vol et des structures de cabines, la Nasa a imprimé un système correcteur pour un moteur de fusée,...
La défense : impressions d’équipement, d’armes,...
Le retail et la distribution : c’est toute la chaîne de valeur qui peut être repensée grâce à l'impression 3D (distribution instantanée, personnalisation du produit, production à la demande,...)
L'énergie : impressions de panneaux solaires, d’hélices,... retrouvez plusieurs idées de projets pour ce secteur sur Sculpteo.
L’automobile : voici une liste de projets déjà réalisés, on peut citer la personnalisation des jantes ou de l’esthétisme complet du véhicule, la réduction de son poids, le développement de voitures moins polluantes,...
La mode et le textile : impressions directes sur les tissus, assemblage sans couture, mélanges de matières, innovation dans les fonctionnalités du vêtement,...
La robotique : amélioration de robots spécialisés.
L’optique
Les productions industrielles
L’audiovisuel et le cinéma : réalisations de décors, d’accessoires, de maquettes, de costumes et de figurines grâce à l’impression 3D.
La joaillerie : impressions rapides de bijoux personnalisés, avec des matériaux précieux et selon des formes complexes, l'impression 3D s’invite dans l’univers du luxe!
L'électronique : impression de composants et de circuits électroniques

De plus, cette technologie est de plus en plus accessible financièrement; elle ne s’adresse plus uniquement aux professionnels mais également aux particuliers qui veulent revisiter leurs hobbies!

Comment ?

L'impression 3D, ou fabrication additive (FA), regroupe l’ensemble des procédés de fabrication de pièces en volume par ajout ou agglomération de matière.

Dans la suite de cette fiche, nous vous décrivons très brièvement les trois différentes technologies d’impression additive et plus spécifiquement, les étapes du processus d’impression par dépôt de fil (FDM). Nous vous invitons également à découvrir le Fab-C qui vous permettra de vous initier ou de vous perfectionner dans l’impression 3D.

Les différentes technologies d’impression 3D

Nous présentons très succinctement les 3 grandes catégories de technologies de fabrication additive, quelques points forts et quelques points faibles,... Vous pouvez trouver davantage d’informations à ce sujet ici.

L’impression par dépôt de fil ou extrusion (FFF ou FDM)

Il s’agit de la technique d’impression 3D la plus populaire car elle est rapide, économe et accessible à Monsieur et Madame Tout-le-monde. Votre objet est modelé par un dépôt et une superposition de couches de filament thermoplastique en fusion (“Fused Filament Fabrication” ou “Fused Deposition Modeling” ).

Vous trouverez une large gamme de matériaux thermoplastiques disponibles (par exemple l’ABS, le PLA, le polycarbonate, le polyamide et le polystyrène) et dans de nombreuses couleurs.

Bien qu’il existe des machines professionnelles (Ultimaker, Zortrax,...) voire industrielles (Markforged notamment), ce n’est pas la technologie la plus utilisée pour cela car les modèles conceptuels sont assez basiques et la précision n’est pas très élevée.

La stéréolithographie (SLA en abrégé)

La technologie SLA utilise le principe de photopolymérisation où une lumière UV, provenant d’un laser ou d’un projecteur numérique (“Digital Light Processing”), solidifie une couche de résine liquide. De cette façon, l’objet est imprimé couche après couche.

Les avantages de cette technologie sont qu’elle est très précise et permet une très grande qualité des détails en termes de finition et de résolution des impressions car le laser est contrôlé et dirigé par des miroirs. Comme autre avantage, on peut également citer la bonne résistance inter-couches de l’objet.

Après traitement, les pièces imprimées doivent être nettoyées dans un bain de solvant, puis placées dans un four à ultraviolet afin de durcir. Attention, ce traitement peut légèrement déformer votre pièce.

La technologie SLA est assez coûteuse (surtout au niveau des exigences de maintenance) et demande une certaine expertise, elle est donc surtout privilégiée dans les secteurs industriels. Les avantages de cette technologie intéressent beaucoup les domaines de l’horlogerie, de la joaillerie, de la bijouterie, mais aussi les secteurs dentaires, médicaux et mécaniques (certaines résines sont d’ailleurs conçues spécifiquement pour ces secteurs!)... Ou encore le secteur de conception et de production d’instruments de musique!

Parmi les imprimantes 3D utilisant cette technologie, nous pouvons citer la Form 3 de FormLabs (ce sont d’ailleurs les pionniers de l’impression 3D personnelle par SLA!), l’imprimante 3D ProJet® 7000 HD de chez 3D Systems ou encore la Peopoly Phenom.

L’impression par liage de poudre (SLS, SLM, DMLS)

La troisième technologie d’impression 3D est celle du liage de poudre (aussi appelée “projection de lien”, ou “Binder jetting”) : un liant liquide est pulvérisé, grâce à une tête d’impression semblable à celle d’une imprimante 2D, sur un lit de poudre qui va ensuite se solidifier couche après couche pour former votre pièce finale.

Plusieurs méthodes utilisent cette technologie : la fusion sélective au laser (SLM), le frittage laser direct des métaux (DMLS), la fusion par faisceau d’électrons (EBM), la fusion multi-jets (MJF), l’impression en poudre à base de plastique, le frittage laser sélectif (SLS),...

Un post-traitement est nécessaire afin d’augmenter la résistance de votre objet imprimé; certaines pièces doivent être vernies (les céramiques par exemple) ou frittées dans un four spécifique (lorsqu’il y a un liant métallique).

Peu accessible aux amateurs et assez coûteuse, cette technologie ne dispose pas encore d’une communauté aussi développée que les imprimantes 3D utilisant des filaments en plastique (FDM) ou de la résine (SLA). La technique du liage de poudre est plutôt réservée au prototypage professionnel ou à la fabrication industrielle car elle permet un grand volume d’impression, la conception de pièces très complexes et d’avoir une meilleure prévisibilité du produit fini au niveau de ses propriétés mécaniques, ce qui est parfait pour le développement de pièces en série!

La polyvalence des types de matériaux qui peuvent être utilisés est un atout supplémentaire. En effet, une multitude de poudres peut servir de consommables : gypse, sable, céramiques, métaux (titane, aciers inoxydables, cuivre,...), polymères granulaires,... et il est également possible de faire des modèles en couleur!

Vous trouverez des imprimantes 3D à liage de poudre chez 3D systems, Concr3de, ExOne, Höganäs, FormLabs (avec l’imprimante Fuse 1),...

L'impression 3D FDM

Bien que cette partie décrit le processus d’impression d’un objet en trois dimensions à l’aide de la technologie FDM, les étapes sont presque identiques si vous utilisez les autres technologies décrites dans la section ci-dessus : vous aurez tout autant besoin du fichier de modélisation de votre objet et celui-ci devra passer par un logiciel de tranchage avant l’impression.

Illustration du processus d’impression d’un objet 3D

Matériel requis pour une impression FDM

– une imprimante 3D FDM,

– une bobine de filament,

– un fichier 3D (au format STL ou OBJ),

– un logiciel de slicing (ou logiciel de tranchage) pour trancher le fichier et transmettre les indications à l’imprimante,

– un ordinateur.

Les différentes étapes

1. La modélisation de votre objet

Pour pouvoir imprimer en 3D, il vous faut impérativement un fichier 3D de votre objet. Pour obtenir cela, vous avez 3 possibilités :

construire votre modèle 3D grâce à un logiciel CAO,
scanner votre objet en 3D,
télécharger des modèles tridimensionnels existants : vous pouvez en trouver des gratuits facilement sur de nombreux sites, par exemple Thingiverse, Cults3d, My mini factory, YouMagine,....

Quel que soit le moyen choisi, vous devez disposer à la fin de votre modélisation d’un fichier .stl ou .obj à importer et à ouvrir dans le logiciel d’impression 3D fourni avec votre imprimante 3D.

Illustration de l'étape de modélisation du projet

2. Préparation du fichier avant l’impression 3D

Pour pouvoir imprimer votre objet en 3D, vous devez transformer le fichier de modélisation numérique en un fichier adapté à l’imprimante 3D. Pour cela, vous devez utiliser un slicer, un logiciel de tranchage qui va “trancher” votre objet en une série de couches superposées et fournir les instructions nécessaires à l’imprimante, dans un fichier G-Code. Si vous désirez en savoir plus sur cette étape ou connaître les slicers open source et gratuits les plus courants, rendez-vous sur la fiche relatives aux slicers.

Illustration de la préparation du fichier avant impression

3. Transfert du fichier G-Code à l’imprimante

Ensuite, vous devez transmettre votre fichier G-Code à votre imprimante, vous avez 3 manières de faire possibles :

En connectant votre imprimante 3D directement à votre ordinateur à l’aide d’un câble USB (attention au mode “veille” qui peut interrompre le processus!).
En enregistrant votre fichier sur une carte SD et l’insérer dans votre imprimante 3D.
En utilisant la connectivité WiFi. Plusieurs applications et logiciels existent pour utiliser ce processus (OctoPrint, Repetier-Host, AstroPrint,...). Voici un tutoriel vous expliquant comment faire avec Octoprint.

Illustration du transfert de fichier vers l'imprimante

4. Les réglages et connexions de votre imprimantes 3D FDM

N’oubliez pas de vérifier vos différents branchements, la stabilité de votre imprimante (particulièrement au niveau de la tête d’impression) et de votre plateau d’impression ainsi que son niveau (il ne faut ni trop de jeu, ni trop de résistance).

5. Le processus d’impression FDM en tant que tel

Pour commencer l’impression de votre objet désiré, insérez votre bobine de filament (généralement à base de plastique, PLA ou ABS) sur son support.

Ensuite, on vous conseille de couper le bout de votre filament en biseau pour faciliter son insertion dans le tube qui sert de guide-filament et ensuite, son entrée dans l’extrudeur. Mais qu’est-ce que l’extrudeur ? Composé de différentes parties (moteur d'entraînement, bloc chauffant, buse,...), l’extrudeur est ce qui permet à votre imprimante 3D d’éjecter le matériau liquide afin de créer votre pièce en 3D par additions successives de couches.

Illustration d'une imprimante 3D FM

Votre imprimante va chauffer le plateau et la buse d’extrusion. Pendant ce temps-là, un moteur (l’alimenteur/feeder) entraîne directement des roues crantées qui vont entraîner à leur tour le filament pour le pousser vers la source de chaleur de l’extrudeur.

Le bloc chauffant va chauffer la buse d’extrusion et faire fondre le fil. L’imprimante va déplacer la tête d’impression en déposant le filament fondu à des endroits précis sur le plateau. Quand une couche est terminée, le processus se répète couche par couche. Le filament fondu va refroidir et se solidifier afin de former votre objet en trois dimensions.

La durée de l’impression 3D dépendra de la taille et des paramètres de votre modèle selon la configuration que vous avez effectuée avec le logiciel de tranchage lors de l’étape 2.

Une fois imprimée, votre pièce 3D n’est pourtant pas “prête à l’emploi”... un petit post-traitement s’impose. Si vous avez utilisé du PLA, il est conseillé de polir votre objet à la main avec du THF (tétrahydrofuranne) pour lisser vos surfaces alors que si vous avez utilisé de l’ABS, préférez utiliser des vapeurs d’acétone.

Pour aller plus loin… Découvrez le !

Vous avez une question? Vous désirez en savoir plus ou tout simplement vous mettre à l’impression 3D? Delphine et Sylvain du Fab-C (partenaire du Hub Créatif de Charleroi) sont là pour vous aider! N’hésitez pas à les contacter!

Saviez-vous que…

Le Fab-C dispose d’une imprimante Ultimaker 3 avec les caractéristiques suivantes ?

Volume d'impression : de 215 x 215 x 200 mm
Précision : jusqu'à 20 microns avec Print Core 0.4mm
Température d'impression : jusqu'à 280°C
Double extrusion : avec matériaux de support
Print Core : interchangeables
Plateau chauffant : avec ajustement de niveau automatique

Sylvain vous explique d’ailleurs dans ce tutoriel comment changer le filament sur ce type d’imprimante!

Le Fab-C dispose également d’une imprimante Form2 de FormLabs pour l’impression résine (rappelez-vous… C’est la technologie SLA)! Ses caractéristiques sont les suivantes :

Volume d'impression : 14,5 × 14,5 × 17,5 cm
Technologie : Stéréolithographie (SLA)
Taille du faisceau laser : 140 microns
Puissance du laser : 1 x Laser 250 mW
Épaisseur de couches : 25 - 300 microns
Plateau chauffant : avec ajustement de niveau automatique
Supports des pièces : générés automatiquement / Retrait avec outils

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

La conception assistée par ordinateur (CAO/CAD)

laurie — Tue, 10 Nov 2020 09:55:58 +0000

La conception assistée par ordinateur (CAO/CAD)

Tags

Logiciel

Prototypage

laurie Tue, 11/10/2020 - 10:55

Télécharger le PDF

La conception assistée par ordinateur (CAO/CAD)

Body

Vous êtes intéressés par le prototypage rapide sans pour autant être calé en dessin, calcul ou programmation? La conception assistée par ordinateur, ou CAO, est une solution qui va vous intéresser!

Si ces termes ne vous disent rien, pas de panique. Nous vous expliquons tout dans cette fiche : ce que c’est, son utilité, ses avantages,... et nous vous proposons également quelques logiciels libres et open source afin de découvrir cela par vous-mêmes!

Pour quoi faire ?

La CAO, c’est-à-dire la conception assistée par ordinateur (ou computer aided design - CAD en anglais), est une technologie de conception et de documentation techniques qui remplace le dessin manuel par un processus automatisé. Grâce à des logiciels et à des techniques de modélisation géométrique, vous pouvez organiser des fonctions techniques, concevoir et tester virtuellement des objets avant de le fabriquer véritablement. Un logiciel CAO facilite le design de votre pièce ou de votre série de pièces, que celles-ci soient complexes ou non.

Les différences entre la CAO et le DAO

Attention à ne pas confondre la CAO avec le DAO (Dessin Assisté par Ordinateur).

Le DAO est une composante de la CAO, il remplace les tables et planches à dessin d’autrefois. Il s’agit de logiciels spécifiques permettant la conception et l’édition de dessins techniques, de plans et modèles graphiques sur ordinateur. Les avantages du DAO sont

Une réalisation, une modification, un ajout ou une suppression rapide d’éléments. Faire cela sur un dessin réalisé à la main demande du temps et de nombreuses reproductions.
Une utilisation des données beaucoup plus facile : le DAO permet de gérer, transférer et reproduire les données beaucoup plus aisément.
Les données sont moins vulnérables qu’un dessin sur papier car elles peuvent être sauvegardées automatiquement.
Le risque d’erreurs est réduit : vous aurez beaucoup plus de précision avec une représentation 3D et les erreurs seront plus rapidement repérées.
L’association du dessin avec de nombreux outils vous permet d’obtenir de nombreux mélanges de couleurs et d’associer différents supports.

En résumé les logiciels CAO vous permettent de

rédiger plus facilement de la documentation de construction,
explorer des idées de conception,
visualiser des concepts grâce à des maquettes numériques et selon différents angles de vue,
simuler les performances d'une conception dans le monde réel.

Autrement dit, vous pouvez gérer l’intégralité du cycle d’une production industrielle avec un logiciel CAO.

Quels sont les avantages d’un logiciel CAO ?

Bien que certains logiciels CAO soient spécialisés selon un métier spécifique, il n’est pas nécessaire d’avoir des aptitudes particulières en dessin ou en programmation pour découvrir la CAO. Certains logiciels se trouvent à la portée de tous!

Les logiciels de Conception Assistée par Ordinateur augmentent grandement votre productivité grâce à l’automatisation de nombreuses tâches et à la réduction des délais d’exécution, mais également grâce à une planification exacte et à une grande précision de calculs : vous pouvez travailler de manière précise sur le design de votre produit sans craindre d’erreur dans le processus de conception.

Grâce à l’imagerie 2D et 3D, vous pouvez visualiser plus aisément votre objet, tant au niveau de son aspect, que de sa structure ou encore de son fonctionnement, avant même que celui-ci ne soit fabriqué. De cette façon, vous pouvez réaliser autant de simulations et de variations pour améliorer la qualité et l’esthétisme de vos produits sans que cela ne vous coûte un sous.

La CAO vous permet également d’accélérer votre prototypage en vous passant des moules et matrices traditionnellement réalisés pour les prototypes : il vous suffit de matérialiser vos fichiers CAO en objet grâce à l’impression 3D par exemple!

Répondre aux besoins et aux attentes de votre marché, surtout en termes de personnalisation de produits, n’aura jamais été aussi aisé et rapide!

Pour qui ?

L’architecture, l’ingénierie, la construction mécanique, l’urbanisme, la médecine, les transports, l’ameublement, la métallerie, l’énergie, l’électronique, la confection de vêtements, l’outillage,.... Les applications des logiciels CAO sont presque infinies. Il est plus simple de dire que la Conception Assistée par Ordinateur s’adresse à vous si, dans votre domaine, vous devez établir un prototype afin de vérifier la faisabilité et la correspondance avec votre cahier des charges.

Matériel requis :

Il vous faut un ordinateur et un logiciel CAO, tout simplement! Nous vous en présentons plusieurs dans cette fiche.

Quelques clarifications...

Y a-t-il une différence entre les expressions « logiciel open source » et « logiciel libre »?

Un logiciel open source, comme son nom l'indique, est “ouvert”, c’est-à-dire que tout le monde a la possibilité d'accéder à son code source avec la possibilité d'étudier le fonctionnement du programme et de l'adapter à ses besoins. On peut également redistribuer le code source et créer des produits logiciels dérivés.

Un logiciel libre est similaire à un logiciel open source mais la philosophie et l’éthique qui entourent ce concept vont plus loin. Avec un logiciel libre, vous avez la liberté d’exécuter le programme pour tous les usages que vous souhaitez, d’étudier le fonctionnement du programmes et de l’adapter à vos besoins, de redistribuer des copies (dans le but d’aider autrui) mais vous avez aussi la liberté d’améliorer le programme et d’en publier les améliorations dans le but d’en faire profiter la communauté.

En conclusion un logiciel est forcément open source s'il est libre mais l'inverse n'est pas vrai : un logiciel peut être open source sans être libre. Les logiciels open source correspondent plutôt à une méthodologie de développement qui met en avant les avantages du partage du code et de la collaboration pour les entreprises; alors que les logiciels libres tendent plutôt vers un mouvement social, avec une certaine philosophie et éthique propre.

Donc, vous aurez compris que « logiciel libre » et « open source » ne sont pas synonymes.

Pourquoi privilégier des logiciels libres et open source?

Les logiciels libres et open source sont privilégiés pour leurs aspects didactiques car ils sont toujours bien documentés. Le partage aussi est plus facile d’autant qu’ils sont souvent gratuits. Idéalement il faut choisir de travailler avec des logiciels accessibles à tous les systèmes : Microsoft Windows, iOS d’Apple, et les systèmes GNU/LINUX (critère multiplateforme) .

Logiciels de modélisation 3D

Il existe des logiciels CAO spécifiques à chaque domaine, ou presque. Nous vous proposons une liste (non exhaustive) d'une série de logiciels CAO 2D/3D qui vous seront utiles pour réaliser vos projets en impression 3D.

OpenSCAD – Logiciel de modélisation tridimensionnelle. Il a pour particularité de fonctionner de façon entièrement paramétrique, c’est-à-dire que la conception passe par la rédaction d’un script. Bien que ce logiciel soit intuitif, il n’est pas accessible à tout le monde : en effet, il faut quelques notions en codage. Vous trouverez la documentation et une série de tutoriels ici.

FreeCAD – Voici un logiciel accessible et flexible! Il convient vraiment à tous les utilisateurs de CAO, débutants ou non. FreeCAD dispose d’excellents outils de modélisation 3D CAO, IAO (Ingénierie assistée par ordinateur), PLM (Product Lifecycle Management ). Ce logiciel est orienté vers le génie mécanique et le design de produits, mais il peut également convenir pour d’autres disciplines, telles que l’architecture ou d’autres branches de l’ingénierie. FreeCAD permet aussi de faire des dessins (sketch) 2D contraints. Voici l'accès à la documentation.

Blender – Il s’agit d’un un logiciel bien connu mais qui n’est pas vraiment adapté aux débutants. Il dispose de fonctions avancées de modélisation et de sculpture 3D, de dépliage UV, de texturage, de squelettage (“rigging”), et de simulations physiques (les armatures,...). Ces fonctionnalités permettent de réparer vos maillages et d’éviter les mauvaises surprises lorsque des pièces sortent des imprimantes 3D. Un tutoriel est à votre disposition ici.

Tinkercad – Très facile à prendre en main et intuitif, ce logiciel de modélisation 3D est gratuit et parfait pour les débutants! Il se base sur la géométrie de construction de solides, mais même les plus aguerris pourront trouver leur bonheur en complexifiant les modèles par combinaisons d’objets pourtant simples. Vos modèles peuvent être enregistrés en 3 formats différents: SVG, OBJ et STL (ce dernier format est utile pour l’impression 3D!). Le Fab-C vous propose d’ailleurs un tuto pour modéliser votre projet avec ce logiciel!

Pour aller plus loin...

Après cette introduction aux logiciels CAO, vous pouvez maintenant vous lancer dans la réalisation de vos prototypes ou produits… et pourquoi pas vous intéresser à l’impression 3D ! En effet, cette technologie nécessite justement d’utiliser des fichiers 3D!

Illustration du processus de modélisation de votre idée

N'hésitez pas à contacter le HUB Créatif et à demander plus d’infos sur les services d’accompagnement numérique pour la réalisation de vos projets innovants. Vous pouvez aussi prendre contact avec le FAB LAB de Charleroi pour l'utilisation de machines comme l’imprimante 3D, la découpeuse laser, la fraiseuse numérique et autres.

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

Les scanners 3D

laurie — Mon, 09 Nov 2020 10:01:48 +0000

Les scanners 3D

Tags

Logiciel

Prototypage

laurie Mon, 11/09/2020 - 11:01

Télécharger le PDF

Fiche Les scanners 3D

Body

Le scanner 3D connaît un essor fulgurant ces dernières années… C’est un moyen rapide et efficace pour un grand nombre d’entrepreneurs de passer à la numérisation : contrôle qualité, inspection visuelle, mesurage précis de dimensions, prototypage, calcul de volumes,... le scanner 3D apporte beaucoup d’avantages au milieu industriel, à la rétro-ingénierie ou encore aux jeux vidéos… Mais pas seulement ! Depuis quelques années, cette technologie tend à se démocratiser et à intéresser de nombreux secteurs d’activités ainsi que Monsieur et Madame Tout-le-monde, grâce au développement de l’impression 3D notamment.

Le scan 3D est une technique qui va vous intéresser si vous ne maîtrisez pas tout à fait les logiciels de Conception Assistée par Ordinateur ou si vous ne trouvez pas votre bonheur avec les modèles 3D disponibles sur le net. Nous vous présentons les critères à ne pas négliger lors du choix de votre scanner, les techniques les plus courantes et les différentes étapes pour numériser votre élément.

Pour quoi faire ?

Vous désirez recréer un objet numériquement, un espace, un bâtiment,... et, éventuellement, le modifier par la suite ? Le scan 3D peut vous aider ! Comme expliqué dans la fiche sur l’impression 3D, il existe plusieurs moyens d’obtenir un modèle 3D, et le scanner 3D en fait partie !

Le scanner 3D offre de nombreux avantages :

Il va très rapidement collecter les données et recréer très précisément et en bonne qualité la forme et l’apparence de votre objet (ou de votre bâtiment,...) de façon numérique et ce, quelque soit sa taille, sa forme, son matériau,...
Vous pourrez reproduire votre objet beaucoup plus facilement et rapidement : vous n’aurez plus besoin de fabriquer des dizaines de moules pour vos pièces par exemple, il suffira de dupliquer et d’éditer votre fichier numérique autant de fois que souhaité.
Simuler précisément votre objet ou votre espace va vous (ou vos clients) permettre de mieux vous projeter, de mieux contrôler et, si besoin, de réparer plus efficacement également.
Le scanner 3D permet également de réduire les risques liés à une mauvaise manipulation (détérioration de l’objet), à une perte (l’archivage des données est plus facile!) ou à des endroits difficilement accessibles.
Autrefois, les coûts de la machine, des logiciels, d’une formation… rendaient l’utilisation de cette technologie peu accessible. Aujourd’hui, on peut trouver de plus en plus de scanners à prix abordables, des logiciels gratuits et open source, et même des fablabs qui vous procurent les machines et les connaissances... Chacun peut décider de s’y mettre !

On peut dire que, de façon générale, le scanner 3D est un élément qui devient incontournable pour le développement et la conception de produit, il vous permet de minimiser vos coûts tout en accélérant vos délais de commercialisation.

Pour qui ?

Le scanner 3D et, de façon plus globale, la numérisation sont des leviers importants que les entreprises doivent mettre en place pour innover plus efficacement actuellement. Presque tous les domaines sont concernés : la rétro-ingénierie, l’audiovisuel, l’architecture, le génie civil, le patrimoine culturel, l’archéologie, le médical, la joaillerie, la construction, l’art et le design, ... mais aussi le particulier qui veut créer et fabriquer autrement.

Comment choisir votre scanner ?

Tout le monde ne va pas utiliser le même scanner et un scanner 3D ne se choisit pas n’importe comment ! Il existe plusieurs technologies, avec pour chacune des avantages et des inconvénients. Le choix d’un scanner va dépendre d’un certain nombre de facteurs, notamment :

- Le type de l’élément à scanner : par exemple, utiliser un scanner laser sur un visage humain peut être dangereux et problématique sur une surface transparente.
- La taille de l’élément à scanner.
- La mobilité de votre scanner : avez-vous besoin d’un scanner mobile qui est plus pratique ou d’un scanner fixe qui est plus précis ?
- Le champ de vision du scanner : un plateau rotatif ou le déplacement de l'objet sur plusieurs axes est-il nécessaire (afin que le scanner puisse “voir” l’ensemble de l’élément) ?
- La résolution de la numérisation : il s’agit du niveau de détail de votre numérisation lors d’un seul scan, il se mesure grâce à la distance entre deux points sur votre modèle 3D. Plus la résolution est élevée, plus la densité de points sur le modèle le sera aussi et la modélisation de votre élément sera donc très détaillée... mais la taille de votre fichier 3D sera également très élevée et cela risque d’entraîner un temps de traitement et de transfert beaucoup plus long.
- La précision de la numérisation : il s’agit du degré de fidélité entre le modèle 3D et l'élément réel lors d’un seul scan.
- La vitesse de numérisation : il s’agit de la vitesse de capture des données lors d’un seul scan.
- L’environnement de scan : la luminosité ambiante peut être problématique selon la technologie utilisée.
- Le budget : le budget va dépendre du coût de la machine, des logiciels nécessaires mais aussi d’une formation éventuelle si vous n’avez pas les connaissances suffisantes pour l’utiliser correctement.

En bref, le choix de votre scanner doit être réalisé en fonction de l’usage et des besoins que vous avez. Pour approfondir ces critères de choix, nous vous conseillons ce lien ou encore celui-ci.

Les différentes techniques de numérisation 3D

Il existe plusieurs techniques de numérisation d’un objet en trois dimensions et les scanners se divisent en deux grandes familles : les scanners avec contacts ou sans contact par rapport à l'élément à numériser. Nous abordons dans cette section les techniques les plus courantes. Vous devrez veiller à choisir celle qui vous convient selon votre élément à numériser et son contexte.

L’illustration ci-dessus schématise succinctement la manière dont nous avons classé les techniques de scan 3D. Comme expliqué, nous n’abordons que certaines d'entre elles (celles indiquées en gris dans le schéma).

1 Les scanners par contact

Le scanner, à l’aide d’un capteur de contact appelé “palpeur” ou “sonde” (souvent placé sur un bras robotisé), touche la surface de l’objet à numériser et enregistre chaque déformation.

Cette technique permet une très grande précision des données ; le bras de palpage se déplace dans toutes les directions et mesure les distances, les courbes, les surfaces cylindriques,...et peut scanner des objets ayant une surface transparente ou réfléchissante. Elle n’est cependant pas adéquate pour des objets ayant une forme organique ou complexe car il y a toujours le risque, à cause du contact, que l’objet soit abîmé voire même détruit.

Cette technique est très lente étant donné que la mesure (automatique ou manuelle) se fait point par point, mais elle est adéquate pour contrôler la qualité de pièces fabriquées par exemple.

Illustration d’un scanner avec contact et muni d’un bras robotisé provenant du site Conceptec

2 Les scanners sans contact

Les scanners sans contact se divisent en deux sous-groupe :

- Les scanners sans contact actifs
- Les scanners sans contact passifs

2.1 Les scanners sans contact actifs

Ce type de scanner a besoin de projeter une lumière et de détecter sa réflexion sur la surface de l’objet.

2.1.1 Lasergrammétrie / Balayage laser 3D

Cette technique est la plus répandue et la plus utilisée actuellement. La lasergrammétrie est une technique reposant sur le balayage de mesures effectuées à l’aide d’un laser. Ce balayage repose sur le principe du LiDAR (Light Detection And Ranging), c’est-à-dire la télédétection laser par télémétrie. C’est une méthode de calcul qui consiste à déterminer la distance entre un capteur LiDAR et une cible. Le capteur va émettre une lumière laser vers un objet réel afin de capturer numériquement sa forme. Le capteur va déterminer la distance grâce à :

- la longueur d’émission du faisceau laser depuis sa source jusqu’à l’objet (lumière émise),

- la longueur de retour du faisceau laser depuis l’objet jusqu’à la source émettrice (lumière réfléchie),
- la vitesse de la lumière (299 800km/S).

Illustration représentant le principe du LiDAR

Un point relevé sur la surface réfléchissante de l’objet est référencé dans un espace tridimensionnel (avec des coordonnées X,Y,Z) grâce à la position et à l’orientation du capteur émetteur laser/receveur. Le LiDAR permet de capturer une énorme quantité de mesures extrêmement précises en balayant tout ce qui se trouve dans son champ de vision; il envoie une multitude de faisceaux laser afin de représenter l’ensemble de l’objet sous forme de nuage de points. Les données obtenues peuvent ensuite être traitées pour les convertir en maillage.

Cette technique est extrêmement précise tant au niveau de la résolution que de la précision (on parle en dizaines de micromètres)! Vous pouvez mesurer rapidement de très petits détails, mesurer des géométries complexes et obtenir un nuage de point extrêmement dense et précis. Cela se fait sans contact direct avec l’objet à numériser, vous n’avez plus besoin de vous aventurer dans des zones difficiles d’accès ou d’avoir peur de dégrader un objet fragile, comme une pièce archéologique par exemple.

Les lasers sont peu sensibles à la lumière ambiante, vous pouvez donc utiliser votre scanner laser lorsqu’il pleut, neige et même lorsqu’il y a du brouillard (néanmoins faites attention, vous risquez de trouver des points parasites). Par contre, ce type de scanner est extrêmement sensible aux propriétés physiques des surfaces à scanner : si votre surface est brillante, noire ou transparente, la lumière ne sera pas correctement réfléchie. Cela ne marche pas avec des surface liquide également.

Vous trouverez davantage d’informations sur les scanners Laser 3D et LiDar sur ce site (scanner laser 3D multi-echo ou simple écho, LiDAR en station fixe ou mobile, LiDAR multi-spectral et hyper-spectral,...).
Le système LiDAR repose sur 2 techniques (vous pouvez trouver plus d’informations à ce sujet sur le site référencé ci-dessus ou ici) :

2.1.1.1 Le scan à impulsion laser/ à temps de vol (Time of Flight)

Dans ce cas, on détermine la distance entre le scanner et l’objet à numériser en mesurant la durée que met le laser à toucher une surface de l’objet et à revenir vers sa source émettrice. C’est le principe même du LiDAR : on mesure le temps de propagation du faisceau laser.

Cette technique est idéale pour les mesures à longue portée, pour scanner les grands objets et grands environnements. Elle se caractérise cependant par une certaine lenteur dans l’acquisition des données car le scanner effectue une mesure à la fois : il émet l’impulsion de lumière suivante lorsqu’il réceptionne l’impulsion précédente.

2.1.1.2 Le scan à décalage de phase/ à impulsions déphasées

Le principe est le même que pour la technologie à impulsion laser (le principe du LiDAR) mais elle est plus précise car l’amplitude du faisceau laser est modulée (la longueur d’onde d’émission varie selon le modèle de scanner) et l’onde est continue. Le scanner projette le faisceau laser et ce faisceau revient grâce à la réflexion mais avec un angle différent. La phase du laser émise est comparée par le scanner avec la phase renvoyée au capteur et la différence entre les deux est appelée “décalage de phase”, la distance est donc mesurée à partir de chaque modulation individuelle.

Cette technique est plus rapide que la technique à temps de vol (jusqu’à 1 million de points par seconde) mais la portée du laser est plus réduite (il est plutôt à envisager pour une portée moyenne).

2.1.2 Le scan laser par triangulation optique

Cette méthode utilise également un laser : le scanner projette un faisceau laser sur l’objet à numériser, la surface de l’objet déviela trajectoire de ce faisceau et cette déviation est enregistrée par le capteur. C’est donc l’appareil photo qui permet de situer le point laser.

Illustration du principe du scanner par triangulation optique

On parle de triangulation car, comme vous pouvez le voir sur le schéma ci-dessus, un triangle est formé entre l’émetteur laser, le point laser et l’appareil photo. Le scanner va calculer la distance scanner-objet grâce à la triangulation trigonométrique :

- la distance entre l’appareil photo/capteur et le laser est connue (il s’agit de la “base” sur le schéma),
- l’angle entre le laser et l’appareil photo/capteur est également connu,
- le scanner va déterminer l’angle auquel le faisceau laser réfléchi revient vers l’appareil photo/capteur (et donc déterminer la distance scanner-objet).

Le scanner utilise un point laser unique ou une bande laser pour balayer l’objet et accélérer le processus d’acquisition des données. Un plateau rotatif peut permettre de saisir toutes les faces de l’objet.

Les avantages de cette technique sont qu’elle procure une très grande précision et résolution (meilleures que les scanners à temps de vol). Étant une technique plutôt de faible portée (quelques mètres), elle convient parfaitement pour les objets de petite taille. Vous pouvez trouver des scanners à triangulation laser à prix abordables.

Ses inconvénients sont que, comme tout scanner utilisant un laser, certaines propriétés physiques des surfaces peuvent être problématiques (transparence, brillance,...).

2.1.3 Le scan à la lumière structurée

Le scanner à lumière structurée, aussi appelé scanner à balayage de lumière projetée, peut être considéré comme une alternative au balayage laser 3D. En effet, cette technique fonctionne comme les scanners à laser : le scanner projette une lumière sur l’objet à numériser et une caméra enregistre et analyse la déviation de cette lumière projetée en effectuant un calcul de triangulation trigonométrique.

Dans le cas du scanner à lumière structurée, c’est un motif lumineux (cela peut être une grille, une ligne, des vagues,...ou bien d’autres formes plus complexes) qui est projeté à l’aide d’un projecteur numérique et qui balaie le champ de vision afin de capturer les informations concernant toutes les distances entre les points. Ensuite, le scanner calcule la distance entre le scanner et l’élément à numériser en examinant tous les bords du motif. Contrairement à la technique par laser qui scanne avec un point unique ou avec une ligne laser, la technique par lumière structurée permet de scanner une large surface en une seule fois.

Illustration provenant du site Numérisation 3D & Construction

Le scanner à lumière structurée procure très rapidement, c’est-à-dire en quelques secondes, un objet/3D en haute résolution (la résolution et la précision sont plus élevées que par triangulation optique). Cette technologie est surtout utilisée pour tout ce qui relève de la reconnaissance faciale ou environnementale car elle est adéquate pour toutes les surfaces complexes (pour les surfaces organiques détaillées, les objets fragiles, la rétro-ingénierie, la conception de prototype,...). Un autre exemple d’utilisation est celui de la Kinect V1; il s’agit d’un capteur de vision tridimensionnel développé par Microsoft en 2010 et qui fonctionnait avec la console de jeux vidéo Xbox 360. La Kinect utilisait cette technique de lumière structurée pour capturer et recréer une objet en 3D (en l'occurrence, le corps des joueurs face à la Kinect), ce qui a rendu l’expérience de jeu beaucoup plus immersive. Les iphones utilisent également cette technique pour la reconnaissance faciale (vous trouverez une courte vidéo explicative sur le site de Numérisation 3D & Construction).

De même que le scanner à triangulation optique, la portée de ce scanner est assez faible et il est très sensible aux conditions d’éclairage ainsi qu’aux propriétés physiques de l’objet à numériser.

2.2 Les scanners sans contact passifs

Ce type de scanner n’utilise pas de source de lumière pour extraire des données tridimensionnelles, contrairement aux méthodes actives décrites ci-dessus. Elles sont obtenues par l’observation de l’apparence de l’environnement et/ou de l’objet (vues multiples, netteté de l’image,...). Ces techniques passives sont tributaires de l’éclairage ambiant car elles se basent sur la détection du rayonnement ambiant réfléchi.

2.2.1 La photogrammétrie

La photogrammétrie, c’est très simple : vous effectuez un scan 3D à partir de photographies! Vous prenez différentes photos avec des angles de vue différents et ensuite, un logiciel identifie les points similaires entre celles-ci.

Illustration du principe de la photogrammétrie, provenant du site Numérisation3d

Le logiciel va générer le modèle 3D après avoir comparé, pixel par pixel, chaque photo et pris en compte la forme, le volume et la profondeur de l’objet/l’environnement à numériser. Il va repositionner ces photos dans un espace tridimensionnel et votre nuage de points est créé. Par contre attention, la particularité de cette méthode est que votre élément numérisé n’est pas à l’échelle, vous ne devrez pas oublier de recalibrer l’image. Le nuage de points obtenu par cette méthode représente l’intégralité de l’objet/environnement capturé, contrairement aux nuages de points obtenus par scanner laser.

Les avantages de cette technique sont qu’elle permet une bonne précision et les données sont rapidement acquises (cela va vite de faire des photos!). Elle fonctionne avec tous types d’objets (même avec des éléments photographiés depuis le ciel) et est très pratique pour numériser des objets de très grandes tailles (bâtiments,...).

Ses inconvénients concernent surtout la sensibilité à la qualité des photos et le temps de calcul qui est assez long mais nécessaire pour créer la surface 3D (ou alors votre machine doit vraiment être ultra puissante). La photogrammétrie est sensible aux conditions météorologiques (vos photos ne donneront rien par temps de pluie, brouillard ou neige) mais elle permet une haute résolution, à défaut d’une bonne précision.

Vous trouverez plus d’explications et conseils sur ce site mais en résumé :

- Plus vos photos auront une bonne résolution, plus la capture sera en ultra haute définition.
- Avoir un appareil photo grand-angle est indispensable.
- N’utilisez pas votre zoom, vous perdrez des pixels! Pensez à la résolution de l’image…
- Faites le plus de photos possibles avec des points de vue différents et évitez de photographier les objets en mouvement.

Une fois votre série de photos réalisée, vous aurez besoin d’un logiciel pour traiter les données et obtenir votre fichier 3D. En voici quelques-uns :

Meshroom : il s’agit d’un logiciel open-source et gratuit, basé sur l’environnement AliceVision. Un tutoriel réalisé par Sketchfab vous explique comment créer automatiquement un modèle 3D, comment se retrouver dans l’interface utilisateur,...et vous apporter pleins de conseils supplémentaires.
Regard3D : c’est un logiciel libre et open-source qui fonctionne sur Windows, OS X et Linux. Très puissant, il peut être un peu difficile à prendre en main pour des débutants mais ce logiciel vous permet de découvrir la photogrammétrie grâce à de nombreux tutoriels.
3DF Zephyr Free : une version gratuite de ce logiciel très complet est disponible pour vos usages personnels. Si vous êtes débutants, vous y retrouverez tous les outils de base.
Autodesk ReCap Pro : ce logiciel est payant et propose notamment des options avancées pour la photogrammétrie aérienne ou à courte portée mais aussi pour la numérisation laser. Il fonctionne sur Windows.

Quelles sont les étapes d’un scan 3D ?

Le processus de scan d’un élément diffère selon la technologie utilisée mais de façon globale, cela est très simple :

1 La préparation de votre élément

Selon le type de scanner utilisé, certaines surfaces nécessitent la vaporisation d’une poudre mate pour pouvoir être correctement scannées car elles sont transparentes, brillantes,...

2 Le scan de votre élément

Plusieurs prises de vues sont sûrement nécessaires pour obtenir la modélisation intégrale de votre élément. Le résultat de ce scan est que vous obtenez plusieurs nuages de points (point cloud en anglais) où chaque point a des coordonnées x,y,z, sous forme de plusieurs fichiers bruts. A l’aide d’un logiciel souvent vendu avec votre scanner 3D, vous devez importer et pré-traiter vos différents nuages de points afin de n’en avoir qu’un seul. Cette opération (manuelle ou automatique) va vous permettre d’adapter, d’assembler, de “nettoyer” votre nuage de points des données inutiles et parasites, et de réduire la taille de votre fichier final (consultez ce lien pour plus d’astuces).

Comme logiciels de traitement de nuages de points, nous pouvons citer 3DMeteor, Pointcab, VisionLidar (attention, votre choix de logiciel de traitement peut fortement dépendre du type de scanner utilisé).

3 Transformation du nuage de points en maillage polygonal

Bien que nettoyé et amélioré, ce nuage de points ne peut pas être interprété tel quel par une imprimante 3D par exemple. Le logiciel du scanner 3D doit transformer ce nuage de points en un maillage polygonal (mesh en anglais) : des figures polygonales (ce sont souvent des triangles) sont créées à partir des points et l’ensemble représente la surface de l’objet.

Illustration d’une transformation d’un nuage de point en maillage provenant du site Conself

N’oubliez pas que plus la densité du maillage est élevée, plus votre modèle 3D sera défini et détaillé… mais votre fichier sera très volumineux! C’est pourquoi l’étape précédente concernant le traitement du nuage de points est importante.

Illustration de différentes résolutions de maillages provenant du site Researchgate

A la suite de ce maillage, vous pouvez éventuellement ajouter une texture sur votre représentation et optimiser le maillage en supprimant les parasites créés lors de sa conception. Il ne vous reste plus qu’à exporter votre fichier final.

Comme logiciel libre de traitement de maillage 3D, nous vous suggérons MeshLab. Il comprend de nombreux outils dont des outils de tranchage (ce qui est intéressant si vous faites de l’impression 3D !).

4 Exportation du fichier au format .stl

Toutes les informations relatives à la géométrie de l’objet (les surfaces de mailles) sont stockées dans un fichier soit au format .stl ou .obj (il s’agit de formats ouverts supportés par de nombreux logiciels) soit dans un format propriétaire. Une fois exporté, ce fichier peut être ensuite édité dans un logiciel CAO.

Pour aller plus loin… Découvrez le !

Vous avez une question? Vous désirez en savoir plus ou tout simplement vous mettre au scan 3D et même tenter l’impression 3D? Delphine et Sylvain du Fab-C (partenaire du Hub Créatif de Charleroi) sont là pour vous aider! N’hésitez pas à les contacter!

Saviez-vous que le Fab-C dispose d’un Einscan Pro avec un plateau tournant, un trépied et le module de capture de couleurs? Voici ses caractéristiques :

Tailles recommandées de l’objet à scanner : 0.05 à 4 mètres
Mode Manuel HD :
- Résolution : 0,1mm
- Vitesse de scan : 90000 points/sec
- Distance entre les points : 0.2 – 2 mm
Mode Manuel rapide :
- Résolution : 0,1mm
- Vitesse de scan : 90000 points/sec
- Distance entre les points : 0.2 – 2 mm
Mode fixe avec table tournante :
- Résolution : 0,05mm
- Vitesse de scan : < 2sec
- Distance entre les points : 0,16 mm
Fichiers de sortie : OBJ, STL, ASC, PLY

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

Les slicers, les logiciels de découpage pour l’impression 3D

laurie — Sun, 08 Nov 2020 13:12:27 +0000

Les slicers, les logiciels de découpage pour l’impression 3D

Tags

Logiciel

Prototypage

laurie Sun, 11/08/2020 - 14:12

Télécharger le PDF

Fiche Les slicers, les logiciels de découpage pour l’impression 3D

Body

Vous intéressant à l’impression 3D, vous avez conçu et enregistré votre objet tridimensionnel au format .stl ou .obj grâce à notre fiche sur les logiciels de conception assistée par ordinateur (CAO)... Mais que faire ensuite? Pour pouvoir imprimer votre objet en 3D vous devrez passer par un logiciel de tranchage/découpage, autrement dit un slicer, ce que nous vous présentons dans cette fiche! Nous vous y listons quelques slicers open source et gratuits parmi les plus connus et vous y expliquons brièvement comment fonctionne ce genre de logiciel et à quoi il peut servir pour votre impression.

Prérequis:

Disposer d’un fichier de modélisation (voir notre fiche sur les logiciels CAO)
un ordinateur

Pour quoi faire?

Une fois votre objet modélisé sous forme de fichier .stl (voir fiche logiciel CAO), il faut que votre imprimante 3D puisse l'interpréter afin de matérialiser votre objet. Comment faire? Vous aurez besoin d’un logiciel qui va jouer le rôle d'intermédiaire entre la modélisation 3D de votre objet et son impression 3D, c’est-à-dire d’un Slicer (ou logiciel de tranchage/découpage).

Illustration du processus d’impression d’un objet 3D

Comment ça marche?

Pour que votre imprimante 3D puisse interpréter votre fichier 3D (en .stl), vous devez utiliser un logiciel de tranchage qui va transformer votre modélisation en tranchant/ divisant l’objet, en plusieurs couches fines superposées, celles que l’imprimante viendra créer.

Choisir un slicer

Parmi les nombreux logiciels de tranchage existants, nous vous en proposons quelques uns qui sont open source et gratuits :

Cura - il s’agit du logiciel d’impression 3D le plus populaire pour les imprimantes personnelles, tant du côté des débutants que des personnes plus expertes. Ce logiciel fait l'objet d'un développement sur plusieurs années en interne et a bénéficié de nombreuses contributions de la part des utilisateurs. Des mises à jour régulières améliorent constamment les fonctionnalités et l'expérience utilisateur lors de l'impression. Compatible avec les systèmes d’exploitation Linux, Mac OSX et Windows, vous trouverez une série de webinaires et documentations en matière d’impression 3D dans la section “Learn” du site officiel.

Repetier-Host - Bien que l’interface ne soit pas très conviviale, ce logiciel très complet et performant pour le contrôle de l’imprimante 3D et la découpe (il peut prendre en charge jusqu’à 16 extrudeurs!). Entièrement paramétrable, nous le conseillons pour des personnes ayant un niveau assez avancé car ce logiciel est une solution tout-en-un qui demande pas mal de chipotages. Grâce au Repetier Server, vous pouvez accéder à votre imprimante 3D depuis le navigateur de votre pc, de votre tablette ou encore de votre smartphone. Il est compatible avec les systèmes d’exploitation Linux, Mac OSX et Windows.

Slic3r - ce logiciel fonctionne aussi bien avec des fichiers STL qu’ OBJ. Il propose un ensemble d’outils flexibles et faciles d’utilisation.Les personnes les plus habituées à l’impression 3D pourront y trouver des fonctionnalités de pointe proposées et testées par la communauté. Il fonctionne sur Linux, Mac OSX et Windows.

OctoPrint - Il ne s’agit pas d’un slicer spécialisé en tant que tel… En fait, OctoPrint utilise le slicer de Cura, qui est directement intégré dans son interface. Plus besoin de carte SD, vos fichiers .stl peuvent être imprimés avec le WiFi! OctoPrint est plutôt un hôte qui peut servir d’interface web pour contrôler et surveiller les activités de votre imprimante 3D à distance.

Evidemment, cette liste est loin d’être exhaustive...

Configurer le fichier de modélisation à l’aide du slicer

Le fichier 3D .stl ou .obj décrit des coordonnées au sein d’une grille tridimensionnelle. Une fois ce fichier importé et ouvert dans le logiciel de découpage, vous pouvez visualiser votre objet et le déplacer sur une plateforme représentant la zone d’impression de votre imprimante.

Les paramètres de l’impression

Un objet 3D est composé de parois verticales, horizontales et d’une partie intérieure (remplie ou vide). Les paramètres d’impression de votre bjet vont influencer sa qualité et le temps de son impression. Ils se règlent grâce au slicer (ils dépendent de votre logiciel de découpage et de votre imprimante), les principaux paramètres sont les suivants :

- La hauteur de la couche : plus votre couche sera fine, plus le nombre de tranches à calculer est élevé; l’impression sera plus précise mais plus lente!

- L’épaisseur de la paroi : vous pouvez définir le nombre d'épaisseurs solides à faire sur la pièce (en haut, en bas, sur les côtés).

- Le remplissage (infill en anglais) : vous pouvez définir un pourcentage de remplissage, c’est-à-dire le taux de remplissage de la partie intérieure de votre objet à imprimer. Cette partie n’est généralement pas ou peu visible mais elle est caractérisée par un taux et un motif (ruche d'abeille, remplissage rectiligne, en triangle, en zig zag,...) qui peuvent être optimisés afin de conférer une meilleure résistance ou au contraire plus de flexibilité à votre objet (cela influe également sur son poids).

Illustration de différents taux de remplissage extraite du site https://www.makershop.fr/blog/optimisation-remplissage-impressions-3d/

Illustration de différents motifs de remplissage extraite du site https://www.makershop.fr/blog/optimisation-remplissage-impressions-3d/

Il ne s’agit pas de mettre le taux de remplissage à 100% pour avoir une pièce ultra résistante, la paroi extérieure risque d’être déformée et vous allez consommer énormément de filament pour “rien”. Vous devrez trouver le bon taux de remplissage et le motif adéquat pour avoir la résistance souhaitée (vous trouverez plus d’infos à ce sujet ici).

- La bordure (brim) : vous pouvez définir une bordure à faire autour de la pièce (elle est en contact avec celle-ci), avec le matériau utilisé, afin de garantir plus de stabilité et d’adhérence à l’objet. La bordure est donc particulièrement conseillée pour les petits objets ou pour ceux qui ont peu de contact avec le plateau d’impression.

- La jupe (skirt): c’est un périmètre à définir autour de la pièce et qui est réalisé avant son impression afin de nettoyer la buse et de vérifier le positionnement de l’objet. Vous pouvez définir la hauteur du contour et la distance de séparation avec la pièce

- Le radeau (raft) : il s’agit de réaliser une surface facilement décollable entre la surface d'impression et l'impression elle-même, cette surface facilite l’adhérence en évitant le décollement des coins de votre objet et offre un fini propre au-dessous de votre pièce. Elle est également utile si vous avez des soucis de parallélismes entre vos axes, le radeau vous permet de refaire un niveau “plat” par rapport à l'axe X et Y.

Illustration de bordure (brim), jupe (skirt) et radeau (raft) extraite du site https://www.simplify3d.com/support/articles/rafts-skirts-and-brims/

- Le support : le slicer peut prévoir de produire un support à votre objet afin de supporter les différentes couches, il sera à retirer à la fin de l’impression. Il est souvent indispensable car une imprimante ne peut pas imprimer dans le vide! Il va dépendre de l’angle que forme votre objet ou une partie de celui-ci avec le plateau d’impression. Bien que souvent inévitables, vous pouvez réduire cet angle au maximum pour avoir le moins de supports possibles en optimisant l’orientation de l’objet dans le slicer ou en pensant différemment votre objet dès la phase de conception (attention, l’édition de fichier .stl ou .obj reste difficile à effectuer avec un slicer donc garder ces recommandations en tête lorsque vous modéliser votre objet avec un logiciel CAO). Pourquoi éviter d’avoir trop de supports? Car

ils augmentent la durée d’impression de votre objet et le temps de la production générale (il faut prévoir un post-traitement pour les retirer et nettoyer votre objet imprimé),
les supports "abîment" l’objet,
ils gaspillent de la matière,
ils augmentent le coût de la production : il faut parfois acheter des bobines de filaments adaptés (si vous voulez utiliser un support soluble, vous aurez besoin d’une imprimante avec 2 extrudeurs).

Représentation d’un objet imprimé avec des supports solubles
Illustration provenant du site de https://www.makershop.fr/blog/double-extrusion-simplify-3d/

- La vitesse d'extrusion des différents éléments : vous pouvez régler la vitesse d’extrusion pour les différentes parois, pour le remplissage, pour les supports, pour la première couche,...). Nous vous conseillons de faire de nombreux tests avec la même pièce afin de trouver les vitesses idéales pour un rendu de bonne qualité.

- La température d'extrusion : la température est un élément important qui varie selon le type de matériau utilisé, selon la couleur de celui-ci (selon les additifs de coloration),... une mauvaise température aura un effet direct sur la qualité d’impression : une température trop élevée peut provoquer un effet de stringing (votre pièce semblera avoir des “cheveux”), des couleurs, des boursouflures,... Si au contraire, la température est trop basse, vous aurez l’impression que votre pièce à manquer de matière (apparition de petits trous, creux,...n’oubliez cependant pas de vérifier que votre buse n’est pas obstruée!), il peut aussi y avoir une mauvaise adhérence entre les couches,...

Toutes ces variables peuvent sembler compliquées lorsqu’on débute dans l’impression 3D mais une configuration correcte de ces différents paramètres est très importante car elle vous permettra d’avoir une estimation de votre temps d’impression (oui, la finition est directement proportionnelle au temps d’impression!). N’hésitez donc pas à vous entraîner et à tester, tester et encore tester!
Vous pouvez vérifier l’exactitude de vos paramètres grâce à l’aperçu de toutes les couches d’impressions et enregistrez votre fichier. Le slicer va découper votre objet, selon votre configuration, en plusieurs couches horizontales et fournir un parcours que la tête d’impression de votre imprimante 3D devra suivre, ligne par ligne et couche après couche pour matérialiser votre objet.

D’un fichier de modélisation à un fichier G-code

Le slicer va reprendre toutes ces transformations en générant un fichier G-code; il s’agit du langage de programmation utilisé pour contrôler une machine à commandes numériques. Ce fichier G-Code va contenir toutes les instructions nécessaires à l’imprimante 3D : il va notamment indiquer les mouvements que l’extrudeur ou le laser doit effectuer, la résolution, la vitesse d’impression, la hauteur de couche,... bref tout ce que vous avez indiqué au logiciel de tranchage comme configuration. Consultez ce didacticiel si vous souhaitez en savoir davantage sur les commandes G-code.

Et ensuite?

C’est ce fichier G-Code qui est le fichier d’impression nécessaire à votre imprimante 3D. Il ne vous reste plus qu’à l’y transférer (pour cela, consultez notre fiche sur l’impression 3D).

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

FADI, un Framework pour l'Automatisation du Déploiement et de l'orchestration d'Infrastructures conteneurisées

laurie — Thu, 05 Nov 2020 10:35:10 +0000

FADI, un Framework pour l'Automatisation du Déploiement et de l'orchestration d'Infrastructures conteneurisées

Tags

laurie Thu, 11/05/2020 - 11:35

Télécharger le PDF

Fiche FADI

Body

Vous disposez de nombreuses données (des mails, des pdfs, des communications vocales, des données provenant de vos capteurs, ...) mais ne savez pas comment les exploiter et les capitaliser ? Vous désirez faire un prototype/POC avec une brique logicielle à moindre frais ? Vous recherchez une solution technologique "neutre" car vous craignez l'enfermement propriétaire/le vendor lock-in ?

Que vous soyez une grande entreprise ou une plus petite, FADI va vous intéresser : il s’agit d’une solution peu coûteuse en termes d'infrastructure et d'achat de licences. Avec cette suite, vous pouvez en effet procéder étape par étape dans le développement et l’opération de vos prototypes et produits : les intégrer, déployer, ...

Prérequis

Avoir une connaissance des technologies liées aux conteneurs (Docker, Kubernetes).

Savoir écrire des lignes de commandes.

Disposer d’une station de travail récente ou d’un espace de test Kubernetes.

Pour quoi faire ?

Pour faire simple, FADI est un framework personnalisable selon vos besoins, qui assemble et configure les outils à votre place afin de faciliter et d’automatiser l’intégration, le déploiement et le suivi de vos applications.

À l’origine, FADI est une plateforme dédiée au Big Data qui rassemble des applications cloud native et qui se base sur des outils open source éprouvés. Cette plateforme rend le déploiement de solutions Big Data mais aussi celui des piles logicielles plus simples, portables et évolutifs sur diverses infrastructures (clouds privés et publics).

Illustration des divers composants de FADI

Quelques concepts ...

Une application “Cloud Native”

Voici une description succincte des caractéristiques d’une application “cloud native”, et donc des applications assemblées par la plateforme FADI :

Une architecture basée sur les services et les microservices.

Un microservice est une architecture pour les applications : les services y sont individuels, indépendants, et spécifiques et, une fois assemblés, constituent l’application. Chaque service peut donc être déployé, mis à jour et géré de façon parfaitement autonome.

Une communication entre les services (internes et externes) basée sur les API (Application Programming Interface, interface de programmation d’application).

Une infrastructure basée sur les conteneurs (ce qui facilite la gestion des microservices).

Un conteneur est un package logiciel léger et indépendant, une sorte d’enveloppe virtuelle ou d’environnement isolé, qui regroupe tous les éléments nécessaires au bon fonctionnement et à la distribution d’une application : le code, les fichiers de configuration, l’environnement d’exécution, les libraires et toutes les dépendances requises pour l’exécution,... L’ensemble du contenu du conteneur se trouve dans une image conteneur, c’est un fichier de code qui contient l’application/service, ses dépendances et sa configuration. Les intérêts des conteneurs sont de virtualiser les applications logicielles en utilisant le système d’exploitation de leur hôte et de pouvoir les actualiser sans réorganiser la totalité de l’application. De cette façon, les ressources sont très facilement flexibles et portables d’un système à un autre. Les conteneurs n'intègrent pas leur propre système d’exploitation, ils sont donc très légers et facilement déployables dans d’autres environnements avec peu, voire aucune modification! Vous pouvez mettre à jour un seul outil, séparément des autres; vous pouvez installer la dernière version de Grafana et garder Jupyterhub à sa première version par exemple.

Docker est la technologie de conteneurisation la plus utilisée. Elle vous permet de créer aisément vos conteneurs et vos applications basées sur ceux-ci, et est très facile à déployer. Il s’agit d’une solution open source fonctionnant sous Linux mais également Windows Server.

La méthode de développement logiciel DevOps (contraction de Développement et Opération).

Les objectifs de cette méthode sont de permettre, grâce à la communication et à la collaboration entre les développeurs et les responsables des opérations IT, la fluidification des processus, l’accélération de la résolution d'incidents ainsi que de la livraison de nouvelles fonctionnalités avec un niveau de qualité élevé.

Les pratiques DevOps lors du cycle de vie de l’application se caractérisent par une automatisation et une surveillance accrues de toutes les étapes de la création du logiciel. Cela concerne

L'intégration continue : il s’agit d'exécuter des tests automatisés afin de vérifier chaque modification du code source pour en garantir sa qualité. Les problèmes d’intégration sont facilement détectés si vous réalisez correctement la planification de votre développement, la compilation, l’intégration, les tests de votre code et la gestion de vos livrables (les artefacts prêts à être déployés).
Le déploiement continu : une fois les tests validés lors de l’intégration continue, ils peuvent être mis en production. Le déploiement continu est l’automatisation de la mise en production des applications lors de chaque modification.

Pour en savoir plus sur les applications cloud natives, cliquez ici. Quant à la méthode DevOps, vous pouvez consulter les sites suivants : Appvizer, Netapp, Padok

Un orchestrateur de conteneurs

Alors qu’utiliser un ou deux conteneurs peut être facilement gérable et contrôlable, en utiliser plus d’une dizaine peut rapidement se révéler être une tâche fastidieuse, notamment à cause des multiples dépendances et communications entre outils. Un orchestrateur de conteneurs permet de gérer ces communications en automatisant le déploiement, la gestion, la mise à l’échelle et la mise en réseau des conteneurs. L’orchestrateur ne crée pas les conteneurs (pour cela vous devez utiliser une plateforme de conteneurs comme Docker, cité ci-dessus) mais permet de les gérer.

L'orchestrateur de conteneurs le plus connu et mature actuellement est open source et développé par google, il s’agit de Kubernetes. Très utilisé dans le monde industriel, il se déploie sur toutes les architectures disponibles (dans le cloud privé, dans du bare metal, c’est-à-dire une serveur dédié physique, dans des clouds publiques,...) et peut fonctionner sur tout type d'infrastructure.

Une pile logicielle

Une pile logicielle est un groupe de logiciels fonctionnant selon un ordre spécifique et permettant le développement de sites et applications en offrant, ensemble, un service.

Les atouts de FADI

Pourquoi FADI est-elle une plateforme très intéressante ?

Parce vous pouvez développer entièrement vos prototypes et produits !

Les déploiements sont automatisés et simplifiés

Déployer chaque outil à la fois prend du temps et rend la maintenance plus compliquée ; l’automatisation des déploiements va vous simplifier la vie !

Pour plus de fiabilité, vous pouvez prévoir et programmer vos déploiements au moment désiré. Vous pouvez également les contrôler en effectuant une sorte de versionning : par exemple, vous pouvez réaliser un premier déploiement et faire un correctif pour le second, revenir au premier déploiement,... De cette façon, FADI vous assure une certaine traçabilité.

Les déploiements sont simplifiés grâce à des assemblages de services préconfigurés basés sur le logiciel Helm, appelés des Charts. Il s’agit de packages (ou templates) de ressources Kubernetes sous forme de scripts d’installation (des automatisations d’installation) : ces packages sont des sélections d’outils open source pertinents selon le cas d’utilisation/le scénario qui vous intéresse. Par exemple, si vous vous demandez comment installer Apache Nifi sur Kubernetes, vous trouverez toute la démarche ici. Vous trouverez les autres Helm Charts produites et maintenues par le CETIC dans ce dépôt GitHub (attention, ils ne concernent pas tous FADI ! ).

Sa portabilité

FADI est une solution portable, c’est-à-dire que vous pouvez la déployer un peu partout : dans un cloud privé, dans un cloud public, sur site, de manière hybride, etc. Une chose est certaine, là où vous pouvez déployer Kubernetes, vous pouvez déployer FADI.

Sa maintenabilité

FADI s'appuie sur la méthodologie DevOps : vous n’aurez pas à vous soucier de grand-chose étant donné que l’installation, l’intégration, les essais, les déploiements continus et les mises à jour de FADI sont automatisés ! La maintenance étant beaucoup plus facile, le système sera toujours à jour au niveau des dépendances.

Une solution qui vous correspond

Personnalisable de bout en bout, FADI s’adapte à vos besoins. Que cela soit le type d’infrastructure (cloud ou pas), de base de données, etc., FADI offre une sélection d’outils qui vous permet de gérer vos données... Vous pouvez également y intégrer très facilement vos propres solutions existantes ou de nouveaux services. De plus, FADI étant une solution se basant sur des technologies open source matures, vous pouvez toujours la modifier !

Ses traitements des données

FADI propose deux modes d’intégration (voir la fiche Introduction au data processing pour plus d’informations) :

Le mode batch pour le traitement d’un grand volume de données en une seule fois, sur une période donnée (traitement par lot).

Le mode stream pour le traitement des données en continu

L’avantage d’avoir ces deux modes de traitement est que FADI répond à de nombreux use-cases différents :

Le mode Batch est souvent utilisé lorsqu’il faut réaliser des facturations, commandes, rapports,...

Le mode Stream est surtout conseillé lorsque vous devez détecter des évènements et y répondre rapidement, comme par exemple la surveillance des services, la cybersécurité, l’analyse des comportements, la détection de fraudes,...

Ses solutions de stockage de données

FADI propose deux manières de stocker et de centraliser vos données :

1) Les Data Lakes (lacs de données) qui sont le référentiel de données vous permettant de stocker “en vrac” les données brutes originales ingérées (audit, relecture, expériences, etc.). Le mode de traitement des données par lots/batch est préféré pour ce genre d’approche (traitements des données à la demande).

2) Les Data Warehouse (entrepôts de données) qui sont des bases de données où sont stockées les vues agrégées des données ingérées. Le mode de traitement des données Stream est préféré pour cette approche (traitement au moment de l’ingestion des données).

Monitoring et Data visualisation

Il est extrêmement important, à l’heure actuelle, que vous sachiez si vos infrastructures IT sont opérationnelles et sécurisées. Les outils de supervision (monitoring) sont précieux pour vos stratégies de contrôle, d’observation et de décisions.

FADI utilise des outils open-source de monitoring afin de vous permettre de suivre l’état de santé de vos systèmes, collecter vos données en temps réel et déclencher des alertes dès qu’un problème est rencontré.

L’aspect open-source de ces outils répond aux défis du DevOps : le fait de pouvoir remonter n’importe quel type de métriques provenant des applications, et même les indicateurs métiers, répond aux besoins actuels des entreprises en termes de rapidité, flexibilité et de maîtrise des coûts.

FADI vous permet donc de monitorer vos données en configurant vous-même vos systèmes d’alertes. Comme vous pouvez le constater ci-dessous, les outils proposés servent aussi à faire de la data visualisation : c’est-à-dire à représenter et à visualiser les données collectées sous forme de graphique, diagramme et/ou tableaux de bord (dashboards) afin de pouvoir prendre rapidement des décisions. Les outils proposés initialement par FADI sont :

Grafana : il s’agit d’un outil orienté data visualisation avec lequel vous pouvez réaliser des tableaux de bords et des graphiques à partir de différentes sources de données, et principalement à partir de séries temporelles.

Illustration de Grafana provenant de la présentation de FADI

Prometheus : ce logiciel est parfait pour la surveillance de vos métriques ! Il les collecte et les stocke sous forme de séquences temporelles. Bien que des représentations visuelles soient possibles, Prometheus est plutôt utilisé pour la collecte, l’analyse de données ainsi que la génération d’alertes. N’incluant pas de tableaux de bord par défaut, préférez Grafana pour la visualisation de vos données ( il prend en charge l’intégration de Prometheus). Si vous désirez plus d’informations sur Prometheus et le monitoring, nous vous conseillons ce lien.

Zabbix : cette plateforme distribuée est relativement facile d’utilisation pour les personnes ayant peu de connaissances techniques. Elle vous permet de collecter et de gérer vos données, de détecter un problème et d’envoyer des notifications selon des règles personnalisables. Vous pouvez également visualiser et analyser l’état de santé de l’infrastructure IT. Tout comme Prometheus, vous pouvez également interfacer Zabbix avec Grafana.

Illustration d’un dashboard provenant de Zabbix

Apache Superset : cet outil open source a été initialement développé par Airbnb. Il fonctionne en tant qu’application web sur les principaux navigateurs internet et permet d’explorer et visualiser vos données très intuitivement sous forme de graphiques, feuilles de calculs et tableaux de bord.

Illustration d’un dashboard provenant de Apache Superset

N’oubliez pas que vous pouvez également intégrer très facilement vos propres outils dans FADI si vous préférez.

Perspectives

Actuellement (mai 2021), le CETIC a prévu plusieurs développements à faire pour FADI ; notamment l’ajout d’un wizard pour configurer encore plus facilement FADI et travailler sur les aspects de sécurité (DevSecOps).

Exemple de cas d'étude

Le monitoring des bureaux du CETIC

L’objectif de ce cas d’utilisation était de fournir des informations (tableaux de bord et alertes) en fonction des données des capteurs placés au sein du bâtiment du CETIC (température, CO2, ...). Dans cet exemple, les mesures de température des capteurs ont été ingérées, stockées affichées dans un tableau de bord assez simple. Rendez-vous sur ce guide utilisateur FADI pour accéder au tutoriel de cet exemple, vous y apprendrez comment :

1) Installer FADI via ce lien.

2) Préparer la base de données pour stocker les mesures avec PostgreSQL (qui est à la fois entrepôt de données et base de données).

3) Ingérer les mesures des capteurs grâce à Apache Nifi, depuis la source de données (un fichier csv dans ce cas) et les stocker dans la base de données.

4) Afficher les tableaux de bord et configurer des alertes à partir des données ingérées et stockées dans l'entrepôt de données avec Grafana.

5) Explorez les données avec Superset.

6) Traiter les données en utilisant Jupyter comme interface web pour les explorer à l'aide de notebooks et Apache Spark, un framework de calcul distribué, comme moteur d’analyse pour le traitement de grands ensembles de données.

Illustration du processus de monitoring des bureaux du CETIC provenant du guide utilisateur de FADI

Autres exemples de cas d’étude

Cette liste de projets représente d’autres exemples de cas d’étude où le framework FADI a été utilisé :

Artemtec

Grinding 4.0

UserMEDIA/ CloudMedia

NewTech4Steel (European RFCS project)

Quality4.0 (European RFCS project)

BigData@MA (European, “Manunet” project)

Autosurveillance (European RFCS project)

QuadRide (Wallon CWALity project)

La démonstration en vidéo

Voici le replay du webinaire organisé par le Hub-C le 6 juillet 2021 afin de faire une démonstration de Fadi, un outil qui rend les technologies Big Data plus accessibles. La présentation est réalisée par Faiez Zalila, expert en Ingénierie logicielle basée sur les modèles et systèmes informatiques distribués au sein du CETIC.

Pour aller plus loin ...

FADI est un outil développé par le CETIC, n’hésitez donc pas à prendre contact si vous désirez des informations supplémentaires !

Voici quelques liens utiles par rapport à FADI :

Site officiel de FADI : https://FADI.cetic.be/ contenant la documentation d’installation et d’utilisation
Pour en savoir plus : https://FADI.presentations.cetic.be
Le code source : https://github.com/cetic/fadi
Le dépot Github des Helm charts pour installer FADI dans un cluster Kubernetes : https://github.com/cetic/helm-fadi
“R. Sellami, F. Zalila, A. Nuttinck, S. Dupont, J. -C. Deprez and S. Mouton, "FADI - A Deployment Framework for Big Data Management and Analytics," 2020 IEEE 29th International Conference on Enabling Technologies: Infrastructure for Collaborative Enterprises (WETICE), 2020, pp. 153-158, doi: 10.1109/WETICE49692.2020.00038.”

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.

Prototypage rapide grâce au

ldi — Fri, 02 Oct 2020 09:00:38 +0000

Prototypage rapide grâce au <No_Code>

Tags

Logiciel

Prototypage

ldi Fri, 10/02/2020 - 11:00

Télécharger le PDF

Fiche prototypage rapide grâce au No-code

Body

No-Code : Qu'est-ce que c’est ?

Vous avez une idée de projet informatique mais ne connaissez rien au codage? Pas de panique ! Un nouveau mouvement pointe le bout de son nez dans le secteur numérique, appelé « no-code ». Ce mouvement va prendre une très grande ampleur dans les années à venir et peut fortement vous intéresser si vous désirez créer un site web, y intégrer des services… et tester votre idée en quelques jours !

Pour quoi faire ?

Vous simplifiez la vie! Le no-code c’est la possibilité de construire des logiciels (sites web, jeux vidéo, chatbots, application web etc …) via une interface visuelle qui simplifie le travail du créateur. Au lieu de devoir écrire des lignes de codes pour créer des éléments tels que des images, un bouton ou encore une interaction, vous pouvez le faire grâce à un simple glisser-déposer (drag and drop en anglais) selon la logique du WYSIWYG (“What You See is What You Get”, autrement dit “ce que tu vois est ce que tu obtiens”). Cela simplifie beaucoup le travail puisque vous n’avez plus à taper ces lignes de codes, elles sont déjà « pré-codées » dans des composants. C’est là un véritable gain de temps, vous pourrez par exemple monter des sites web très rapidement !

L’idée derrière le no-code est de vous donner la possibilité d’accélérer le développement et de rendre accessible la construction de logiciels au plus grand nombre en simplifiant le processus de création. C’est parfait pour vous tester et valider vos premières idées !

Différences entre No-Code et Low-Code

Avant de plonger dans les avantages et inconvénients du no-code, faisons un bref arrêt sur une question qui se pose régulièrement : “quelle est la différence entre le no-Code et low-Code ? ».

On a souvent l’habitude de confondre les deux termes alors qu’il existe pourtant une différence entre le no-code et le low-code :

Le no-code, comme son nom l'indique, n'impose pas de coder. Il vous suffit de glisser-déposer des composants sur une interface, via une interface visuelle, pour créer un logiciel. Les outils no-code s’adressent donc particulièrement à des utilisateurs qui n’ont aucune connaissance en code mais qui ont la volonté de créer un produit informatique pour les aider dans leur projet, dans leur travail ou dans leur vie quotidienne.
Le low-code demande des connaissances en code et/ou en développement informatique même si ces dernières sont minimes. Les outils utilisés seront plus techniques que ceux utilisés pour le no-code.

Les avantages du no-code

Rapidité et efficacité

Le no-code est une très bonne option pour tester un projet. Ce point est tout particulièrement important pour une personne ne sachant pas coder et qui souhaite démarrer un projet car le no-code est parfait pour se lancer rapidement, de manière simple et efficace ainsi que pour tester son marché.

En effet, la plupart des développements no-code sont faciles à prendre en main et se font via une interface glisser-déposer construite visuellement avec des modules pré-établis. Cela signifie que la création d’applications est beaucoup plus rapide et simplifiée pour les personnes n’ayant aucune connaissance technique ! Quel gain d’indépendance!

De plus, les tests sont généralement automatisés, cela réduit encore davantage le temps de développement car vous pourrez régler les problèmes liés aux erreurs rencontrées plus vite que si vous aviez tout un code à analyser.

Les solutions no-code sont donc idéales pour prototyper une application et tester sa faisabilité et son efficacité.

Et puis, même si vous savez développer votre projet, utiliser des outils no-code vous fera économiser du temps et des efforts, notamment si vous ne percevez encore aucun revenu par rapport à celui-ci. Le code c’est bien, mais trouver son marché est prioritaire pour votre projet (si vous comptez en faire un business bien sûr).

Réduction des coûts

On le sait, les développeurs coûtent cher… Les solutions no-code vous permettent de contourner ce problème en vous épargnant une grande partie des frais généraux liés à la nécessité de disposer en permanence d’une équipe de développeurs compétents ou de faire appel à des prestataires onéreux.

De plus, les outils no-code ont très souvent un prix attractif, ce qui est non négligeable lorsque vous lancez votre projet.

Modifiabilité et adaptabilité

Le no-code n’exclut pas totalement le code puisque la plupart des logiciels no-code permettent aux développeurs d’intégrer en plus leur propre code. Ainsi au sein d’une même application no-code, vous pouvez faire cohabiter des briques no-code et des briques plus personnelles que vous avez vous-mêmes codées. Le no-code c’est un peu comme pour les LEGO, vous avez différentes briques et vous pouvez les assembler selon vos besoins (tout en tenant compte des contraintes en termes de taille, couleur et format) pour réaliser votre projet.

Le problème avec le codage manuel traditionnel est que vous ne pouvez pas vraiment changer une fonctionnalité ou une caractéristique d’un simple coup, surtout si vous travaillez avec des prestataires externes à votre société. En no-code, c’est possible. Si vous devez modifier quelque chose, il vous suffit de formaliser votre nouveau processus et votre modification pourra être utilisable en quelques minutes.

Le no-code peut être utilisé dans différentes situations dont voici quelques exemples :

Un site web : il peut être soit simple comme une landing page, soit plus complexe comme une marketplace (type Airbnb) ou un site e-commerce pour vendre en ligne.
Une application mobile.
Une API.
Une newsletter.
Un chatbot.
Améliorer sa productivité.
Créer une base de données.
Créer un jeu vidéo.
Créer un projet en blockchain.
Utiliser une intelligence artificielle (IA).
Créer un formulaire.

Comme vous pouvez le constater, il existe une multitude de projets dans lesquels le no-code est possible. Bien évidemment tous les outils ne sont pas tous aussi matures.

Les limites du no-code

Bien que le no-code semble magique à première vue, il possède aussi des inconvénients à ne pas négliger.

Limitation de fonctionnalités et design

Lorsqu’il s’agit de développer les différentes fonctionnalités d’une application, les plateformes no-code peuvent présenter des limites qui obligent à revoir les processus souhaités, ce qui est contraignant et parfois rédhibitoire. Dès que vous rencontrez cet inévitable cas limite requis par votre application, vous devrez rapidement passer du « que veux-je construire » initial au « que puis-je construire ».

Les outils no-code sont également limités dans leur design. Vous n’avez pas la possibilité de personnaliser à 100 % votre application ou votre site web. Le risque est donc de ressembler à beaucoup d’autres applis déjà présentes et sur le marché.

Le manque de contrôle et dépendance de l’éditeur

Si l’éditeur de l’outil que vous avez utilisé pour créer votre solution numérique modifie ou supprime une option, votre installation peut en être impactée. Vous dépendez donc entièrement de votre plateforme no-code et ne pouvez pas faire évoluer votre page ou application selon vos besoins.

Que se passe-t-il si l’entreprise qui fournit votre plate-forme no-code est acquise ou liquidée ? Pire encore, que se passe-t-il si elle subit une violation de la sécurité interne qui vous rend vulnérable, vous et votre système ?

Vous êtes également soumis aux conditions de l’éditeur concernant le changement de prix. Dans le cas où vous voulez changer de plateforme, la migration de vos données risque aussi d’être difficile, voire impossible selon votre plateforme initiale.

N’oubliez pas que vous n’êtes pas propriétaire de votre code source. Si vous décidez de quitter votre plateforme de développement no-code, vous vous heurterez rapidement au problème du verrouillage des fournisseurs.

Les outils no-code

Il est difficile de dresser une liste exhaustive des meilleurs outils no-code parce qu’il en existe des dizaines qui sont vraiment intéressants. Et cette liste est également destinée à évoluer dans les prochains mois parce que les outils no-code progressent sans arrêt et de nouveaux acteurs arrivent sur le marché.

Ci-dessous, vous trouverez une liste d’outils no-code et liens vers des tutoriels pour vous aider à démarrer la création de votre nouvelle solution.

Pour les sites web

Pour les applications web

Adalo et un tuto
Glide et un tuto
Bubble et un tuto

Pour les jeux vidéo

Buildbox et un tuto

Pour la gestion des processus métiers

Airtable et un tuto
Notion et un tuto
Zapier et un tuto
IFTTT et un tuto

Besoin d’une aide supplémentaire ?

Vous avez une question spécifique à propos d’une fiche? Elles sont réalisées par les experts du CETIC (Centre d'Excellence en Technologies de l'Information et de la Communication), un centre de recherche appliquée en informatique situé à Charleroi. Vous trouverez toutes les coordonnées ici.