Equancy – conseil en transformation digitale et data

Publié le 17 juin 2022

Le data mesh qu'est-ce que c'est ?

Le data mesh, littéralement "maillage de données", désigne un système de traitement de big data, à l'architecture très spécifique dont le maître mot est : décentralisation.

Conceptualisé en 2019, par Zhamak Dehghani de Thoughtworks, le data mesh propose une architecture où chaque domaine de données de l’entreprise (par exemple les clients, les produits, etc.) est géré indépendamment par l’équipe qui en est responsable (approche orientée domaine). Ces données sont proposées en libre-service via des API, comme s’il s’agissait d’un produit prêt à l’usage. Il devrait en découler des gains de temps (réutilisation), d'agilité (usage comme un service) et d'espace (non duplication) dans son traitement et son analyse. Il peut se résumer comme « un changement dans l’architecture de données en libre-service, traitant les données comme un produit ».

* Image Source : Towards Data Science

Quelle est la différence entre data lake, data warehouse et data mesh ?

Le data lake est un outil permettant de stocker et de mettre à disposition de la donnée, la plus fraîche et la plus pertinente possible. Il repose sur un principe dit de schéma à lecture, où les données sont d’abord chargées telles quelles, et « interprétées » uniquement au moment de la lecture, en fonction de l’usage qui va en être fait.

Le data warehouse, est également un outil de stockage, qui repose sur un principe de schéma à écriture, c’est-à-dire que les données sont structurées et organisées dès leur chargement, selon le besoin (processus dit ETL : Extract, Transform, Load).

Le data mesh est un système d’architecture qui permet de créer des ponts entre les différentes bases de données. Les équipes d’ingénierie vont déplacer et transformer les données centralisées pour obtenir le résultat souhaité. Il permet de simplifier la collaboration et le self-service, de ce fait il vient en complément du data lake et du data warehouse.

Quels sont les avantages d’un data mesh ?

Le data mesh est censé avoir plusieurs avantages pour l’exploitation de ses données  :

 Data as a product  : le data mesh consiste en une infrastructure maillée de services qui vont chacun consommer de la donnée en entrée, pour la restituer nettoyée, structurée et la proposer comme un produit prêt à l’emploi. Ces produits pourront à leur tour être consommés par d’autres mailles du data mesh.

 Decentralized domain ownership : chaque division de l’entreprise est propriétaire de sa donnée car c’est elle qui en est la plus familière. Elle est responsable de collecter les données en entrée et de réaliser les transformations nécessaires pour en faire un produit.

 Self-serve data platform : la donnée est rendue accessible facilement et rapidement à tous ceux qui doivent y accéder, et ce, grâce à la mutualisation d'une infrastructure self-service (le seul point centralisé d’un data mesh).

Federated computational governance : deux niveaux de gouvernance sont définis. Premièrement, une gouvernance intra-domaine (par domaine/BU) qui régit la qualité, la provenance, la sécurité et la conformité des données. Et deuxièmement, une gouvernance inter-domaine qui, elle, régente les risques globaux de conformité (RGPD), la standardisation des formats de données, la sécurité du système et le cycle de vie de la donnée.

Le data mesh vise à offrir le maximum de flexibilité dans l’utilisation des données, validées par leur propriétaire fonctionnel, organisées et prêtes à l’emploi, combinables aisément dans de nouveaux produits associant plusieurs domaines, à leur tour diffusable simplement.

Cette vision des architectures data reste encore conceptuelle, et il faudra valider qu’elle résiste bien à son implémentation technique que des sociétés avec une forte culture data ont entrepris.

Alors, Data Mesh effet de mode ou véritable concept révolutionnaire ?