Shruti Goyal de BearingPoint parle de l'architecture sans copie et pourquoi elle change finalement la donne pour les équipes de données.
Le monde de l'architecture de données, selon Shruti Goyal, a été défini par un seul processus au cours de la dernière décennie : extraire, transformer et charger (ETL).
ETL est un processus informatique en trois phases dans lequel les données sont extraites de systèmes transactionnels ou de systèmes sources en temps réel, transformées (c'est-à-dire nettoyées, enrichies et standardisées) dans un format analytique, et chargées (ou stockées) dans un hub ou un entrepôt de données à des fins de reporting et d'analyse.
« En pratique, cela signifiait créer des pipelines complexes à l'aide d'outils tels que SQL Server Integration Services (SSIS), Azure Data Factory (ADF) et Microsoft Data Pipelines », explique Goyal, responsable de l'analyse des données et de l'IA chez BearingPoint.
« ETL garantit que les données sont fiables, cohérentes et prêtes pour l'analyse et la prise de décision. »
Cependant, Goyal estime qu'après une décennie de domination des données, ETL pourrait être sur le point de disparaître en raison de la montée en puissance de l'architecture sans copie – une approche « où les données sont utilisées là où elles se trouvent déjà, sans les copier physiquement dans les systèmes en aval ».
« Les données ne sont plus déplacées physiquement, mais leur accès l'est », dit-elle.
Qu’est-ce que le zéro copie ?
Comme l'explique Goyal à SiliconRepublic.com, l'architecture sans copie permet aux utilisateurs d'interroger, de partager et d'accéder aux données directement à la source, par opposition au processus transitoire d'ETL.
La copie zéro permet cela en utilisant des métadonnées, des autorisations et un refoulement de requêtes « sans dupliquer les données sous-jacentes ».
Goyal affirme que le catalyseur de ce changement est la plateforme d'analyse Microsoft Fabric, en particulier sa plateforme de stockage OneLake.
« Fabric introduit un noyau de données logique unifié qui rend obsolète la duplication de données traditionnelle », explique-t-elle. « Les deux mécanismes critiques sont la mise en miroir, qui maintient les systèmes sources reflétés en temps quasi réel, et les raccourcis, qui permettent à des bases de données entières de plusieurs téraoctets d'apparaître dans un environnement d'analyse en quelques secondes sans aucune copie physique.
« Même si ADF reste pertinent pour les scénarios d’orchestration complexes, il ne constitue plus l’épine dorsale du mouvement des données – OneLake l’est. »
« Libération attendue depuis longtemps »
Les changements importants dans n'importe quel secteur peuvent être accueillis avec joie ou dédain selon les circonstances, mais Goyal affirme que pour les équipes de données, la soi-disant « mort d'ETL » a été décrite comme rien de moins qu'une « libération attendue depuis longtemps ».
« Les années passées à peaufiner les packages SSIS et à cartographier les flux de données ADF cèdent la place à la gestion des métadonnées et des politiques de gouvernance », dit-elle. « Le fardeau passe de la réponse aux pannes de pipeline au maintien de raccourcis stables et gouvernés.
« L'ensemble des compétences évolue en conséquence : l'accent passe de l'ingénierie de pipeline à la gouvernance des données, à la gestion des métadonnées et à l'architecture stratégique, ce qui représente une élévation significative du rôle de gestion des données.
Mais pourquoi spécifiquement le zéro copie est-il adopté par rapport à ETL ?
Pour commencer, Goyal affirme que le zéro copie remplace ETL car il est plus rapide, moins cher et « fondamentalement plus fiable ».
« Les architectures zéro copie remplacent ETL en permettant à l'analyse et à l'IA d'accéder aux données en direct à leur source, éliminant ainsi la duplication, la latence et la complexité de la gouvernance tout en réduisant les coûts.
« En bref, ETL est coûteux, lent et fragile ; zéro copie est simple, dynamique et autonome. »
Pourquoi c'est important
Goyal estime que la transition depuis ETL est importante car elle « représente un changement architectural fondamental », permettant aux équipes de gérer les métadonnées et la gouvernance au lieu de copies de données fragmentées et de « pipelines fragiles ».
« Nous passons d'un modèle réactif, exigeant beaucoup de maintenance – caractérisé par des alertes de panne de pipeline tard dans la nuit – à un flux en direct de l'activité.
« Au fil du temps, cela signifie que les organisations peuvent prendre des décisions sur les données actuelles plutôt que sur le lot d'hier, réduire considérablement les frais d'infrastructure et rediriger les équipes de données compétentes de la lutte opérationnelle vers le travail stratégique.
Goyal ajoute que du point de vue de la stratégie de données, le zéro copie « change ce qui est fondamentalement possible ».
« Lorsque la couche d'analyse reflète l'activité en temps quasi réel plutôt que quelques heures après coup, les décisions peuvent être prises sur la base de la vérité terrain actuelle », explique-t-elle. « L'élimination du stockage redondant signifie que les stratégies peuvent évoluer sans augmentation proportionnelle des coûts.
« La gouvernance intégrée et la persistance des métadonnées signifient également que les organisations peuvent faire davantage confiance à leurs données, ce qui permet aux charges de travail d'IA, aux systèmes de reporting et aux systèmes opérationnels de coexister en toute confiance sur un ensemble de données unique et bien gouverné.
