Snowflake est une plateforme data cloud managée qui sépare le stockage des données des ressources de calcul analytique. Elle fournit un socle évolutif pour centraliser des sources hétérogènes, exécuter des transformations SQL et alimenter les usages d’analyse, de reporting et les applications data.
Pipelines d’ingestion et de transformation, modèles de données, tests et monitoring : une base fiable pour les systèmes opérationnels et l’analytics.
J'ai piloté la modernisation d'une couche de transformation auparavant fragmentée vers un workflow d'analytics engineering structuré.
Les transformations ont été réorganisées en couches réutilisables séparant la préparation commune des données, les modèles analytiques et les sorties destinées au reporting.
J'ai mis en place le versioning, les tests automatisés, la documentation, la traçabilité des dépendances, les revues de code et des pratiques d'intégration continue autour des transformations de données.
Ces standards facilitaient la revue, la maintenance et l'évolution de la logique de transformation.
J'ai standardisé des modèles de données et des définitions métier réutilisables afin que les différents usages analytiques et de reporting s'appuient sur une logique commune plutôt que sur des calculs dupliqués.
Construction d'un jeu de données de fiabilité cohérent à partir des états opérationnels et des informations de connectivité provenant d'un parc hétérogène de bornes de recharge.
Pour chaque point de charge, l'état opérationnel et la disponibilité de la connexion sont combinés sur une base temporelle commune afin d'évaluer la disponibilité de manière homogène entre les équipements et les sites.
La logique de reporting prend également en compte l'évolution du parc dans le temps : périodes de mise en service, équipements remplacés ou retirés, fenêtres de reporting propres aux sites et changements d'affectation.
Les calculs portent ainsi uniquement sur les équipements effectivement attendus en fonctionnement pendant chaque période considérée.
Conception d'un modèle analytique centré sur chaque point de charge, avec construction d'intervalles de disponibilité pouvant ensuite être agrégés de manière cohérente au niveau de la borne, du site ou du portefeuille.
Les données sont ramenées sur une base temporelle commune avant agrégation, ce qui permet de calculer simplement une disponibilité pondérée par le temps sur des équipements hétérogènes.
Mise en place de validations automatisées portant notamment sur la couverture des équipements, les périodes de reporting, les exclusions de disponibilité et la cohérence des métriques.
Le pipeline fournit ainsi une définition reproductible de la disponibilité, indépendante de calculs spécifiques réalisés directement dans les tableaux de bord.
Les modèles sont exploités sous forme de workflows analytiques en production, avec transformations versionnées, tests automatisés et documentation des définitions utilisées.
Développement de bout en bout et modernisation d’une plateforme data couvrant l’ingestion en production, l’analytics engineering, les contrôles qualité et le reporting pour des usages opérationnels, métier et orientés clients.
Analyse de la fiabilité de plus de 70 000 bornes gérées, avec reconstruction d’une disponibilité cohérente par point de charge à partir de l’état opérationnel, de la connectivité, de l’historique des équipements et des exclusions pour le reporting opérationnel et client.
