Prometheus collecte et interroge les métriques temporelles des applications et de leur infrastructure. Il apporte la visibilité nécessaire pour suivre l’état des services, les échecs d’exécution et le comportement des ressources, afin de détecter les problèmes avant qu’ils n’affectent les données ou les utilisateurs.
Pipelines d’ingestion et de transformation, modèles de données, tests et monitoring : une base fiable pour les systèmes opérationnels et l’analytics.
Conception et développement de systèmes logiciels fiables et évolutifs
J'ai conçu et déployé des services d'ingestion en production permettant de centraliser des données provenant d'APIs, de bases de données, d'équipements énergétiques, de systèmes de recharge de véhicules électriques, de données solaires et de plateformes métier.
Le même framework permettait de couvrir des données opérationnelles comme des sources externes sans développer un pipeline entièrement spécifique pour chaque nouvelle intégration.
J'ai mis en place des mécanismes réutilisables pour le chargement incrémental, la gestion des changements, l'évolution des schémas, la déduplication, les reprises sur erreur et la validation des données.
Cette approche facilitait l'ajout de nouvelles sources tout en maintenant un comportement cohérent entre les différents pipelines.
Les services étaient conçus pour des traitements planifiés en production, avec un suivi de leur exécution, de la fraîcheur des données, des erreurs et de la qualité des données ingérées.
Développement de bout en bout et modernisation d’une plateforme data couvrant l’ingestion en production, l’analytics engineering, les contrôles qualité et le reporting pour des usages opérationnels, métier et orientés clients.
