Google Cloud fournit des services managés pour héberger des applications, stocker des données et exécuter des traitements analytiques ou de Machine Learning. Cette plateforme offre un socle commun pour déployer, faire évoluer, sécuriser et exploiter des systèmes en production.
Pipelines d’ingestion et de transformation, modèles de données, tests et monitoring : une base fiable pour les systèmes opérationnels et l’analytics.
Conception et développement de systèmes logiciels fiables et évolutifs
Opérationnaliser les modèles de Machine Learning par le déploiement automatisé, la surveillance, le versionnement et la gestion du cycle de vie en environnement de production
J'ai conçu et déployé des services d'ingestion en production permettant de centraliser des données provenant d'APIs, de bases de données, d'équipements énergétiques, de systèmes de recharge de véhicules électriques, de données solaires et de plateformes métier.
Le même framework permettait de couvrir des données opérationnelles comme des sources externes sans développer un pipeline entièrement spécifique pour chaque nouvelle intégration.
J'ai mis en place des mécanismes réutilisables pour le chargement incrémental, la gestion des changements, l'évolution des schémas, la déduplication, les reprises sur erreur et la validation des données.
Cette approche facilitait l'ajout de nouvelles sources tout en maintenant un comportement cohérent entre les différents pipelines.
Les services étaient conçus pour des traitements planifiés en production, avec un suivi de leur exécution, de la fraîcheur des données, des erreurs et de la qualité des données ingérées.
Développement de bout en bout et modernisation d’une plateforme data couvrant l’ingestion en production, l’analytics engineering, les contrôles qualité et le reporting pour des usages opérationnels, métier et orientés clients.
