Industrie
Développement de bout en bout et modernisation d’une plateforme data couvrant l’ingestion en production, l’analytics engineering, les contrôles qualité et le reporting pour des usages opérationnels, métier et orientés clients.
J'ai conçu et déployé des services d'ingestion en production permettant de centraliser des données provenant d'APIs, de bases de données, d'équipements énergétiques, de systèmes de recharge de véhicules électriques, de données solaires et de plateformes métier.
Le même framework permettait de couvrir des données opérationnelles comme des sources externes sans développer un pipeline entièrement spécifique pour chaque nouvelle intégration.
J'ai mis en place des mécanismes réutilisables pour le chargement incrémental, la gestion des changements, l'évolution des schémas, la déduplication, les reprises sur erreur et la validation des données.
Cette approche facilitait l'ajout de nouvelles sources tout en maintenant un comportement cohérent entre les différents pipelines.
Les services étaient conçus pour des traitements planifiés en production, avec un suivi de leur exécution, de la fraîcheur des données, des erreurs et de la qualité des données ingérées.
J'ai piloté la modernisation d'une couche de transformation auparavant fragmentée vers un workflow d'analytics engineering structuré.
Les transformations ont été réorganisées en couches réutilisables séparant la préparation commune des données, les modèles analytiques et les sorties destinées au reporting.
J'ai mis en place le versioning, les tests automatisés, la documentation, la traçabilité des dépendances, les revues de code et des pratiques d'intégration continue autour des transformations de données.
Ces standards facilitaient la revue, la maintenance et l'évolution de la logique de transformation.
J'ai standardisé des modèles de données et des définitions métier réutilisables afin que les différents usages analytiques et de reporting s'appuient sur une logique commune plutôt que sur des calculs dupliqués.
J'ai piloté la refonte et la migration d'un environnement de reporting couvrant des usages métier, opérationnels, ingénierie et certains usages orientés clients.
Le travail comprenait la migration des tableaux de bord, la définition de standards et de modèles réutilisables, le recueil des besoins et la coordination avec les utilisateurs techniques et métier.
Le reporting a été structuré pour permettre de passer de vues synthétiques à des analyses opérationnelles et techniques plus détaillées sans répliquer les mêmes métriques dans plusieurs tableaux de bord indépendants.
Des modèles de données et conventions de reporting partagés facilitaient l'exploration cohérente des données tout en limitant la duplication des tableaux de bord et des règles de calcul.
Les usages couvraient notamment les actifs renouvelables, la recharge de véhicules électriques, le suivi de projets, la finance, les opérations, la prévision et la fiabilité.
Plateforme opérationnelle de bout en bout utilisant des modèles de machine learning pour prévoir la production solaire et la charge de chaque site, actualisée toutes les 15 minutes sur trois jours et intégrée aux systèmes de gestion énergétique.
Prévision spatio-temporelle de la production photovoltaïque régionale à partir de séquences d’images Meteosat, avec un modèle ConvLSTM entraîné et évalué face aux mesures et à une référence de persistance.
Cadre scientifique pour évaluer les prévisions solaires au-delà des métriques d’erreur moyenne, avec le Temporal Distortion Mix et une métrique de rampe pour mesurer les décalages temporels et les variations rapides d’irradiance.
GCP