DuckDB est une base de données analytique embarquée qui exécute des requêtes SQL sans serveur distinct. Elle est particulièrement adaptée à l’exploration locale, au développement et à la validation de pipelines, notamment pour travailler directement sur des fichiers tabulaires ou depuis Python.
Pipelines d’ingestion et de transformation, modèles de données, tests et monitoring : une base fiable pour les systèmes opérationnels et l’analytics.
Conception et développement de systèmes logiciels fiables et évolutifs
Extraire des insights et construire des modèles prédictifs à partir des données en utilisant les statistiques, le machine learning et la programmation
J'ai conçu et déployé des services d'ingestion en production permettant de centraliser des données provenant d'APIs, de bases de données, d'équipements énergétiques, de systèmes de recharge de véhicules électriques, de données solaires et de plateformes métier.
Le même framework permettait de couvrir des données opérationnelles comme des sources externes sans développer un pipeline entièrement spécifique pour chaque nouvelle intégration.
J'ai mis en place des mécanismes réutilisables pour le chargement incrémental, la gestion des changements, l'évolution des schémas, la déduplication, les reprises sur erreur et la validation des données.
Cette approche facilitait l'ajout de nouvelles sources tout en maintenant un comportement cohérent entre les différents pipelines.
Les services étaient conçus pour des traitements planifiés en production, avec un suivi de leur exécution, de la fraîcheur des données, des erreurs et de la qualité des données ingérées.
Développement de bout en bout et modernisation d’une plateforme data couvrant l’ingestion en production, l’analytics engineering, les contrôles qualité et le reporting pour des usages opérationnels, métier et orientés clients.
