Senior Cloud Data Engineer

En tant que Senior Cloud Data Engineer chez Progi, vous serez responsable de la transformation et orchestration de la plateforme de données cloud , avec un focus particulier sur les couches Silver et Gold (BigQuery, Dataform, Cloud Composer) .

Votre rôle sera central dans l’évolution de notre plateforme vers un modèle data-driven avancé , incluant l’optimisation des coûts, la performance des pipelines et la mise en place des premières capacités en Machine Learning / AI en production .

Vous agirez en propriétaire end-to-end des pipelines de données (architecture medallion) et contribuerez activement à bâtir une plateforme robuste, performante et prête pour les usages analytiques et prédictifs.
Responsabilités principales
Ownership de la plateforme data (Medallion)

• Concevoir, construire et maintenir les couches Silver et Gold dans BigQuery
• Assurer l’implémentation complète d’une architecture Medallion (bronze / silver / gold)
• Garantir la qualité, la cohérence et la scalabilité des datasets

• Développer et maintenir des pipelines ELT/ETL avec Dataform et Cloud Composer
• Orchestrer les workflows de transformation et de chargement de données
• Assurer un monitoring fiable des pipelines en production

• Implémenter des stratégies d’ingestion via :
  • APIs
  • Bases de données (MySQL, etc.)
• Standardiser les flux d’ingestion pour assurer leur robustesse et leur réutilisabilité

• Optimiser les coûts et les performances des workloads BigQuery
• Mettre en place des bonnes pratiques :
  • partitioning / clustering
  • query optimization
  • data lifecycle management
• Suivre et améliorer en continu l’efficacité de la plateforme

• Collaborer à la mise en place des premiers cas d’usage ML/AI
• Préparer les données pour des pipelines de machine learning en production
• Participer à l’intégration avec les outils GCP liés au ML (ex : Vertex AI)

• Contribuer à la mise en place et l’amélioration des pipelines CI/CD (Git, automatisation)
• Appliquer les standards d’ingénierie modernes (tests, versioning, documentation)

• Travailler étroitement avec les équipes BI, produit et techniques
• Participer à la définition des besoins analytiques et des modèles de données
• Promouvoir une culture de data engineering orientée performance et valeur métier

• Minimum 5 ans d’expérience en data engineering
• Minimum 2 ans sur Google Cloud Platform (GCP)

• Excellente maîtrise de :
  • SQL (avancé)
  • Python
• Expérience solide avec :
  • BigQuery
  • Dataform
  • Cloud Composer
• Bonne compréhension des architectures :
  • Data warehouse
  • Medallion architecture

• Construction de pipelines de données en production
• Optimisation des coûts et performance BigQuery
• Migration ou modernisation vers le cloud
• Expérience avec des projets de Machine Learning (atout fort)

• Expérience avec CI/CD et Git
• Connaissance des outils d’ingestion (API, bases transactionnelles)
• Expérience dans un environnement data à forte volumétrie

• Ownership complet de la couche de transformation (pas juste builder)
• Impact direct sur :
  • les coûts cloud
  • la performance data
  • la stratégie AI/ML
• Rôle hybride Data Engineer + Data Platform + AI en devenir

• Excellente maîtrise de :
  • SQL (avancé)
  • Python
• Expérience solide avec :
  • BigQuery
  • Dataform
  • Cloud Composer
• Bonne compréhension des architectures :
  • Data warehouse
  • Medallion architecture
• Expérience pratique souhaitée
  • Construction de pipelines de données en production
  • Optimisation des coûts et performance BigQuery
  • Migration ou modernisation vers le cloud
  • Expérience avec des projets de Machine Learning (atout fort)