REGISTRIEREN

Jobbörse

Finde Jobs in deiner Nähe – ob vor Ort, hybrid oder remote.
  • Ähnliche Jobs zu: Senior Cloud Data Engineer
XX
Senior Cloud Data EngineerProgi • Canada
Jetzt Bewerben
XX

Senior Cloud Data Engineer

Progi
  • CA
    Canada
  • CA
    Canada
Jetzt Bewerben

Über

En tant que Senior Cloud Data Engineer chez Progi, vous serez responsable de la transformation et orchestration de la plateforme de données cloud , avec un focus particulier sur les couches Silver et Gold (BigQuery, Dataform, Cloud Composer) .

Votre rôle sera central dans l’évolution de notre plateforme vers un modèle data-driven avancé , incluant l’optimisation des coûts, la performance des pipelines et la mise en place des premières capacités en Machine Learning / AI en production .

Vous agirez en propriétaire end-to-end des pipelines de données (architecture medallion) et contribuerez activement à bâtir une plateforme robuste, performante et prête pour les usages analytiques et prédictifs.
Responsabilités principales

Ownership de la plateforme data (Medallion)

  • Concevoir, construire et maintenir les couches Silver et Gold dans BigQuery
  • Assurer l’implémentation complète d’une architecture Medallion (bronze / silver / gold)
  • Garantir la qualité, la cohérence et la scalabilité des datasets
Orchestration & pipelines
  • Développer et maintenir des pipelines ELT/ETL avec Dataform et Cloud Composer
  • Orchestrer les workflows de transformation et de chargement de données
  • Assurer un monitoring fiable des pipelines en production
Ingestion de données
  • Implémenter des stratégies d’ingestion via :
    • APIs
    • Bases de données (MySQL, etc.)
  • Standardiser les flux d’ingestion pour assurer leur robustesse et leur réutilisabilité
Optimisation BigQuery (clé du rôle)
  • Optimiser les coûts et les performances des workloads BigQuery
  • Mettre en place des bonnes pratiques :
    • partitioning / clustering
    • query optimization
    • data lifecycle management
  • Suivre et améliorer en continu l’efficacité de la plateforme
Data & Machine Learning enablement
  • Collaborer à la mise en place des premiers cas d’usage ML/AI
  • Préparer les données pour des pipelines de machine learning en production
  • Participer à l’intégration avec les outils GCP liés au ML (ex : Vertex AI)
CI/CD & bonnes pratiques
  • Contribuer à la mise en place et l’amélioration des pipelines CI/CD (Git, automatisation)
  • Appliquer les standards d’ingénierie modernes (tests, versioning, documentation)
Collaboration
  • Travailler étroitement avec les équipes BI, produit et techniques
  • Participer à la définition des besoins analytiques et des modèles de données
  • Promouvoir une culture de data engineering orientée performance et valeur métier
Profil recherché Expérience
  • Minimum 5 ans d’expérience en data engineering
  • Minimum 2 ans sur Google Cloud Platform (GCP)
Compétences techniques
  • Excellente maîtrise de :
    • SQL (avancé)
    • Python
  • Expérience solide avec :
    • BigQuery
    • Dataform
    • Cloud Composer
  • Bonne compréhension des architectures :
    • Data warehouse
    • Medallion architecture
Expérience pratique souhaitée
  • Construction de pipelines de données en production
  • Optimisation des coûts et performance BigQuery
  • Migration ou modernisation vers le cloud
  • Expérience avec des projets de Machine Learning (atout fort)
Atouts
  • Expérience avec CI/CD et Git
  • Connaissance des outils d’ingestion (API, bases transactionnelles)
  • Expérience dans un environnement data à forte volumétrie
Ce qui différencie ce rôle
  • Ownership complet de la couche de transformation (pas juste builder)
  • Impact direct sur :
    • les coûts cloud
    • la performance data
    • la stratégie AI/ML
  • Rôle hybride Data Engineer + Data Platform + AI en devenir
La connaissance de l'anglais est essentiel afin d'accomplir sa prescription de travail avec les différentes parties prenantes.
  • Excellente maîtrise de :
    • SQL (avancé)
    • Python
  • Expérience solide avec :
    • BigQuery
    • Dataform
    • Cloud Composer
  • Bonne compréhension des architectures :
    • Data warehouse
    • Medallion architecture
  • Expérience pratique souhaitée
    • Construction de pipelines de données en production
    • Optimisation des coûts et performance BigQuery
    • Migration ou modernisation vers le cloud
    • Expérience avec des projets de Machine Learning (atout fort)
  • Canada

Sprachkenntnisse

  • French
Hinweis für Nutzer

Dieses Stellenangebot stammt von einer Partnerplattform von TieTalent. Klick auf „Jetzt Bewerben”, um deine Bewerbung direkt auf deren Website einzureichen.