S'INSCRIRE
Retour aux emplois
Pickmeup
ALSL - Data Engineer (GCP) – Plateforme Data (IT) / FreelancePickmeup • Paris, Île-de-France, France
Postuler Maintenant
Pickmeup

ALSL - Data Engineer (GCP) – Plateforme Data (IT) / Freelance

Pickmeup
  • FR
    Paris, Île-de-France, France
  • FR
    Paris, Île-de-France, France
Postuler Maintenant

À propos

On cherche un(e) Data Engineer pour renforcer une quipe qui fait tourner la plateforme data au quotidien. Le sujet est tr s concret : ramener des donn es qui viennent de partout , les centraliser proprement , les rendre fiables , et garder une plateforme qui tient la charge (et qui ne casse pas en prod au premier pic). Vous travaillerez avec un Product Owner, un Data Steward et d autres data engineers. On est sur une logique : ingestion, standardisation, stockage, et tout ce qui va avec c t run (monitoring, reprise, s curit , doc). Vos missions : Collecter et centraliser des sources h t rog nes (API, fichiers, bases, v nements). Construire des pipelines robustes : gestion des erreurs, reprises, backfills, alerting, qualit . D velopper les traitements en Python / SQL / Spark (volumes en hausse, donc on fait attention la perf et aux co ts). Orchestrer les flux avec Airflow . Structurer le stockage sur Cloud Storage avec une approche Delta Lake ( volution de sch mas, merge/upsert, partitionnement, r tention). Industrialiser l ensemble : Terraform / Terragrunt , GitLab CI/CD , environnements propres (dev/staging/prod). Contribuer la gouvernance et la conformit : catalogage et m tadonn es via Dataplex documentation utile (pas un wiki fant me). Environnement technique : Python, SQL, Spark Airflow (orchestration) GCP : BigQuery, Dataproc, Pub/Sub, Cloud Storage Delta Lake Terraform Terragrunt GitLab GitLab CI/CD M thodes : Agile (Scrum/Kanban) Profil candidat: On ne recherche pas quelqu un qui a d j fait un peu de data . On cherche un(e) Data Engineer qui a d j fait tourner des pipelines en production . Indispensable : 3 ans mini en Data Engineering, avec du run (prod, incidents, monitoring, stabilit ). Exp rience solide sur GCP : BigQuery et, id alement, Dataproc / PubSub / Cloud Storage. Airflow en prod (DAGs, retries, backfill, alertes). Python SQL solides. Spark (PySpark) sur de vraies volum tries. Industrialisation : Terraform et pratique CI/CD ( GitLab ). Gros plus : Dataplex (catalog, tags/classification, gouvernance). Terragrunt (multi-environnements, modules, state). Delta Lake r ellement utilis (tables Delta, merge/upsert, schema evolution, retention/vacuum).
  • Paris, Île-de-France, France

Compétences linguistiques

  • French
Avis aux utilisateurs

Cette offre provient d’une plateforme partenaire de TieTalent. Cliquez sur « Postuler maintenant » pour soumettre votre candidature directement sur leur site.

Postuler Maintenant