ALSL - Data Engineer (GCP) – Plateforme Data (IT) / FreelancePickmeup • Paris, Île-de-France, France

Apply Now

ALSL - Data Engineer (GCP) – Plateforme Data (IT) / Freelance

Pickmeup

Paris, Île-de-France, France

Paris, Île-de-France, France

Apply Now

About

On cherche un(e) Data Engineer pour renforcer une quipe qui fait tourner la plateforme data au quotidien. Le sujet est tr s concret : ramener des donn es qui viennent de partout , les centraliser proprement , les rendre fiables , et garder une plateforme qui tient la charge (et qui ne casse pas en prod au premier pic). Vous travaillerez avec un Product Owner, un Data Steward et d autres data engineers. On est sur une logique : ingestion, standardisation, stockage, et tout ce qui va avec c t run (monitoring, reprise, s curit , doc). Vos missions : Collecter et centraliser des sources h t rog nes (API, fichiers, bases, v nements). Construire des pipelines robustes : gestion des erreurs, reprises, backfills, alerting, qualit . D velopper les traitements en Python / SQL / Spark (volumes en hausse, donc on fait attention la perf et aux co ts). Orchestrer les flux avec Airflow . Structurer le stockage sur Cloud Storage avec une approche Delta Lake ( volution de sch mas, merge/upsert, partitionnement, r tention). Industrialiser l ensemble : Terraform / Terragrunt , GitLab CI/CD , environnements propres (dev/staging/prod). Contribuer la gouvernance et la conformit : catalogage et m tadonn es via Dataplex documentation utile (pas un wiki fant me). Environnement technique : Python, SQL, Spark Airflow (orchestration) GCP : BigQuery, Dataproc, Pub/Sub, Cloud Storage Delta Lake Terraform Terragrunt GitLab GitLab CI/CD M thodes : Agile (Scrum/Kanban) Profil candidat: On ne recherche pas quelqu un qui a d j fait un peu de data . On cherche un(e) Data Engineer qui a d j fait tourner des pipelines en production . Indispensable : 3 ans mini en Data Engineering, avec du run (prod, incidents, monitoring, stabilit ). Exp rience solide sur GCP : BigQuery et, id alement, Dataproc / PubSub / Cloud Storage. Airflow en prod (DAGs, retries, backfill, alertes). Python SQL solides. Spark (PySpark) sur de vraies volum tries. Industrialisation : Terraform et pratique CI/CD ( GitLab ). Gros plus : Dataplex (catalog, tags/classification, gouvernance). Terragrunt (multi-environnements, modules, state). Delta Lake r ellement utilis (tables Delta, merge/upsert, schema evolution, retention/vacuum).

Paris, Île-de-France, France

Languages

French

Notice for Users

This job comes from a TieTalent partner platform. Click "Apply Now" to submit your application directly on their site.

Apply Now