Data Engineer (IT) / FreelanceSTHREE SAS pour COMPUTER FUTURES • Paris, Île-de-France, France

Dieses Stellenangebot ist nicht mehr verfügbar

Data Engineer (IT) / Freelance

STHREE SAS pour COMPUTER FUTURES

Paris, Île-de-France, France

Paris, Île-de-France, France

Ähnliche Jobs finden

Über

Le r le du Data Engineer dans ce projet consistera : Concevoir et impl menter les composants/pipelines d ingestion de donn es en scala spark (glue jobs, sans utilisation de solutions manag es type Databricks) Traiter et normaliser les donn es Refactoriser des imports existants pour tre compliant avec l architecture medaillon (silver gold layers) et notre mod le uniformis /harmonis toutes les plateformes (aggr gateurs, market exchanges) Appliquer/challenger les r gles m tier pour g n rer la couche gold tout en garantissant les performances, la scalabilit et les co ts cloud Distribuer les donn es aux diff rents consommateurs/M tiers Impl menter les r gles de Data Quality (DataQuality framework : great expectation) et g rer le data calatog D velopper et am liorer les frameworks communs (monitoring, CI/CD, tests, performance, r silience, standards de d veloppement, qualit du code) R diger et maintenir la documentation technique des d veloppements r alis s : sch ma d architecture, Infra, Flux, Garantir le respect des standards du Groupe en mati re de qualit , s curit , partage, usage et architecture des donn es Participer au d veloppement et la maintenance du calculateur en Scala Spark avec l objectif : - d optimiser le temps de calculs, - d optimiser les performances, - de garantir la scalabilit au regard d un accroissement annuel important du volume des market operations, - de ma triser et d optimiser les co ts cloud. tre force de proposition pour am liorer les processus et les performances des syst mes. Profil candidat: Minimum 5 ans d exp rience en d veloppement Scala Spark. Exp rience av r e dans des projets Big Data et ETL. Capacit tre force de proposition et travailler de mani re autonome.

Paris, Île-de-France, France

Sprachkenntnisse

French

Hinweis für Nutzer

Dieses Stellenangebot wurde von einem unserer Partner veröffentlicht. Sie können das Originalangebot einsehen hier.

Ähnliche Jobs finden