Data Engineer Databricks

KOMEET TECHNOLOGIES

Paris, Île-de-France, France

Paris, Île-de-France, France

Trouver des emplois similaires

À propos

En tant que Data Engineer, vous intervenez sur la conception, le d veloppement et l optimisation de pipelines de donn es robustes et scalables. Vous travaillez au c ur des plateformes Data afin de garantir la qualit , la disponibilit et la performance des donn es utilis es par les quipes m tiers, BI et Data Science. Exp rience attendue : 3 8 ans en ing nierie Data. Vous correspondez au/ la Data Engineer que nous recherchons si : Vous voluez efficacement au sein d quipes agiles et pluridisciplinaires , en collaboration troite avec les quipes Data, IT et m tiers Vous faites preuve d un fort esprit analytique et d une grande rigueur Vous tes autonome , proactif et dot d un solide sens des responsabilit s Vous tes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos t ches , g rer les contraintes et respecter vos engagements Vous disposez d un bon esprit de synth se et tes orient r sultats et valeur m tier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez d j travaill sur des plateformes Data modernes (Cloud) Vous ma trisez SQL comme langage d interrogation des donn es et avez des notions de mod lisation de donn es (architecture m daillon, mod le en toile ) Vous disposez d un bagage en software engineering , vous permettant d crire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de d veloppement : structuration du code, modularit , gestion des d pendances, conventions de nommage Vous tes sensibilis aux principes de qualit logicielle (tests unitaires, tests d int gration, revue de code) Vous tes l aise avec les outils de versioning ( Git ) et les workflows collaboratifs associ s Vous savez concevoir des pipelines Data comme de v ritables produits logiciels, en tenant compte de la maintenabilit , de l volutivit et de l observabilit Profil candidat: Comp tences techniques attendues autour de la plateforme Databricks : Bonne ma trise de la plateforme Databricks dans un contexte Data Engineering Utilisation avanc e d Apache Spark via PySpark et Spark SQL pour le d veloppement de pipelines Data Connaissance de Delta Lake et de ses m canismes cl s (Delta log, ACID, schema evolution, time travel...) Ma trise des diff rentes m thodes d ingestion de donn es de la plateforme Connaissance et impl mentation du framework Spark Declarative Pipelines Mise en place de strat gies de tests automatis s pour les pipelines incluant : Tests unitaires (ex. pytest ), Contr les de qualit des donn es ( DQX , SDP Expectations ) Certifications recommand es : Databricks Certified Data Engineer Associate (ou quivalent)

Paris, Île-de-France, France

Compétences linguistiques

French

Avis aux utilisateurs

Cette offre a été publiée par l’un de nos partenaires. Vous pouvez consulter l’offre originale ici.

Trouver des emplois similaires