Senior Data Engineer (m/w/d) Lakehouse, Databricksexpertplace professionals • Cologne, North Rhine-Westphalia, Germany
Senior Data Engineer (m/w/d) Lakehouse, Databricks
expertplace professionals
- Cologne, North Rhine-Westphalia, Germany
- Cologne, North Rhine-Westphalia, Germany
À propos
Die Versicherung betreibt mit einer Analytics Plattform eine moderne Data-&-AI-Plattform in der Azure Cloud. Diese wird aktuell für folgende Zwecke genutzt: Entwicklung und Betrieb von KI-Systemen (z. B. RAG-Applikationen), Hosting selbst trainierter KI-Modelle, Durchführung von Ad-hoc-Analysen auf strukturierten und unstrukturierten Daten, Entwicklung von Datenprodukten, Datenintegration und -transformation für ein separates Data Warehouse.
Im Rahmen der IT-Transformations-Roadmap wird Unterstützung für die Weiterentwicklung sowie die spätere Migration der Plattform benötigt.
expertplace professionals bringt seit 2014 Experten und Talente zusammen und begleitet Unternehmen sowie Fachkräfte deutschlandweit in den Bereichen IT, Engineering und kaufmännischen Funktionen. Wir stehen für geprüfte Qualität, individuelle Beratung und flexible Lösungen, die zu den Zielen aller Beteiligten passen.Deine Benefits:
- Attraktive Vergütung
- Modernes, technisches Umfeld mit Fokus auf Innovation
- Flexible Homeoffice-Regelung für deine Work-Life-Balance
- Respektvolle und offene Arbeitskultur
- Weihnachts- und Urlaubsgeld on top
- Weiterentwicklung der bestehenden Plattform zu einem Lakehouse
- Unterstützung bei der technischen Anbindung weiterer IT-Systeme
- Implementierung von Entwicklungsprozessen für Lakehouse-Entwickler unter Beachtung von DABs und Data Contracts
- Mitarbeit an der Migration von GitLab CI/CD zu GitHub Actions
- Wiederherstellung und Bewertung vorhandener Assets, Daten und Daten-Pipelines im neuen Azure Tenant
- Unterstützung bei der automatischen Bereitstellung von Berechtigungsgruppen, Monitoring-Dashboards und Incident-Routing-Mechanismen
- Vorbereitung der vorhandenen Infrastructure-as-Code-Repositories sowie Bewertung der vorhandenen Assets
- Wiederherstellen vorhandener Assets, Daten und Daten-Pipelines im neuen Tenant
- Anbindung an Umsysteme, SIEM und IAM
- Migration von GitLab CI/CD zu GitHub Actions
- Abbau der Cloud-Ressourcen, Prozesse und Assets im alten Azure-Tenant
- Tiefes Verständnis von Berechtigungsstrukturen in Databricks mit Unity Catalog
- Erfahrung im Design und der Administration von Databricks Workspaces
- Entwicklung von resilienten Data-Pipelines mit PySpark inkl. Testautomatisierung, Packaging und Deployment mit Declarative Automation Bundles (DAB),
- Kenntnisse von Data Contracts
- Partitionierung von Daten in Delta Lake
- Erfahrung mit GitLab CI/CD und/oder GitHub Actions
- Sehr gute Deutschkenntnisse in Wort und Schrift
Compétences linguistiques
- German
Avis aux utilisateurs
Cette offre provient d’une plateforme partenaire de TieTalent. Cliquez sur « Postuler maintenant » pour soumettre votre candidature directement sur leur site.