AI Data Engineer (m/w/d)

Im KI-Kompetenzzentrum dreht sich alles um die Erschaffung von KI-Lösungen für Union Investment und den Aufbau einer Databricks Data Intelligence Platform. In unseren Projekten entwickeln wir skalierbare Datenprodukte gemeinsam mit den Fachbereichen und Technologie-Teams. Damit unterstützen wir die gesamte Organisation dabei, Geschäftsentscheidungen auf Basis verlässlicher Daten und modernster Analytics-Methoden zu treffen.

Folgende Aufgaben wirst du schwerpunktmäßig ausfüllen:

• Wir suchen einen Data / Machine Learning Engineer (m/w/d) mit Interesse an Data Science Themen für unser Team, der*die sowohl neue Pipelines und Ingestions für unser Databricks Lakehouse baut, Analytics-Komponenten entwickelt und auch bestehende KI-Produkte für Use Cases skalierbar macht.
• Pipeline-Entwicklung: Konzeption, Aufbau und Wartung robuster ETL/ELT-Datenpipelines unter Nutzung von PySpark, SQL und Delta Lake
• Konfiguration und Tuning von Spark-Clustern und Orchestrierung von Workflows und Jobs mittels Databricks Workflows/Lakeflows
• Verwendung von Microsoft Azure Cloud Technologien (wie z.B. Azure Machine Learning, Azure SQL, Azure CosmosDB) und GitLab, um Datenprodukte mittels vollautomatisierter CI/CD Pipelines auszurollen
• Unterstützung bei der Entwicklung zentraler Python Bibliotheken und Komponenten mit Fokus und Weiterentwicklung der MLOps Prozesse
• Enge Zusammenarbeit mit Data Scientisten und Analysten, um Daten für KI-Anwendungen und Business Intelligence bereitzustellen

• Fundierte praktische Erfahrung mit der Databricks-Platform, insbesondere PySpark, Delta Lake und Spark SQL sowie exzellente Kenntnisse in Python
• Du verstehst, warum es eine schlechte Idee ist, den Docker Socket in einen Container zu mounten
• Du weißt, wie du Python code so refactorn kannst, dass er testbar und wartbar ist
• Du verstehst, welche Worte hier fehl am Platz sind: decorators, generators, simulators; composition over inheritance, golden ratio, dependency injection; bash, drive letters, linux file system; kubernetes, bare metal, Docker; outlier detection, CI/CD, linting; flask, fastapi, spring boot; Turtok, uv, ruff
• Du hast mehrjährige Berufserfahrung im Bereich Softwareentwicklung und/oder Data Engineering
• Deine Arbeitsweise ist geprägt von Partnerschaftlichkeit, Wertschätzung sowie Begeisterung und Teamgeist

Auch vielfältige Bildungshintergründe und Arbeitserfahrungen sind bei uns willkommen. Wir sind aufgeschlossen gegenüber Talenten, deren Lebenslauf auf den ersten Blick nicht hundertprozentig zu den Anforderungen in unserer Stellenanzeige passt. Wir bieten die passenden Rahmenbedingungen, ihre individuellen Potenziale vollumfänglich zu entfalten.

Union Investment ist bekannt für eine herausragende Expertise im Asset Management und damit eine der führenden Investmentfondsgesellschaften. Als Teil der Genossenschaftlichen FinanzGruppe bieten wir Privatpersonen sowie institutionellen Kunden seit 1956 zukunftssichere Anlagelösungen mit dem Ziel, das Vermögen unserer mehr als fünf Millionen Anleger*innen zu vermehren.

Unsere Kultur ist geprägt von einem hohen Leistungsanspruch und partnerschaftlichen Miteinander. Bei uns bringen alle Mitarbeitenden ihre eigene Geschichte mit. Es ist für uns selbstverständlich, ein Arbeitsumfeld zu schaffen, in dem Menschen mit unterschiedlichen Geschlechtern, aus verschiedenen Altersgruppen, mit körperlichen Beeinträchtigungen, unterschiedlichen sexuellen Orientierungen, sozialen und kulturellen Hintergründen, ethnischen Zugehörigkeiten und Religionen ganz sie selbst sein können. Wir schätzen diese Vielfalt und lassen daraus eine Gemeinschaft entstehen, zu der alle einen wertvollen Beitrag leisten.