Data Engineer (Databricks)

Ivy Partners est une société de conseil suisse qui accompagne les entreprises dans leurs défis stratégiques, technologiques et organisationnels.

Nous avons à cœur d’offrir à nos collaborateurs une carrière qui favorise leur épanouissement personnel et professionnel. Nous les accompagnons dans leur montée en compétences et leur ouvrons de réelles perspectives d’évolution.

En tant que Data Engineer (Databricks) chez Ivy Partners, vous serez amené(e) à :
- Étendre la couverture des ensembles de données de la plateforme DeltaFlow en intégrant de nouveaux ensembles en utilisant les modèles de configuration établis.
- Concevoir de nouveaux ensembles de données.
- Rédiger les configurations TOML spécifiques à chaque ensemble de données.
- Implémenter les fichiers de transformation SQL pour chaque ensemble de données.
- Valider les nouveaux ensembles de données selon le modèle de qualité/quarantaine.
- Déployer les changements à travers le pipeline CI/CD Azure DevOps existant (sans déploiement manuel).
- Vérifier les nouveaux ensembles de données selon les catégories du canevas DQ (complétude, unicité, validité, intégrité référentielle, cohérence inter-niveaux).
- Documenter chaque ensemble de données intégré conformément aux conventions d'inventaire existantes.

À propos de vous
- Vous avez une solide expérience pratique de Unity Catalog, Delta Lake, Change Data Feed de Databricks.
Vous êtes à l'aise pour rédiger et déboguer la logique des pipelines avec PySpark.
- Votre maîtrise de SQL est forte ; vous rédigerez directement la logique de transformation et les requêtes de validation.
- Vous savez travailler dans un pipeline CI/CD sur Azure DevOps existant, comprendre ses mécanismes et déboguer les échecs.
- Vous avez une connaissance fonctionnelle des données dans le domaine de la banque privée.
- Vous êtes capable de modéliser correctement un nouvel ensemble de données avant de rédiger la configuration TOML.
- L'expérience avec TOML ou d'autres modèles de pipeline configurables, ainsi qu'une exposition aux pipelines déclaratifs Kafka/Spark et une compréhension préalable des méthodologies de modélisation dimensionnelle (Kimball ou similaire) seraient des atouts.

Pourquoi rejoindre Ivy Partners ?

Bienveillance | Soucieux de nos employés, nous leur garantissons un environnement favorable où chacun est valorisé et soutenu avec des formations et de réelles perspectives d’évolution.

Confiance | Nous avons à cœur de bâtir des relations solides et durables avec nos clients. Travailler avec nous, c’est développer un partenariat fondé sur la confiance, le professionnalisme et la transparence à chaque instant.

Innovation | Nous allions technologie et créativité pour mener à bien des transformations numériques à fort impact.

Responsabilité | La collectivité est à la base de tout ce que nous entreprenons, et nous prenons cette responsabilité au sérieux en mettant tout en œuvre pour avoir un impact positif.