Consultant Databricks (h/f)

Crée en 2022, WHIZE est une filiale du groupe Neurones spécialisée dans :
Le développement de solutions sur mesure en architecture Serverless (Azure, AWS, GCP)
Le déploiement de solutions décisionnelles grâce à notre offre Data Intelligence
Chez WHIZE, nos collaborateurs sont notre ressource la plus précieuse et sont la clé du succès de nos projets pour nos clients. Notre politique RH se caractérise par une écoute attentive, une bienveillance constante et un suivi personnalisé, mettant ainsi en avant nos valeurs essentielles.

Vos missions :

Mettre à disposition automatiquement des données dans la plateforme Databricks en exploitant les fonctionnalités de Delta Lake et des pipelines distribués

Automatiser les process data via Databricks Workflows ou des orchestrateurs externes (Airflow, AWS Step Functions, etc.)

Maintenir, optimiser et superviser les traitements existants (jobs PySpark, Spark SQL) pour garantir performance et fiabilité

Faire évoluer le modèle de données afin de répondre aux besoins métiers et aux bonnes pratiques d’architecture Data Lakehouse

Monitorer l’ensemble des services de la plateforme : disponibilité, intégration, qualité des données, consommation des ressources et coûts

Participer aux travaux de migration et d’évolution de la plateforme vers les dernières versions et fonctionnalités Databricks

Tester, évaluer et proposer de nouveaux outils ou services (Databricks ML, Unity Catalog, outils de gouvernance) pour améliorer la performance et la sécurité de la plateforme

Profil recherché :

Expérience en Data Engineering ou projets Big Data

Très bonne connaissance des architectures Big Data et maîtrise de Databricks (Data Engineering, Delta Lake, optimisation de jobs)

Maîtrise de Python, Spark et SQL avancé

Idéalement, connaissance des outils d’Infrastructure as Code (Terraform ou Ansible)

Sensibilité aux problématiques de performance, sécurité et gouvernance des données

Capacité à travailler en équipe et à communiquer avec des interlocuteurs techniques et métiers