
Data Engineer Databricks (h/f)
Posted 2 days ago
Company Description
View moreJob Description
Missions principales
Développement De Dataflows Sur Databricks
Concevoir, développer et optimiser des pipelines de données sur Databricks (Batch & Streaming).
Manipuler des données à grande échelle via PySpark ou Scala.
Implémenter des transformations avancées et garantir la qualité, la robustesse et la performance des traitements.
Industrialisation & Bonnes Pratiques
Mettre en œuvre les standards du Delta Lake, du Data Lakehouse et des architectures cloud.
Développer dans une logique DataOps : CI/CD, automatisation, tests, versionning.
S’assurer du respect des bonnes pratiques en sécurité, gouvernance et optimisation des coûts.
Participation aux projets dans des contextes variés
Intervenir dans des contextes métiers multiples : finance, industrie, retail, mobilité, énergie…
Adapter les patterns de développement aux contraintes spécifiques (volumétrie, temps réel, SLA…).
Travailler en collaboration avec Data Architects, Data Analysts, Data Scientists et équipes Cloud.
Expertise & accompagnement
Apporter un rôle de référent technique auprès des équipes de développement.
Participer à l’amélioration continue : documentation, partage de bonnes pratiques, guidelines, accélérateurs internes.
Contribuer aux études de cadrage, aux choix technologiques et aux prototypes/POC.
Certifications Databricks souhaitées.
Qualifications
Compétences techniques indispensables
Maîtrise avancée de Databricks (Workspaces, Jobs/Workflows, Delta Lake, Unity Catalog).
Excellente pratique de PySpark et/ou Scala dans un contexte Big Data distribué.
Solides compétences en traitements distribués, optimisation Spark et gestion de la performance.
Connaissance d’un Cloud majeur : Azure (prioritaire), AWS ou GCP.
Maîtrise des outils et pratiques CI/CD (Azure DevOps, GitHub Actions, Jenkins…).
Connaissance de Terraform ou équivalent (un plus).
Votre profil
Minimum 7 ans d’expérience en Data Engineering.
Expériences significatives dans plusieurs contextes projets, montrant votre capacité à vous adapter et à industrialiser des pipelines complexes.
Expérience démontrée sur la mise en place de dataflows Databricks (batch & streaming).
Anglais courant.
Benefits
- Télétravail possible
- Ticket restaurent
- Transport est pris en charge
