Senior Data Engineer Databricks (h/f)

Devoteam is a leading provider of Premium Microsoft Cloud Consulting and Managed services in EMEA. Our 1200+ Microsoft Experts cover all Microsoft Solutions Areas with more than 18 Specializations including the unique Azure Expert MSP label. With our unique Cloud Enabler framework, we offer a uniquely structured and agile approach to cloud transformation resulting in a 3x faster delivery.

Devoteam is a tech consulting firm specialised in cloud, cybersecurity, data, and sustainability. Tech Native for over 25 years, Devoteam guides
businesses through sustainable digital transformation to unlock their full potential. With over 10,000 employees in more than 25 countries across Europe, the Middle East, and Africa, Devoteam is committed to putting technology at the service of people.

Data Driven a pour ambition d’aider ses clients à transformer la valeur de leurs données en succès durable. Nous tirons parti à la fois de notre expertise sur les plateformes technologiques les plus innovantes et de notre connaissance métier avec la meilleure combinaison d’experts pour accompagner nos clients dans leur quête d’agilité, de compétitivité et de croissance durable.

Rejoignez notre équipe lyonnaise dans des projets innovants, dans un environnement propice à la formation et au développement continu. Nos clients sont des grands comptes de secteurs d'activité variés (Industrie, Transport, Logistique, Banque, Assurance, Energie...). 

Vos missions : 

• Concevoir et construire des pipelines de données robustes sur Databricks, en utilisant PySpark et Spark SQL.

• Recueillir les besoins, participer aux ateliers de conception et optimiser les flux de données.

• Assurer la qualité du code et des données à travers des tests techniques, des revues de code et la gestion des anomalies.

• Contribuer à l'amélioration continue des processus par l'automatisation et l'application des bonnes pratiques.

• Participer activement aux cérémonies agiles et maintenir une veille technologique constante.

Nous recherchons un(e) Data Engineer doté(e) d'excellentes compétences techniques et d’une bonne capacité à communiquer et à vulgariser des sujets complexes. Vous êtes reconnu(e) pour votre esprit d'équipe, votre rigueur et votre capacité à travailler en méthode Agile (Scrum). Un niveau d’anglais minimum B2 est attendu.

Compétences techniques et outils :

• Maîtrise de Databricks, PySpark, Python et SQL.

• Compétences Cloud (AWS, Azure ou GCP).

• Connaissance des environnements CI/CD et DevOps.

• Expérience en orchestration avec Airflow ou Azure Data Factory.

• Connaissance des modèles de données et des technologies Spark et Scala est un plus.

• La certification Databricks Associate ou Professionnal est appréciée.