Data Engineer Databricks (h/f)

Talan est un groupe international de conseil et d’expertises technologiques qui accélère la transformation de ses clients par les leviers de la technologie, de la data, et de l’innovation.
Depuis plus de 20 ans, Talan conseille et accompagne les entreprises et les institutions publiques dans la mise en œuvre de leurs projets de transformation et d'innovation en France et à l'international.
Présent sur 5 continents dans 21 pays, le Groupe, certifié Great Place To Work, qui compte plus de 7000 collaborateurs, ambitionne de réaliser un chiffre d'affaires d’un milliard d'euros fin 2025.

Nous sommes à la recherche d’un Big Data Engineer Databricks Sénior qui sera en charge de l’intégration des données : acquisition, préparation, modélisation et stockage, exposition, . Vous devrez faire preuve d’un état d’esprit à la fois innovant, méthodique, orienté solution (et non problème !), et communiquant.

Responsabilités

• Manager des Big Data Engineer et Cloud Engineer

• Coacher techniquement les membres de l’équipe : solution et code review sur site, recommandation sur les formations à suivre, certifications à réaliser, …

• Analyse des besoins techniques métiers, définition de l’architecture solution et logiciel, référent technique, développement et optimisation, code review, maintenir les pratiques Devops “You build IT, You run IT”, support à recette et mise en production, documentation, et parfois assumer le rôle de Scrum Master,…

• Benchmark de solutions et conseil auprès de notre client sur les solutions technologiques à adopter, en lien avec leurs besoins

• Partage de connaissances et formations interne

Profil:

• Issu(e) d’une formation supérieure (école d’ingénieur, master,…)

• Vous disposez d’au moins 4 années d’expérience dans le domaine du Big Data (et particulièrement sur le framework Spark), et au moins 6 années d’expérience dans le développement logiciel

• Vous maîtrisez le développement logiciel (Scala, Python …), et vous disposez de solides expériences dans la mise en place de pipelines de données

• Vous maîtrisez le Framework Spark (idéalement sur Databricks) et son optimisation

• Expérience sur une plateforme Cloud serait un plus et idéalement AWS

• Expérience sur des flux temps réel serait un plus : Kafka + Spark Streaming

• Vous maîtrisez les bases de données SQL et le langage SQL

• Vous avez de l'expérience sur les méthodes de stockage : HDFS, S3,,…

• Vous avez de bonnes connaissances en devOps : Jenkins, Gitlab, Maven, …

• La connaissance des concepts suivants serait un + :  DataOps, DataVault, DataMesh..

• Connaissance de l’Agilité

• Autonome

• Organisé(e)

• Sens du partage

• Bonne communication

• Orientation produit et solution