Développeur De Big Data (h/f)

Spécialistes en conception et développement de solutions industrielles sur mesure, applicatifs métiers et moteurs de règles, intégrant de l’IA. Nous accompagnons entres autres les acteurs de l’industrie, du ferroviaire, du transport, de l’énergie et de la finance dans leurs projets applicatifs métiers.
Forts de notre certification ISO 9001:2015, nos experts interviennent en régie ou au forfait, avec un engagement clé : la satisfaction de nos clients.

MISSION

Dans le cadre d’un programme stratégique autour d’une plateforme Big Data basée sur l’écosystème Hadoop, nous recherchons un(e) Développeur(se) Data Senior afin d’accompagner les évolutions et la maintenance d’un Data Lake en environnement de production à fortes exigences.

L’objectif de la mission est de réaliser et maintenir les développements nécessaires à l’alimentation de la plateforme Hadoop, à la mise en place d’extractions de données et à l’accompagnement des utilisateurs.

Rattaché(e) au responsable Big Data, vous aurez pour principales missions :

• Prendre en charge les évolutions des flux de données à intégrer et faire évoluer les développements d’alimentation du Data Lake

• Développer et maintenir des traitements d’alimentation (Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)

• Mettre en place des extractions de données complexes (SQL expert) et automatiser les traitements via scripting Shell avancé

• Développer et optimiser des traitements Spark

• Assurer le support niveau 2

• Réaliser des revues de code et fournir des requêtes de référence

• Accompagner et encadrer des profils juniors (alternants/stagiaires)

• Structurer et piloter l’activité via des outils de suivi (JIRA)

• Mettre en place et formaliser des processus (guides utilisateurs, documentation, accompagnement)

• Investiguer et faire du reverse engineering dans une architecture héritée complexe

• Optimiser les performances et garantir la maintenabilité et l’exploitabilité de la plateforme

• Garantir le respect des délais dans un contexte de production exigeant

• Veiller au respect des modèles de données référencés et contribuer à leur évolution en collaboration avec les parties prenantes techniques et la gouvernance data

Vous interviendrez dans un environnement nécessitant diplomatie, pédagogie et capacité à communiquer avec des interlocuteurs variés (développeurs, équipes études, qualification, utilisateurs métiers).

Livrables attendus

• Code source documenté

• Plan de tests / fiches de test

• Bilan de réalisation

• Bordereau de livraison

• Manuel d’installation

• Dossier d’exploitation

• Documentation JIRA

Environnement technique

• Cloudera Hadoop

• Hive, Impala

• Python

• SQL

• Shell

• Spark

• VBA

• Git

• Jupyter

• Linux

• JIRA

VOTRE PROFI

LDe formation Bac+5 (ingénieur ou équivalent), vous justifiez d’au moins 5 ans d’expérience en développement Data dans des environnements Big Data complexes

Vous possédez une forte expertise technique et êtes capable d’évoluer en autonomie complète dans des contextes multi-plateformes

CE QUE VOUS NOUS APPORTEZ

Maîtrise avancée de:

Hadoop Cloudera, Hive, Impala

Python, nSQL (niveau expert)

Shell

scripting avancé

Spark

Linux

Git

VBA

Bonne pratique des méthodes agiles (Kanban et/ou Scrum)

Capacité à structurer et piloter l’activité

Aptitude au reverse engineering et à l’analyse d’architectures complexes

Compétence en optimisation de traitements et performance Big Data

Excellente capacité à traduire des besoins fonctionnels en solutions techniquesLeadership technique et accompagnement de profils juniors

Capacité à documenter, formaliser et transmettre le savoirTrès bonnes compétences en communication et pédagogie

Maîtrise de l’anglais professionnel

Connaissances appréciées:

Jupyter, Power BISAS

Connaissance de l’écosystème de la protection sociale (retraite complémentaire idéalement)