Consultant Big Data - Hadoop / Spark (h/f)

Crée en 2022, WHIZE est une filiale du groupe Neurones spécialisée dans :
Le développement de solutions sur mesure en architecture Serverless (Azure, AWS, GCP)
Le déploiement de solutions décisionnelles grâce à notre offre Data Intelligence
Chez WHIZE, nos collaborateurs sont notre ressource la plus précieuse et sont la clé du succès de nos projets pour nos clients. Notre politique RH se caractérise par une écoute attentive, une bienveillance constante et un suivi personnalisé, mettant ainsi en avant nos valeurs essentielles.

Vos missions:

Mettre à disposition automatiquement des données dans la plateforme Big Data basée sur Hadoop et Spark

Automatiser les process data et les traitements distribués pour optimiser les flux d’ingestion et de transformation

Maintenir et optimiser les jobs existants (batch ou streaming) pour garantir performance, fiabilité et scalabilité

Faire évoluer le modèle de données afin de répondre aux besoins métiers et aux bonnes pratiques d’architecture Big Data

Monitorer l’ensemble des services de la plateforme : disponibilité, intégration, qualité des données, consommation des ressources

Participer aux travaux de migration ou d’évolution de la plateforme vers de nouvelles versions ou technologies associées

Tester et proposer de nouveaux outils ou frameworks permettant d’améliorer la performance, la sécurité et la gouvernance des données

Profil recherché :

Expérience sur des projets Big Data

Très bonne connaissance des architectures Hadoop et Spark (batch et/ou streaming)

Maîtrise de Java OU Scala pour le développement de traitements distribués

Solides compétences en SQL et en optimisation de requêtes

Connaissance d’un environnement Cloud (AWS, Azure ou GCP) et de ses services data

Idéalement, connaissance des outils d’Infrastructure as Code (Terraform ou Ansible)

Sensibilité aux problématiques de performance, sécurité et gouvernance des données

Capacité à travailler en équipe et à communiquer avec des interlocuteurs techniques et métiers