Consultant Big Data / Pyspark (h/f)

Crée en 2022, WHIZE est une filiale du groupe Neurones spécialisée dans :
Le développement de solutions sur mesure en architecture Serverless (Azure, AWS, GCP)
Le déploiement de solutions décisionnelles grâce à notre offre Data Intelligence
Chez WHIZE, nos collaborateurs sont notre ressource la plus précieuse et sont la clé du succès de nos projets pour nos clients. Notre politique RH se caractérise par une écoute attentive, une bienveillance constante et un suivi personnalisé, mettant ainsi en avant nos valeurs essentielles.

Vos missions:

Mettre à disposition automatiquement des données dans la plateforme Big Data en exploitant PySpark pour le traitement distribué

Automatiser les process data (batch et/ou streaming) afin d’optimiser les flux d’ingestion, de transformation et de restitution

Maintenir et optimiser les traitements existants pour garantir performance, fiabilité et scalabilité

Faire évoluer le modèle de données afin de répondre aux besoins métiers et aux bonnes pratiques d’architecture Big Data

Monitorer l’ensemble des services de la plateforme : disponibilité, intégration, qualité des données, consommation des ressources

Participer aux travaux de migration ou d’évolution de la plateforme vers de nouvelles versions ou technologies associées

Tester et proposer de nouveaux outils ou frameworks permettant d’améliorer la performance, la sécurité et la gouvernance des données

Profil recherché :

Expérience sur des projets Big Data

Maîtrise de PySpark pour le développement de traitements distribués

Solides compétences en Python et SQL

Connaissance des concepts et architectures Big Data (Hadoop, Spark)

Capacité à optimiser les performances des traitements et à assurer la qualité des données

Bon esprit d’équipe et aisance dans la communication avec des interlocuteurs techniques et métiers