Cloud Data Engineer - Aws / Azure / Gcp (h/f)

Crée en 2022, WHIZE est une filiale du groupe Neurones spécialisée dans :
Le développement de solutions sur mesure en architecture Serverless (Azure, AWS, GCP)
Le déploiement de solutions décisionnelles grâce à notre offre Data Intelligence
Chez WHIZE, nos collaborateurs sont notre ressource la plus précieuse et sont la clé du succès de nos projets pour nos clients. Notre politique RH se caractérise par une écoute attentive, une bienveillance constante et un suivi personnalisé, mettant ainsi en avant nos valeurs essentielles.

Vos missions:

• Concevoir et développer des architectures Data Cloud robustes, scalables et sécurisées : Data Lake, Lakehouse, Data Warehouse.

• Concevoir, développer et industrialiser des pipelines de données batch et temps réel.

• Développer des flux d’ingestion, transformation et exposition des données à partir de sources variées : APIs, bases SQL/NoSQL, applications métiers, fichiers et systèmes externes.

• Développer des traitements distribués et performants avec Spark / PySpark.

• Exploiter les services managés AWS, Azure ou GCP adaptés aux besoins d’ingestion, stockage, traitement, orchestration et exposition des données.

• Mettre en place des mécanismes de data quality, contrôle, validation et monitoring des pipelines.

• Industrialiser les traitements et les déploiements à travers des pratiques CI/CD, Git et DevOps.

• Concevoir des solutions garantissant la sécurité, la gouvernance, la traçabilité et la fiabilité des données.

• Optimiser les performances des pipelines et la consommation des ressources Cloud dans une logique de scalabilité et de maîtrise des coûts.

Votre expertise:

• Expérience significative en Data Engineering / Data Platform.

• Maîtrise d’au moins un environnement Cloud : AWS, Azure ou GCP.

• Très bonne maîtrise de Python et SQL.

• Solide expérience en Spark et traitement de données à grande échelle.

• Expérience dans la conception de Data Lake / Lakehouse / Data Warehouse.

• Bonne connaissance des services Data Cloud, par exemple :

• AWS : Glue, S3, Redshift, Athena, Lambda, EMR, Step Functions.

• Azure : Data Factory, Data Lake Storage, Synapse, Functions.

• GCP : BigQuery, Cloud Storage, Dataflow, Dataproc, Pub/Sub.

• Expérience dans la conception et l’industrialisation de pipelines Data.

• Bonne maîtrise de Git, CI/CD et des pratiques DevOps.

• Sensibilité forte aux problématiques de sécurité, gouvernance et maintenabilité.

• Anglais professionnel selon les environnements.