Vos missions :

En tant que Data Engineer, vous jouerez un rôle clé dans la mise en place et l’optimisation des flux de données de l’entreprise. Vous interviendrez sur toutes les étapes, de l’ingestion à la mise à disposition des données pour les équipes métier et data :

Concevoir, développer et maintenir des pipelines de données fiables et performants
Intégrer et transformer des données issues de sources variées (bases SQL, API, ERP, CRM, fichiers plats…)
Utiliser des outils et frameworks modernes tels que Databricks, Apache Spark / PySpark ou équivalents
Déployer et administrer des solutions sur des environnements Cloud (Azure, AWS, GCP)
Orchestrer et automatiser les traitements avec Airflow, Azure Data Factory, Prefect ou autres outils similaires
Mettre en place des contrôles de qualité, cohérence et sécurité des données
Optimiser les performances des traitements et réduire les temps de calcul
Documenter les flux et assurer leur traçabilité
Collaborer avec les Data Analysts, Data Scientists et équipes métier pour fournir des datasets prêts à l’emploi
Participer à la veille technologique et proposer des améliorations à la stack data

Profil recherché :

Expérience en Data Engineering ou développement orienté données
Solides compétences en SQL et en programmation orienté données
Maîtrise d’au moins un outil ou framework de traitement de données (Spark, PySpark, Pandas, etc.)
Expérience avec un ou plusieurs environnements Cloud et leurs services data (Azure, AWS, GCP)
Connaissance des outils d’orchestration (Airflow, ADF, Luigi, Prefect…)
Sensibilité aux problématiques de qualité, sécurité et gouvernance des données
Capacité à travailler en équipe et à communiquer avec des profils techniques et métiers

13 offres d'emploi Pandas - France

Consultant Data Engineer