Mission freelance Data Engineer Azure / Databricks (Python / PySpark)
Paris (75)
WINSIDE Technology
Partager cette offre
Équipe : 4 Data Engineers, dont un Lead Data Engineer
Environnement : Azure, Databricks, PySpark, Python, SQL
Projet : Quantum – Développement d’un produit de données à destination des actuaires
Contexte du projet
Dans le cadre du projet Quantum, nous recherchons un Data Engineer spécialisé en environnement Azure et Databricks, pour participer à la conception et à l’évolution d’un produit de données destiné aux actuaires, notamment pour l’entraînement de modèles de tarification.
Intégré à une équipe de 4 Data Engineers, vous interviendrez sur l’ensemble du cycle de vie des données, de leur ingestion à leur transformation, en veillant à la qualité, à la fiabilité et à la performance des traitements.
Vous travaillerez en étroite collaboration avec le Lead Data Engineer, les équipes métier et les Product Owners, dans un environnement Agile et multiculturel entre la France et la Pologne.
Vos missions1. Concevoir et développer les pipelines de données
Concevoir et développer des pipelines de traitement de données avec Python et PySpark.
Mettre en œuvre les flux de données sur Azure Databricks et Azure Data Factory.
Participer à la modélisation des données et à la mise en place d’une architecture Lakehouse selon une approche médaillon.
Définir les stratégies d’alimentation adaptées : chargements complets, incrémentaux, reprises et gestion des données.
Garantir la fiabilité, la qualité et la performance des traitements.
2. Contribuer aux choix techniques et à l’optimisation
Proposer des solutions techniques adaptées aux besoins métier, en coordination avec le Lead Data Engineer.
Optimiser les traitements PySpark et SQL afin d’améliorer les performances.
Prendre en compte les enjeux de consommation des ressources cloud et de maîtrise des coûts (FinOps).
Appliquer les standards de développement et les bonnes pratiques de conception.
3. Participer au développement en mode Agile
Participer aux ateliers métier pour comprendre et préciser les besoins.
Analyser et enrichir les User Stories en collaboration avec les Product Owners.
Développer des solutions conformes aux spéc
Profil recherché
Nous recherchons un Data Engineer disposant d’une solide expérience en développement de pipelines de données, maîtrisant Python, PySpark et l’écosystème Azure Databricks.
Vous êtes capable de travailler de manière autonome sur vos développements, de proposer des solutions techniques pertinentes et de collaborer efficacement avec un Lead Data Engineer et des interlocuteurs métier.
Compétences techniques indispensablesPython et PySpark : maîtrise du développement et de la transformation de données.
Azure Databricks : développement et exécution de traitements distribués.
Azure Data Factory : orchestration et alimentation des pipelines.
ADLS : stockage et gestion des données dans l’environnement Azure.
SQL : manipulation, transformation et optimisation des données.
Architecture de données : compréhension des architectures Lakehouse et des modèles de données.
Scala.
Azure DevOps, Git et CI/CD.
Tests unitaires, industrialisation et documentation du code.
Optimisation des performances Spark et maîtrise des coûts cloud.
Expérience du maintien en conditions opérationnelles de pipelines de données.
Environnement de travail
Nous recherchons un Data Engineer disposant d’une solide expérience en développement de pipelines de données, maîtrisant Python, PySpark et l’écosystème Azure Databricks.
Vous êtes capable de travailler de manière autonome sur vos développements, de proposer des solutions techniques pertinentes et de collaborer efficacement avec un Lead Data Engineer et des interlocuteurs métier.
Compétences techniques indispensablesPython et PySpark : maîtrise du développement et de la transformation de données.
Azure Databricks : développement et exécution de traitements distribués.
Azure Data Factory : orchestration et alimentation des pipelines.
ADLS : stockage et gestion des données dans l’environnement Azure.
SQL : manipulation, transformation et optimisation des données.
Architecture de données : compréhension des architectures Lakehouse et des modèles de données.
Scala.
Azure DevOps, Git et CI/CD.
Tests unitaires, industrialisation et documentation du code.
Optimisation des performances Spark et maîtrise des coûts cloud.
Expérience du maintien en conditions opérationnelles de pipelines de données.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Azure / Databricks (Python / PySpark)
WINSIDE Technology