Contractor job Data Engineer Azure / Databricks (Python / PySpark)
Paris
WINSIDE Technology
Share this job
Équipe : 4 Data Engineers, dont un Lead Data Engineer
Environnement : Azure, Databricks, PySpark, Python, SQL
Projet : Quantum – Développement d’un produit de données à destination des actuaires
Contexte du projet
Dans le cadre du projet Quantum, nous recherchons un Data Engineer spécialisé en environnement Azure et Databricks, pour participer à la conception et à l’évolution d’un produit de données destiné aux actuaires, notamment pour l’entraînement de modèles de tarification.
Intégré à une équipe de 4 Data Engineers, vous interviendrez sur l’ensemble du cycle de vie des données, de leur ingestion à leur transformation, en veillant à la qualité, à la fiabilité et à la performance des traitements.
Vous travaillerez en étroite collaboration avec le Lead Data Engineer, les équipes métier et les Product Owners, dans un environnement Agile et multiculturel entre la France et la Pologne.
Vos missions1. Concevoir et développer les pipelines de données
Concevoir et développer des pipelines de traitement de données avec Python et PySpark.
Mettre en œuvre les flux de données sur Azure Databricks et Azure Data Factory.
Participer à la modélisation des données et à la mise en place d’une architecture Lakehouse selon une approche médaillon.
Définir les stratégies d’alimentation adaptées : chargements complets, incrémentaux, reprises et gestion des données.
Garantir la fiabilité, la qualité et la performance des traitements.
2. Contribuer aux choix techniques et à l’optimisation
Proposer des solutions techniques adaptées aux besoins métier, en coordination avec le Lead Data Engineer.
Optimiser les traitements PySpark et SQL afin d’améliorer les performances.
Prendre en compte les enjeux de consommation des ressources cloud et de maîtrise des coûts (FinOps).
Appliquer les standards de développement et les bonnes pratiques de conception.
3. Participer au développement en mode Agile
Participer aux ateliers métier pour comprendre et préciser les besoins.
Analyser et enrichir les User Stories en collaboration avec les Product Owners.
Développer des solutions conformes aux spéc
Candidate profile
Nous recherchons un Data Engineer disposant d’une solide expérience en développement de pipelines de données, maîtrisant Python, PySpark et l’écosystème Azure Databricks.
Vous êtes capable de travailler de manière autonome sur vos développements, de proposer des solutions techniques pertinentes et de collaborer efficacement avec un Lead Data Engineer et des interlocuteurs métier.
Compétences techniques indispensablesPython et PySpark : maîtrise du développement et de la transformation de données.
Azure Databricks : développement et exécution de traitements distribués.
Azure Data Factory : orchestration et alimentation des pipelines.
ADLS : stockage et gestion des données dans l’environnement Azure.
SQL : manipulation, transformation et optimisation des données.
Architecture de données : compréhension des architectures Lakehouse et des modèles de données.
Scala.
Azure DevOps, Git et CI/CD.
Tests unitaires, industrialisation et documentation du code.
Optimisation des performances Spark et maîtrise des coûts cloud.
Expérience du maintien en conditions opérationnelles de pipelines de données.
Working environment
Nous recherchons un Data Engineer disposant d’une solide expérience en développement de pipelines de données, maîtrisant Python, PySpark et l’écosystème Azure Databricks.
Vous êtes capable de travailler de manière autonome sur vos développements, de proposer des solutions techniques pertinentes et de collaborer efficacement avec un Lead Data Engineer et des interlocuteurs métier.
Compétences techniques indispensablesPython et PySpark : maîtrise du développement et de la transformation de données.
Azure Databricks : développement et exécution de traitements distribués.
Azure Data Factory : orchestration et alimentation des pipelines.
ADLS : stockage et gestion des données dans l’environnement Azure.
SQL : manipulation, transformation et optimisation des données.
Architecture de données : compréhension des architectures Lakehouse et des modèles de données.
Scala.
Azure DevOps, Git et CI/CD.
Tests unitaires, industrialisation et documentation du code.
Optimisation des performances Spark et maîtrise des coûts cloud.
Expérience du maintien en conditions opérationnelles de pipelines de données.
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Azure / Databricks (Python / PySpark)
WINSIDE Technology