Mission freelance Data Engineer / Développeur Data (Azure / Spark / Observabilité) H/F

Contexte de la mission

Vous intégrerez une équipe data transverse au sein d’un grand groupe international du secteur du luxe et de la cosmétique, actuellement en pleine modernisation de sa plateforme data.

L’objectif : industrialiser et fiabiliser la chaîne de traitement des données dans un environnement cloud Azure, tout en renforçant les volets observabilité, performance et qualité.

L’équipe (8 à 10 personnes) est composée de data engineers, data analysts, product owners et DevOps.

Le cadre de travail est international, agile et collaboratif, avec une forte culture de la qualité, de la rigueur technique et du partage de connaissances.

Missions principales

• Concevoir, développer et maintenir des pipelines data robustes et scalables sous Azure Databricks et PySpark.

• Participer à la refonte du Data Lake / Lakehouse (Delta Lake – architecture medaillon : bronze, silver, gold).

• Mettre en place des mécanismes d’observabilité pour suivre la performance, la fiabilité et la qualité des données : logs, métriques, alertes, dashboards.

• Automatiser et industrialiser les déploiements via CI/CD (GitHub Actions ou Azure DevOps).

• Collaborer avec les équipes produit et data science pour assurer la cohérence fonctionnelle et technique des flux.

• Améliorer la data quality et la traçabilité (lineage, monitoring, règles de validation).

• Participer aux revues de code, à la documentation technique et à la diffusion des bonnes pratiques.

Environnement technique

• Cloud : Azure (Data Lake, Data Factory, Databricks, Synapse, Functions, Event Hub, DevOps)

• Langages : Python, PySpark, SQL (et idéalement Scala)

• Orchestration / ETL : Airflow, ADF, Spark Structured Streaming

• Observabilité : Grafana, ELK Stack (Elasticsearch / Logstash / Kibana), Azure Log Analytics

• Data Lakehouse : Delta Lake, Unity Catalog, Medallion Architecture

• CI/CD & DevOps : GitHub Actions / Azure DevOps, Terraform, Docker, Kubernetes