Mission freelance LEAD DATA ENGINEER H/F

Axone by Synapse, cabinet de conseil IT innovant, recherche pour l’un de ses clients pour une mission de longue durée un Lead Data Engineer H/F chargé de concevoir, développer et industrialiser des pipelines Big Data dans un environnement Azure et Databricks. Le rôle implique l’ingestion, le streaming, la mise en place de standards techniques et la participation active à une communauté de Tech Leads.

Objectif et livrable:

1. Concevoir et industrialiser des pipelines d’ingestion Big Data haute performance.

2. Mettre en place des standards de développement, bonnes pratiques et guidelines techniques.

3. Optimiser la performance, la fiabilité et la scalabilité des traitements Spark/Databricks.

4. Assurer l’intégration et l’orchestration des flux via NiFi, Kafka et Airflow.

5. Accompagner techniquement l’équipe et jouer un rôle de référent au sein de la communauté Tech Leads.

6. Produire une documentation claire, complète et pérenne couvrant architectures, patterns, et flux d’ingestion.

Compétences attendues:

• Spark (expert)

• Databricks

• Kafka

• NiFi

• Azure

• Airflow

• Ansible

• Scala/Java, Python, SQL

• CI/CD (Azure DevOps, Git)

N'hésitez pas à m'envoyer votre CV!!

(L’objectif est de pérenniser ce poste en interne, les pré-embauches sont fortement privilégiées.)