

Mission freelance Data Engineer Senior / Expert – Spark, AWS, dbt, Iceberg (H/F)
Nantes
AI&DATA
Partager cette offre
Contexte
Dans le cadre du renforcement de l’équipe Marketing Data au sein du pôle Data Fabric d'un acteur majeur du numérique et des mobilités, nous recherchons un consultant Data Engineer Senior / Expert capable d’intervenir de manière autonome sur la conception, l’industrialisation et l’exploitation de produits et pipelines Data. La mission s’inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN.
Missions principales
• Concevoir, développer et optimiser des pipelines de données.
• Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt.
• Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion.
• Orchestrer les traitements avec Airflow.
• Déployer et maintenir les traitements sur AWS et contribuer à l’Infrastructure as Code avec Terraform.
• Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d’observabilité.
• Participer au RUN, à l’analyse des incidents et au traitement des causes racines.
• Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog.
• Travailler avec les Product Owners et interlocuteurs métier pour traduire les besoins Marketing en solutions Data robustes et maintenables.
Livrables
• Pipelines Data développés, testés et industrialisés ; transformations Spark et modèles dbt ; workflows Airflow.
• Infrastructure Terraform nécessaire aux traitements.
• Tests automatisés, contrôles de Data Quality, monitoring et alerting.
• Documentation technique et fonctionnelle, documentation des modèles et règles métier.
• Contribution aux Data Contracts, lineage et métadonnées.
• Analyse et résolution des incidents, plans de remédiation.
• Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.
Modalités
• Lieu : Nantes – temps plein, 3 jours de télétravail par semaine
• Déplacements et astreintes : occasionnels
• Démarrage : dès que possible – fin estimée : 31/08/2027
Profil recherché
• 8 années minimum d’expérience en Data Engineering (profil Senior / Expert)
• Maîtrise avancée des architectures Big Data et Lakehouse
• Expertise réelle sur Spark, dbt, Apache Iceberg et services AWS (Glue, EMR, S3…)
• Connaissance de Trino / Starburst et Datadog
• Forte capacité d’analyse et de compréhension des enjeux métiers ; la connaissance du Marketing est appréciée
• Rigueur, autonomie et culture de l’amélioration continue
Compétences clés
Obligatoire : Développement Spark, AWS, Python, Big Data, outils de modélisation data, collecte de données
Important : dbt, Starburst
Intéressant : Data Catalog
Environnement de travail
Environnement Lakehouse AWS (architecture Medallion) au sein de l'équipe Marketing Data du pôle Data Fabric.
Stack : Spark / PySpark, Python, SQL, dbt, Apache Iceberg, Airflow, Terraform, AWS (Glue, EMR, S3), Trino / Starburst, Datadog, Data Catalog.
Collaboration étroite avec les Product Owners et les interlocuteurs métier Marketing.
Mission à Nantes, temps plein, 3 jours de télétravail par semaine ; déplacements et astreintes occasionnels.
Découvrir AI&DATA
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Senior / Expert – Spark, AWS, dbt, Iceberg (H/F)
AI&DATA