Le poste Senior Data Engineer Big Data
Partager cette offre
Dans le cadre de son plan de transformation Data, un grand groupe média poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing.
Pour répondre à cet enjeu, ce groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle.
La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel.
Les cas d'usage couverts sont variés, parmi lesquels :
IA pour recommandation des programmes et des offres
Plateforme agentique customer-facing
Gender Equality Monitoring
Feature Store
Modernisation des flux financiers
Content Platform
Mise en place Kubernetes
Plateforme pour le traitement des données CRM et usage
Partager des informations sur les clients à des partenaires
Piloter plus efficacement l'activité des marchés professionnels
Mettre à disposition des applications de data-selfservice
Le consultant aura pour mission de réaliser des développements avancés sur le socle des données Big Data pour la mise en place des usecases IA. Cet environnement Big Data, fortement orienté Streaming et IA, traite quotidiennement plus de 100 To de données.
Le consultant doit maîtriser les architectures de Streaming Data, AWS (notamment Lambda, Batch, Step Function, EMR Serverless, Kinesis Stream, S3, Firehose, DynamoDB, etc.), Airflow, Scala, Spark, SQL, Snowflake, GitLab CI/CD, Terraform.
MissionsConcevoir et développer des pipelines de données performants
Développer en utilisant des outils tels que Scala, DBT et Spark
Implémenter des architectures de Streaming Data robustes
Contribuer activement aux initiatives FinOps
Développer et optimiser des traitements d'intégration de données en streaming
Participer activement à l'évolution continue de la plateforme IA
Profil recherché
AWS (Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB)
Scala, Spark, Python
Snowflake, DBT
Airflow
GitLab CI/CD
Terraform
Méthodes Agiles (Scrum, Kanban)
Durée : longue durée
Début : ASAP
Environnement de travail combinant rigueur et ambiance décontractée au sein des équipes
Rejoignez une équipe dynamique où innovation et expertise se rencontrent !
Environnement de travail
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit, le développement et la data.
Dans le cadre de nos projets clients, nous recherchons un Senior Data Engineer Big Data
Postulez à cette offre !
Trouvez votre prochaine mission parmi +10 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Senior Data Engineer Big Data
VISIAN