Share this job
Dans le cadre d’un projet stratégique autour de la valorisation des données monétiques, nous recherchons un Data Engineer Senior / Expert pour participer à la conception, au développement et à l’industrialisation de pipelines de données sur Google Cloud Platform (GCP). La mission consiste à assurer l’ingestion, la validation, le croisement, l’enrichissement et le stockage de données issues de sources multiples au sein d’un Data Lake, ainsi qu’à automatiser la production d’agrégats journaliers, hebdomadaires et mensuels. Le consultant interviendra sur le développement et l’optimisation des traitements Big Data, la mise en place des chaînes CI/CD, l’automatisation des tests fonctionnels, la production des scripts de déploiement et la résolution des anomalies. Il contribuera également à la documentation technique, au maintien en conditions opérationnelles des solutions et à l’accompagnement des équipes d’exploitation, dans un environnement Cloud et Big Data exigeant, en collaboration avec les équipes techniques, les Product Owners et les chefs de projet, selon les méthodologies Agile Scrum et Kanban.
Candidate profile
Nous recherchons un Data Engineer Senior / Expert justifiant de plus de 9 ans d’expérience, disposant d’une solide expertise dans la conception, le développement et l’industrialisation de solutions Big Data et Cloud. Une maîtrise de Google Cloud Platform (GCP) est indispensable, ainsi qu’une excellente connaissance des environnements GKE, des solutions de stockage HDFS et GCS et des technologies de traitement de données Spark, Kafka et Scala. Le candidat devra maîtriser les outils d’orchestration Airflow / Cloud Composer, les bases de données et entrepôts de données SQL, BigQuery et BigTable, ainsi que les outils DevOps et CI/CD tels que Git, Ansible, Docker, Terraform, Jenkins et Cloud Build. Une expérience confirmée dans la conception de pipelines de données, l'automatisation des traitements, l'optimisation des performances et le maintien en conditions opérationnelles est attendue. Une bonne maîtrise des méthodologies Agile Scrum et Kanban, un excellent esprit d’équipe, de solides capacités d’analyse, de communication et de résolution de problèmes ainsi qu’une aptitude à travailler dans des environnements techniques complexes sont essentiels pour réussir cette mission.
Working environment
Intervention au sein d’une équipe technique évoluant en environnement Agile (Scrum / Kanban), en collaboration avec les Product Owners, chefs de projet, développeurs et équipes d’exploitation. Les modalités de télétravail restent à confirmer.
Environnement technique : Google Cloud Platform (GCP), GKE, GCS, HDFS, Spark, Kafka, Scala, Airflow, Cloud Composer, SQL, BigQuery, BigTable, Git, Ansible, Docker, Terraform, Jenkins et Cloud Build.
Discover Deodis
Apply to this job!
Find your next career move from +10,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer GCP Senior / Expert
Deodis