Job Vacancy Data Engineer Senior Big Data / Spark – Cloudera (H/F)
Vannes (56)
Argain Consulting Innovation
Share this job
Contexte de la mission
Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs.
Vos missions
Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet.
Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées.
Concevoir et développer des pipelines Data et des traitements ETL.
Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources.
Automatiser et orchestrer les flux de données batch et streaming.
Mettre en place les tests unitaires et automatisés.
Déployer les solutions sur les différents environnements.
Assurer le support de production, le suivi des incidents et l'amélioration continue des performances.
Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code.
Environnement technique
Big Data : Hadoop Cloudera
Traitement de données : Spark (Batch et Streaming)
Langages : SQL, xDI
Bases de données SQL : Teradata, Hive, Phoenix
Bases NoSQL : HBase, MongoDB
DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release
Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana
Méthodologie : Agile / Scrum
Candidate profile
Minimum 5 ans d'expérience en Data Engineering.
Excellente maîtrise de Spark (batch et streaming).
Solides compétences SQL.
Bonne connaissance des environnements Hadoop/Cloudera.
Expérience des architectures Big Data et des problématiques d'ingestion de données.
Connaissance des outils DevOps et de monitoring.
Sensibilité aux enjeux de gouvernance de la donnée :
RGPD
Data lineage
Catalogage des données
Working environment
Argain Consulting Innovation est une marque forte spécialisée en performance des projets, des organisations et valorisation de la donnée au sein de l'écosystème Alan Allman Associates implantée à Paris, Nantes, Lyon, Niort.
Nous mettons un point d'honneur à maintenir le lien avec chacun de nos talents et mettons tout en œuvre pour développer et entretenir un fort sentiment d'appartenance.
Nous rejoindre, c’est intégrer une équipe à taille humaine dont l’humain est l’épicentre, un cabinet où autonomie, confiance et partage sont des principes forts.
Apply to this job!
Find your next career move from +9,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Senior Big Data / Spark – Cloudera (H/F)
Argain Consulting Innovation