Job Vacancy Data Engineer Hadoop / PySpark
Ile-de-France
Atlanse
Share this job
En lien avec l’équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des évolutions du Data Lake. Vous interviendrez sur l’ingestion, la préparation et la transformation des données ainsi que sur l’évolution des pipelines.
Votre rôle
Ingestion et transformation des données
· Mettre en œuvre de nouvelles ingestions de données au sein du Data Lake
· Développer les traitements de préparation et de transformation des données
· Développer les traitements associés en Python, PySpark et Hive
Développement et évolution des pipelines
· Maintenir et faire évoluer les outils de gestion des pipelines de données
· Développer et maintenir les traitements en PySpark et les scripts Shell associés
· Analyser et résoudre les problématiques techniques sur le périmètre
Evolution de la plateforme Data
· Identifier les besoins d’évolution de la plateforme liés aux traitements et pipelines de données
· Formaliser et transmettre à l’équipe DevOps les demandes relatives aux évolutions de la plateforme
· Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre
Candidate profile
Compétences techniques :
· Excellente maîtrise de l’écosystème Hadoop
· Maîtrise du développement Python, PySpark et Hive
· Bonne connaissance de SQL et du scripting Shell sous Unix/Linux
· Bonne connaissance des outils Git, Jenkins et Jira
· Expérience dans des environnements Agile / Scrum
· Connaissance d’Indexima, Alteryx, Altair, GCP / BigQuery ou des bibliothèques Python orientées API appréciée
Qualités personnelles :
· Autonomie et capacité à prendre des initiatives
· Capacité d’analyse pour résoudre des problèmes complexes
· Rigueur et aptitude à rédiger des spécifications techniques claires et précises
· Bon relationnel et capacité à travailler en équipe
________
Type de contrat : CDI ou portage ATLANSE
Niveau d’expérience : 3 à 6 ans
Secteur : Banque
Localisation : Charenton Le Pont (94)
Langues : Français et anglais professionnels impératifs
________
Working environment
Pourquoi nous rejoindre ?
Rejoindre ATLANSE, c’est participer à une merveilleuse aventure dans une société à taille humaine, dynamique et en pleine croissance.
ATLANSE réunit des passionnés de nouvelles technologies qui partagent les mêmes valeurs que sont la diversité, le respect, la curiosité, la confiance, la passion et l’engagement.
ATLANSE favorise l’autonomie et la responsabilisation des collaborateurs pour créer les conditions nécessaires à l’expression du potentiel humain.
Apply to this job!
Find your next job from +9,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Hadoop / PySpark
Atlanse