Job position Data Engineer Pyspark/Dagster
Share this job
Bonjour,
Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/Dagster
Mission:
Architecture : Définition de l’organisation du Lakehouse dans le S3
Chargement : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python
Ordonnancement : Remplacement du DAC de OBIEE par Dagster
Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont :
- Description des fonctionnements existants et des besoins couverts,
- Développement d’une solution de collecte de données,
- Développement d’un système de stockage de la donnée,
- Réalisation de tests unitaires,
- Mise en place d’un suivi des traitements,
- Assistance à la recette par la MOA / les utilisateurs.
Si vous êtes actuellement à l'écoute du marché, n'hésitez pas à m'envoyer votre candidature.
Bien à vous,
Nadia
Candidate profile
Data Engineer avec une bonne maîtrise des outils suivants:
- Langages de programmation : Python, Spark, Pyspark, SQL,
- Outil de gestion de version : Git,
- Intégration continue : JENKINS,
- Ticketing : JIRA,
- Documentation : Confluence,
- Poste de travail Windows 10 avec WSL (Windows Subsystem for Linux),
- Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19,
- Outils de la plateforme cible : Dagster, Superset, Trino, S3.
Working environment
Visian est une société de conseil en informatique spécialisée autour de la conception produit et la data avec plusieurs clients CAC40 notamment des secteurs BFA.
Apply to this job!
Find your next career move from +1,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer Pyspark/Dagster
VISIAN
