Le poste Data Engineer Pyspark/Dagster
Partager cette offre
Bonjour,
Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/Dagster
Mission:
Architecture : Définition de l’organisation du Lakehouse dans le S3
Chargement : Remplacement des pipelines Informatica par des pipelines spark, pyspark et python
Ordonnancement : Remplacement du DAC de OBIEE par Dagster
Restitution : Création de rapports sur Apache SuperSet sur la base du LakeHouse Les principales missions à mener sont :
- Description des fonctionnements existants et des besoins couverts,
- Développement d’une solution de collecte de données,
- Développement d’un système de stockage de la donnée,
- Réalisation de tests unitaires,
- Mise en place d’un suivi des traitements,
- Assistance à la recette par la MOA / les utilisateurs.
Si vous êtes actuellement à l'écoute du marché, n'hésitez pas à m'envoyer votre candidature.
Bien à vous,
Nadia
Profil recherché
Data Engineer avec une bonne maîtrise des outils suivants:
- Langages de programmation : Python, Spark, Pyspark, SQL,
- Outil de gestion de version : Git,
- Intégration continue : JENKINS,
- Ticketing : JIRA,
- Documentation : Confluence,
- Poste de travail Windows 10 avec WSL (Windows Subsystem for Linux),
- Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19,
- Outils de la plateforme cible : Dagster, Superset, Trino, S3.
Environnement de travail
Visian est une société de conseil en informatique spécialisée autour de la conception produit et la data avec plusieurs clients CAC40 notamment des secteurs BFA.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer Pyspark/Dagster
VISIAN
