Le poste développeur pyspark spark - 550€ max
Partager cette offre
Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé.
- Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier.
- Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage.
- Mission du candidat :
Développer des pipeline d'ingestion des données dans le datalake avec datafctory
Développer des flux de transformation de données via Python/spark/ Pyspark Databricks.
Mettre en place des pipeline CICD azure devops
Participé au re factoring du code existant
Être garant de la qualité du code et le bon respect des norme de développement
Mis en place des test unitaire.
Mise en place du monitoring et de la supervision de l'application datafinance .
Profil recherché
PYTHON / PYSPARK / SPARK
ExpertDatabricks/ datafactory/ azure devops
Expert Integration GIT
- Compétences requises :
- Une bonne maitrise SQL / Pyspark / SPARK.
-Avoir au moins 6/7 ans d'expérience en tant que Data engineer / utilisation de databricks.
- Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops
- Une bonne communication et être fort de proposition.
- Connaissance des bonnes pratique de développement.
Environnement de travail
PYTHON / PYSPARK / SPARK
ExpertDatabricks/ datafactory/ azure devops
Expert Integration GIT
- Compétences requises :
- Une bonne maitrise SQL / Pyspark / SPARK.
-Avoir au moins 6/7 ans d'expérience en tant que Data engineer / utilisation de databricks.
- Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops
- Une bonne communication et être fort de proposition.
- Connaissance des bonnes pratique de développement.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +15 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
développeur pyspark spark - 550€ max
Innov and Co