Le poste développeur python spark
Partager cette offre
Package pyspark
Documentation techniqueCompétences techniquesPYTHON / PYSPARK / SPARK - Confirmé - Impératif
Databricks/ datafactory/ azure devops - Confirmé - Impératif
Integration GIT - Confirmé - ImportantConnaissances linguistiquesFrançais Courant (Impératif)Description détailléeDans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé.
- Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier.
- Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage.
- Mission du candidat :
Développer des pipeline d'ingestion des données dans le datalake avec datafctory
Développer des flux de transformation de données via Python/spark/ Pyspark Databricks.
Mettre en place des pipeline CICD azure devops
Participé au re factoring du code existant
Être garant de la qualité du code et le bon respect des norme de développement
Mis en place des test unitaire.
Mise en place du monitoring et de la supervision de l'application datafinance .
- Compétences requises :
- Une bonne maitrise SQL / Pyspark / SPARK.
-Avoir au moins 4/5 ans d'expérience en tant que Data engineer / utilisation de databricks.
- Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops
- Une bonne communication et être fort de proposition.
- Connaissance des bonnes pratique de développement.
Profil recherché
Package pyspark
Documentation techniqueCompétences techniquesPYTHON / PYSPARK / SPARK - Confirmé - Impératif
Databricks/ datafactory/ azure devops - Confirmé - Impératif
Integration GIT - Confirmé - ImportantConnaissances linguistiquesFrançais Courant (Impératif)Description détailléeDans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé.
- Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier.
- Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage.
- Mission du candidat :
Développer des pipeline d'ingestion des données dans le datalake avec datafctory
Développer des flux de transformation de données via Python/spark/ Pyspark Databricks.
Mettre en place des pipeline CICD azure devops
Participé au re factoring du code existant
Être garant de la qualité du code et le bon respect des norme de développement
Mis en place des test unitaire.
Mise en place du monitoring et de la supervision de l'application datafinance .
- Compétences requises :
- Une bonne maitrise SQL / Pyspark / SPARK.
-Avoir au moins 4/5 ans d'expérience en tant que Data engineer / utilisation de databricks.
- Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops
- Une bonne communication et être fort de proposition.
- Connaissance des bonnes pratique de développement.
Environnement de travail
Package pyspark
Documentation techniqueCompétences techniquesPYTHON / PYSPARK / SPARK - Confirmé - Impératif
Databricks/ datafactory/ azure devops - Confirmé - Impératif
Integration GIT - Confirmé - ImportantConnaissances linguistiquesFrançais Courant (Impératif)Description détailléeDans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé.
- Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier.
- Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage.
- Mission du candidat :
Développer des pipeline d'ingestion des données dans le datalake avec datafctory
Développer des flux de transformation de données via Python/spark/ Pyspark Databricks.
Mettre en place des pipeline CICD azure devops
Participé au re factoring du code existant
Être garant de la qualité du code et le bon respect des norme de développement
Mis en place des test unitaire.
Mise en place du monitoring et de la supervision de l'application datafinance .
- Compétences requises :
- Une bonne maitrise SQL / Pyspark / SPARK.
-Avoir au moins 4/5 ans d'expérience en tant que Data engineer / utilisation de databricks.
- Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops
- Une bonne communication et être fort de proposition.
- Connaissance des bonnes pratique de développement.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +15 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
développeur python spark
Innov and Co