Le poste Un Data Engineer sur Charenton-Le-Pont
Partager cette offre
ALMATEK recherche pour l'un de ses clients un DATA Engineer sur Charenton-Le-Pont
Description de la mission
Data Engineer :
Récupérer les données issues de sources externes
• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.
Mise en œuvre de la chaîne :
Ingestion de données,
Validation de données,
Croisement de données,
Déversement dans le datalake des données enrichies
• Développer dans le respect des règles d’architecture définies
• Développer et documenter les user stories avec l’assistance du Product Owner.
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d’exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels
Aspects Humains :
• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban.
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail).
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.
Connaissances techniques :
• Plateforme et environnement GCP (indispensable)
• Environnement GKE
• Développement d'API REST
• Stockage : HDFS / GCS
• Traitement : Maitrise de l’écosystème Spark / Kafka / Scala
• Planification : Airflow / Composer
• Méthodologies : Scrum, Kanban, Git
• DWH : SQL, BigQuery, BigTable
• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
Profil recherché
ALMATEK recherche pour l'un de ces clients un DATA Engineer sur Charenton-Le-Pont
Description de la mission
Data Engineer :
Récupérer les données issues de sources externes
• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.
Mise en œuvre de la chaîne :
Ingestion de données,
Validation de données,
Croisement de données,
Déversement dans le datalake des données enrichies
• Développer dans le respect des règles d’architecture définies
• Développer et documenter les user stories avec l’assistance du Product Owner.
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d’exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels
Aspects Humains :
• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban.
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail).
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.
Connaissances techniques :
• Plateforme et environnement GCP (indispensable)
• Environnement GKE
• Développement d'API REST
• Stockage : HDFS / GCS
• Traitement : Maitrise de l’écosystème Spark / Kafka / Scala
• Planification : Airflow / Composer
• Méthodologies : Scrum, Kanban, Git
• DWH : SQL, BigQuery, BigTable
• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
Environnement de travail
Connaissances techniques :
• Plateforme et environnement GCP (indispensable)
• Environnement GKE
• Développement d'API REST
• Stockage : HDFS / GCS
• Traitement : Maitrise de l’écosystème Spark / Kafka / Scala
• Planification : Airflow / Composer
• Méthodologies : Scrum, Kanban, Git
• DWH : SQL, BigQuery, BigTable
• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
Postulez à cette offre !
Trouvez votre prochaine mission parmi +15 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Un Data Engineer sur Charenton-Le-Pont
Almatek