Mission freelance Un Data Engineer sur Charenton-Le-Pont

ALMATEK recherche pour l'un de ces clients un DATA Engineer sur Charenton-Le-Pont

Description de la mission

Data Engineer :

Récupérer les données issues de sources externes

• Utiliser la puissance du Datalake

• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels.


Mise en œuvre de la chaîne :

Ingestion de données,
Validation de données,
Croisement de données,
Déversement dans le datalake des données enrichies
• Développer dans le respect des règles d’architecture définies

• Développer et documenter les user stories avec l’assistance du Product Owner.

• Produire les scripts de déploiement

• Prioriser les corrections des anomalies

• Assister les équipes d’exploitation

• Participer à la mise en œuvre de la chaîne de delivery continue

• Automatiser les tests fonctionnels

Aspects Humains :

• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban.

• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail).

• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.


Connaissances techniques :

• Plateforme et environnement GCP (indispensable)

• Environnement GKE

• Développement d'API REST

• Stockage : HDFS / GCS

• Traitement : Maitrise de l’écosystème Spark / Kafka / Scala

• Planification : Airflow / Composer

• Méthodologies : Scrum, Kanban, Git

• DWH : SQL, BigQuery, BigTable

• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build

Connaissances techniques :

• Plateforme et environnement GCP (indispensable)

• Environnement GKE

• Développement d'API REST

• Stockage : HDFS / GCS

• Traitement : Maitrise de l’écosystème Spark / Kafka / Scala

• Planification : Airflow / Composer

• Méthodologies : Scrum, Kanban, Git

• DWH : SQL, BigQuery, BigTable

• Delivery : Git, Ansible, Docker, Terraform, Jenkins / Cloud Build