Job position Date engineer Dataiku
Share this job
Objectifs :
Le bénéficiaire souhaite une prestation d’accompagnement pour le pipeline de traitement des données de l’équipe (suivi de la production des données, maintenance du pipeline, améliorations, intégration des nouveaux besoins).
Les activités type seront celles d’un Data Engineer :
• Conception et architecture des systèmes de données
• Collecte et intégration des données
• Nettoyage et transformation des données
• Optimisation des performances
• Suivi des traitements , analyse des erreurs et correction de bugs, lancement de traitements de reprises
• Maintenance des systèmes de données et support technique en cas de problèmes en concertation avec l’ingénieur Devops de l’équipe.
• Collaboration avec les data scientist, analystes de données et autres parties prenantes pour comprendre leurs besoins et fournir des solutions adaptées.
• Documentation des travaux réalisés
Une période de recouvrement d’activité aura lieu en début de prestation. Elle permettra d’examiner les pratiques actuelles et de proposer des actions d’amélioration à mettre en oeuvre dans la suite de l a mission.
Candidate profile
Autres attendus :
• Autonomie
• Force de proposition sur l’amélioration / l’optimisation des traitements existants et la mise en place de bonnes pratiques de développement
• Maitrise de Python, programmation OO et design pattern + gestion de code source Gitlab avec approche Gitflow
• Maitrise de SQL et de Dataiku
• connaissance des processus de développement, test unitaires, recette, mise en production
• Expérience de la gestion et l'utilisation de pipelines CI/CD
• Expérience avec Docker et Kubernetes pour le déploiement et la gestion des applications conteneurisées
• Capacité à analyser les logs et les métriques pour identifier et résoudre les problèmes.
Working environment
Contexte :
L’équipe ITG A3I - Data produit des tableaux de bord sur l’usage des outils de la toolchain DevSecOps du Groupe.
Les traitements sont organisés autour d’un pipeline de production : scripts Python pour la collecte, des données via API, bases postgreSQL et COS pour le stockage des données, pipelines Dataiku + SQL pour la préparation / enrichissement des données, Tableau pour la production de tableaux de bord
Un pipeline CICD, permet d’automatiser les déploiements. Il s’appuie sur Gitlab pour la gestion du code, Jenkins et Gitlab CI (cible) pour l’étape de build, Argo CD pour le déploiement,
Un suivi du bon déroulement des jobs, et de leur relance éventuelle est opéré par l’équipe.
L’équipe fonctionne en mode agile, par sprints d’une durée de 15 jours.
Apply to this job!
Find your next career move from +1,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Date engineer Dataiku
EDUGROUPE
