Share this job
Notre client, acteur majeur du secteur de l’énergie, renforce son équipe Data afin d’accompagner la transformation et la modernisation de son écosystème de données.
Au sein d’une équipe d’expertise Data, vous interviendrez sur la conception, l’évolution et l’automatisation de chaînes de traitement de données, dans un contexte de migration progressive vers une nouvelle Data Platform.
L’objectif est notamment de reprendre des traitements existants, de migrer les flux historiques vers la plateforme cible et de développer de nouveaux besoins Data exprimés par les métiers.
La mission nécessite une opérationnalité immédiate : vous serez amené(e) à reprendre des chaînes de traitement existantes et à intervenir directement sur des sujets métier en cours.
Missions :
Concevoir et développer des pipelines d’ingestion et de transformation de données complexes et/ou volumineuses ;
Construire les tables et modèles de données destinés aux utilisateurs de la Self-BI ;
Développer principalement en SQL sur Snowflake et dbt ;
Utiliser Python pour certains traitements spécifiques ;
Mettre en place et maintenir l’orchestration des traitements avec Airflow ;
Optimiser les traitements afin de garantir leur performance sur de très gros volumes de données ;
Respecter les principes d’urbanisation et les standards de la Data Platform.
Les données traitées peuvent représenter des volumétries très importantes, jusqu’à plusieurs dizaines de milliards de lignes.
Modélisation et valorisation des données
Une partie importante de la mission consiste à accompagner la migration de traitements historiques vers la nouvelle Data Platform.
À ce titre, vous serez amené(e) à :
Lire, comprendre et reprendre des flows Dataiku DSS existants ;
Analyser les traitements historiques développés sur Oracle Exadata ;
Participer à leur migration vers Snowflake / dbt ;
Garantir la continuité et la cohérence fonctionnelle des traitements migrés ;
Documenter les travaux de migration ;
Identifier les éventuels écarts ou adaptations nécessaires.
La plateforme cible repose principalement sur Snowflake, dbt et Airflow, tandis que certains traitements historiques doivent encore être repris depuis Dataiku DSS et Oracle Exadata.
Candidate profile
Vous disposez d'une expérience significative en tant que Data Engineer, Analytics Engineer ou Data & Analytics Engineer.
Vous êtes capable d'être rapidement autonome sur une plateforme Data existante et d'intervenir aussi bien sur les problématiques de développement, modélisation, migration que d'exploitation des données.
Compétences techniques indispensables
Vous maîtrisez particulièrement :
SQL avancé sur de très gros volumes de données ;
Snowflake, notamment les bonnes pratiques et l’optimisation des performances et des coûts ;
dbt : modélisation, tests et documentation ;
Dataiku DSS : lecture, reprise et migration de flows existants ;
Python ;
Airflow pour l’orchestration des pipelines.
Une bonne maîtrise d’Oracle Exadata / PL-SQL est également attendue.
Vous connaissez les pratiques :
Git ;
CI/CD ;
DataOps ;
Rejoignez nos équipes et ensemble donnons de la valeur à vos idées.
Working environment
Apply to this job!
Find your next career move from +9,000 jobs!
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
Get discovered
Recruiters come directly to look for their future hires in our CV library.
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data & Analytics Engineer
PARTENOR