Job position Data Engineer confirmé - DATA et IA
Share this job
La prestation vise à contribuer à la réalisation des initiatives Data et IA 2026 au sein de la direction Informatique et d’un environnement technologique Cloud et Big Data.
Elle a pour objectif de mettre à disposition une expertise Data engineering et de produire et d’industrialiser des traitements de données, des alimentations vers le socle Data et des composants Data/IA, tout en facilitant l’exploitation de ces éléments par les équipes consommatrices de données.
La prestation s’inscrit également dans un cadre de collaboration avec les équipes internes Data science. sur des usages analytiques et IA, afin d’assurer la bonne compréhension, formalisation et couverture des besoins Data liés aux cas d’usage.
La prestation consiste à :
a. Réalisation et automatisation des flux de données
- Conception et développement de flux d’alimentation de données vers les environnements Data et Innovation.
- Mise en oeuvre de pipelines Cloud automatisés (Snowflake, Python, PySpark, services AWS tels que CloudFormation, Lambda, EMR, S3, EC2, Step Functions…).
- Intégration de données issues de sources multiples, structurées ou non structurées.
b. Développement de produits et composants Data/IA
-Conception et réalisation de traitements, applications ou composants Data/IA.
- Participation à l’industrialisation de modèles IA/ML et IA générative.
c. Structuration, qualité et gouvernance des données
- Normalisation, nettoyage, qualification et validation des données.
- Documentation des structures de données, référentiels et règles de gestion.
- Contribution à la cartographie et au référencement des données.
d. Formalisation et clarification des besoins Data
- Contribution à la formalisation des besoins Data exprimés par les équipes utilisatrices (dont les équipes analytiques).
- Organisation et animation des ateliers nécessaires à cette clarification.
e. Conception et intégration Cloud/DevOps
- Mise en oeuvre et automatisation des déploiements via Azure DevOps.
- Participation aux architectures Cloud Data (AWS + Snowflake).
- Intégration de traitements ETL/ELT selon les standards techniques
Livrables :
Pipelines et flux d’alimentation opérationnels, automatisés et documentés.
- Composants ou produits Data/IA prêts à l’usage.
- Cartographie et documentation des données intégrées (référentiels, dictionnaires, règles).
- Rapports de contrôle qualité, incluant duplications, cohérence, fraîcheur, conformité RGPD.
- Documentation technique et architecture (Cloud, DevOps, Data).
- Supports d’ateliers de clarification des besoins Data.
- Datalake alimenté et dimensionné, avec données validées.
Candidate profile
.Périmètre de la prestation :
- Réalisation complète des traitements Data et IA.
- Intégration et transformation des données dans le socle.
- Développement de pipelines, automatisations et composants Cloud.
- Contribution à l’industrialisation des modèles IA/ML.
- Documentation technique et fonctionnelle.
- Organisation et animation d’ateliers de cadrage Data.
- Mise en conformité avec les standards internes (architecture, sécurité, gouvernance).
Working environment
La prestation consiste à :
a. Réalisation et automatisation des flux de données
- Conception et développement de flux d’alimentation de données vers les environnements Data et Innovation.
- Mise en oeuvre de pipelines Cloud automatisés (Snowflake, Python, PySpark, services AWS tels que CloudFormation, Lambda, EMR, S3, EC2, Step Functions…).
- Intégration de données issues de sources multiples, structurées ou non structurées.
b. Développement de produits et composants Data/IA
-Conception et réalisation de traitements, applications ou composants Data/IA.
- Participation à l’industrialisation de modèles IA/ML et IA générative.
c. Structuration, qualité et gouvernance des données
- Normalisation, nettoyage, qualification et validation des données.
- Documentation des structures de données, référentiels et règles de gestion.
- Contribution à la cartographie et au référencement des données.
d. Formalisation et clarification des besoins Data
- Contribution à la formalisation des besoins Data exprimés par les équipes utilisatrices (dont les équipes analytiques).
- Organisation et animation des ateliers nécessaires à cette clarification.
e. Conception et intégration Cloud/DevOps
- Mise en oeuvre et automatisation des déploiements via Azure DevOps.
- Participation aux architectures Cloud Data (AWS + Snowflake).
- Intégration de traitements ETL/ELT selon les standards techniques
Apply to this job!
Find your next career move from +1,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer confirmé - DATA et IA
Calytis