Le poste Data Engineer confirmé - DATA et IA
Partager cette offre
La prestation vise à contribuer à la réalisation des initiatives Data et IA 2026 au sein de la direction Informatique et d’un environnement technologique Cloud et Big Data.
Elle a pour objectif de mettre à disposition une expertise Data engineering et de produire et d’industrialiser des traitements de données, des alimentations vers le socle Data et des composants Data/IA, tout en facilitant l’exploitation de ces éléments par les équipes consommatrices de données.
La prestation s’inscrit également dans un cadre de collaboration avec les équipes internes Data science. sur des usages analytiques et IA, afin d’assurer la bonne compréhension, formalisation et couverture des besoins Data liés aux cas d’usage.
La prestation consiste à :
a. Réalisation et automatisation des flux de données
- Conception et développement de flux d’alimentation de données vers les environnements Data et Innovation.
- Mise en oeuvre de pipelines Cloud automatisés (Snowflake, Python, PySpark, services AWS tels que CloudFormation, Lambda, EMR, S3, EC2, Step Functions…).
- Intégration de données issues de sources multiples, structurées ou non structurées.
b. Développement de produits et composants Data/IA
-Conception et réalisation de traitements, applications ou composants Data/IA.
- Participation à l’industrialisation de modèles IA/ML et IA générative.
c. Structuration, qualité et gouvernance des données
- Normalisation, nettoyage, qualification et validation des données.
- Documentation des structures de données, référentiels et règles de gestion.
- Contribution à la cartographie et au référencement des données.
d. Formalisation et clarification des besoins Data
- Contribution à la formalisation des besoins Data exprimés par les équipes utilisatrices (dont les équipes analytiques).
- Organisation et animation des ateliers nécessaires à cette clarification.
e. Conception et intégration Cloud/DevOps
- Mise en oeuvre et automatisation des déploiements via Azure DevOps.
- Participation aux architectures Cloud Data (AWS + Snowflake).
- Intégration de traitements ETL/ELT selon les standards techniques
Livrables :
Pipelines et flux d’alimentation opérationnels, automatisés et documentés.
- Composants ou produits Data/IA prêts à l’usage.
- Cartographie et documentation des données intégrées (référentiels, dictionnaires, règles).
- Rapports de contrôle qualité, incluant duplications, cohérence, fraîcheur, conformité RGPD.
- Documentation technique et architecture (Cloud, DevOps, Data).
- Supports d’ateliers de clarification des besoins Data.
- Datalake alimenté et dimensionné, avec données validées.
Profil recherché
.Périmètre de la prestation :
- Réalisation complète des traitements Data et IA.
- Intégration et transformation des données dans le socle.
- Développement de pipelines, automatisations et composants Cloud.
- Contribution à l’industrialisation des modèles IA/ML.
- Documentation technique et fonctionnelle.
- Organisation et animation d’ateliers de cadrage Data.
- Mise en conformité avec les standards internes (architecture, sécurité, gouvernance).
Environnement de travail
La prestation consiste à :
a. Réalisation et automatisation des flux de données
- Conception et développement de flux d’alimentation de données vers les environnements Data et Innovation.
- Mise en oeuvre de pipelines Cloud automatisés (Snowflake, Python, PySpark, services AWS tels que CloudFormation, Lambda, EMR, S3, EC2, Step Functions…).
- Intégration de données issues de sources multiples, structurées ou non structurées.
b. Développement de produits et composants Data/IA
-Conception et réalisation de traitements, applications ou composants Data/IA.
- Participation à l’industrialisation de modèles IA/ML et IA générative.
c. Structuration, qualité et gouvernance des données
- Normalisation, nettoyage, qualification et validation des données.
- Documentation des structures de données, référentiels et règles de gestion.
- Contribution à la cartographie et au référencement des données.
d. Formalisation et clarification des besoins Data
- Contribution à la formalisation des besoins Data exprimés par les équipes utilisatrices (dont les équipes analytiques).
- Organisation et animation des ateliers nécessaires à cette clarification.
e. Conception et intégration Cloud/DevOps
- Mise en oeuvre et automatisation des déploiements via Azure DevOps.
- Participation aux architectures Cloud Data (AWS + Snowflake).
- Intégration de traitements ETL/ELT selon les standards techniques
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer confirmé - DATA et IA
Calytis
