Le poste Data Engineer senior - DATA et IA
Partager cette offre
La prestation vise à contribuer aux initiatives Data et IA 2026 au sein de la direction informatique, dans le pôle socle, référentiels et Data Intelligence.
L’objectif est de mettre à disposition une expertise ML/Data engineering permettant de concevoir, industrialiser etn opérer des solutions Data/IA/IA gen sur une plateforme cloud, incluant l’ingestion, le traitement, la gouvernance et la mise à disposition des données.
La prestation s’inscrit également dans un cadre de fiabiliser l’usage MLOps, d’accompagner la fabrication de produits Data IA, en collaboration avec les équipes internes Data science.
La prestation consiste à :
- Concevoir, développer et industrialiser des pipelines de données en utilisant les services appropriés du cloud AWS (ex. CloudFormation, Lambda, EMR, S3, EC2, Step Functions, services IA).
- Assurer la gouvernance MLOps et AWS Sagemaker : administration, automatisation, gouvernance, monitoring, industrialisation des modèles.
- Réaliser des traitements analytiques et des travaux de transformation sur Snowflake et via des chaînes CI/CD sous Azure DevOps.
- Produire des composants Data/IA en s’appuyant sur des langages adaptés (ex. Python, PySpark) et sur des mécanismes ETL/ELT.
- Concevoir et exécuter les phases de cadrage, architecture, réalisation, test, intégration et mise en service des traitements.
- Assurer l’alimentation des environnements Data/IA nécessaires à la production de produits analytiques ou applicatifs.
- Faciliter la formalisation des besoins techniques liés aux cas d’usage Data/IA en interaction avec les équipes internes, en vue d'accélérer leur mise en oeuvre.
Livrables :
- Pipelines AWS opérationnels, documentés et intégrés dans les chaînes d’industrialisation.
- Environnements MLOps Sagemaker industrialisés, incluant scripts, configurations, workflows et procédures.
- Artefacts de traitement Snowflake (requêtes, tables, vues, procédures) documentés et maintenus.
- Packages ou modules Python/PySpark prêts à l’usage et testés.
- Schémas ETL/ELT et documentation associée.
- Dossiers de cadrage, dossiers d’architecture, dossiers de tests, dossiers de mise en production.
- Cartographie des flux, sources, consommations et dépendances.
- Guides d’exploitation, procédures opératoires, dashboards de supervision et de qualité de la donnée.
Indicateurs de performances :
- Taux de succès et stabilité des pipelines AWS.
- Délais de mise à disposition des données et des modèles.
- Qualité, fraîcheur et complétude des données exposées.
- Taux de réussite des déploiements via chaînes CI/CD.
- Niveau de conformité des modèles et pipelines MLOps (traçabilité, auditabilité, gouvernance).
- Respect des échéances et des engagements définis au démarrage de chaque lot de travail.
Profil recherché
- Mise en oeuvre de pipelines de données et de traitements distribués via AWS .
- Industrialisation et exploitation d’environnements MLOps basés sur Sagemaker.
- Construction de flux ETL/ELT et traitements analytiques dans Snowflake.
- Déploiements automatisés via Azure DevOps.
- Production de composants applicatifs ou Data/IA/ IA Gen utilisables par les équipes internes.
- Contribution aux activités de cadrage, conception, architecture technique et documentation..
Environnement de travail
"PROJET"
"Alimentation en donnée du Socle Data et de l'environnement Inn"
"Conception, développement de produit Data/IA"
"Industrialiser des modeles ML/IA gen"
TECHNIQUE
"Azure Devops / Terraform"
"AWS Sagemeker"
"AWS (Lambda, S3, IAM, Cloudformation..)"
"Python/PySpark"
"Snowflake" "CONFIRME"
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer senior - DATA et IA
Calytis