Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Step Functions

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer Senior à posture de lead, pour porter une plateforme de données AWS lancée from scratch pour une équipe des marchés actions. Chaque nuit, des batchs produisent des prix, des sensibilités et du PnL sur plusieurs centaines de millions de lignes. Les équipes métier connaissent ces données, mais ont besoin d'un expert pour construire des pipelines industriels. Vous pilotez le projet au quotidien, en appui du Tech Lead qui valide les grandes orientations. Vos missions : - Porter le projet de bout en bout : cadrage avec le métier, découpage, priorisation et plan de livraison. - Proposer et défendre les choix d'architecture, et arbitrer en autonomie. - Encadrer deux développeurs (un junior, un confirmé) : standards de code, revues, montée en compétences. - Définir la stratégie de refactoring d'un projet existant, priorisée par risque et par valeur. - Construire un framework commun piloté par configuration et développer les pipelines Python / PySpark sur AWS Glue. - Orchestrer avec Step Functions et EventBridge, organiser le stockage S3 (Parquet ou Iceberg) et l'exposition via Glue Data Catalog et Athena. - Mettre en place la qualité des données et le monitoring, et optimiser performances et coûts. - Industrialiser avec l'équipe DevOps : Terraform, CI/CD, tests. Vous rejoignez Ingéniance en CDI et intégrez une communauté d'experts de la data et de la finance de marché. Ref : O-SIYUA

Contexte Un grand groupe industriel souhaite renforcer temporairement son équipe Data Platform au sein de sa Digital Factory afin d'accompagner l'accélération des projets Data et IA, l'augmentation des volumes de données et l'industrialisation des traitements de données. L'équipe Data Platform est responsable de la mise à disposition, de l'exploitation et de l'évolution des services permettant l'ingestion, le stockage, la transformation et la diffusion des données. Elle assure également la supervision, la sécurisation des flux et le support aux équipes Data Engineering, BI et métiers. Description du poste Le consultant interviendra en tant que Data Platform & Data Ops Engineer avec une forte composante Cloud AWS, exploitation de plateformes Data et industrialisation des environnements. Administration et exploitation Data Platform • Administrer et maintenir les plateformes de données. • Gérer les pipelines d'intégration et les déploiements. • Administrer les environnements DEV, TEST et PROD. • Gérer les espaces de stockage, les accès et les habilitations. • Garantir la disponibilité et la sécurité des plateformes. Architecture et infrastructure DataOps • Concevoir et maintenir des architectures Data sur AWS. • Automatiser le provisionnement d'infrastructure via Terraform. • Optimiser les coûts Cloud (FinOps). • Assurer la scalabilité, la résilience et la sécurité des services Data. Industrialisation et DevOps • Mettre en place et maintenir les chaînes CI/CD. • Automatiser les déploiements et les tests. • Standardiser les composants Data. • Améliorer continuellement les processus d'exploitation. Support et expertise technique • Assurer le support N2/N3 des plateformes Data. • Diagnostiquer et résoudre les incidents complexes. • Accompagner les équipes Data Engineering et BI. • Réaliser des analyses de performance et de capacité. Monitoring et observabilité • Mettre en oeuvre les solutions de supervision. • Définir les alertes et tableaux de bord opérationnels. • Assurer le suivi des SLA et indicateurs de performance. • Anticiper les risques de saturation ou de dégradation des services. Gouvernance et transformation • Contribuer aux standards de la Data Platform. • Participer aux revues d'architecture. • Documenter les procédures et bonnes pratiques. • Accompagner les projets de migration Cloud et les évolutions de plateforme. Livrables attendus • Templates d'infrastructure automatisés (IaC). • Pipelines CI/CD industrialisés. • Documentation d'exploitation. • Procédures de déploiement et de supervision. • Runbooks et modes opératoires. • Dossiers techniques d'architecture. • Reporting d'activité. • Plans de remédiation des incidents majeurs. • Supports de transfert de compétences. • Documentation des processus d'automatisation et d'exploitation.

Dans le cadre du renforcement d'une équipe Data Platform au sein d'une Digital Factory, nous recherchons un Data Platform & DataOps Engineer confirmé pour contribuer à l'exploitation, à l'industrialisation et à l'évolution de plateformes Data dans un environnement Cloud AWS. Votre rôle sera essentiel pour garantir la disponibilité, la sécurité, la performance et l'automatisation des services Data, tout en accompagnant les équipes Data Engineering, BI et Architecture. Vos principales responsabilités Data Platform & Cloud AWS Administrer et faire évoluer les plateformes Data. Concevoir et maintenir des architectures Cloud scalables, sécurisées et résilientes. Gérer les pipelines d'intégration, les environnements DEV/TEST/PROD et les habilitations. Optimiser les coûts d'infrastructure AWS dans une logique FinOps. DataOps, DevOps & automatisation Industrialiser les traitements et les déploiements Data. Mettre en place et maintenir les pipelines CI/CD. Automatiser le provisionnement des infrastructures avec l'Infrastructure as Code. Standardiser les composants Data et renforcer les tests automatisés. Monitoring & support Assurer le support technique N2/N3 et résoudre les incidents complexes. Mettre en place des outils de supervision, des alertes et des tableaux de bord opérationnels. Analyser les performances et anticiper les besoins en capacité. Sécurité & gouvernance Appliquer les standards de sécurité Cloud et de gestion des accès. Contribuer à la gouvernance, à la qualité et à la documentation des plateformes Data. Participer aux revues d'architecture et aux projets de transformation Cloud.