Ta mission sera de Garantir la robustesse du data contract registry (Aurora + Python fastAPI) Monitorer et prendre des actions proactives de management Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry) Restituer dans le datalake les metadonnées de nos produits Accompagner et former Définir et promouvoir les bonnes pratiques proposées au sein de l'équipe Participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Gouvernance automatisée (Data contract registry, access management, metadata management) Etroite collaboration avec les staff engineer de la plateforme pour le développement de nouvelle features (ADR)
Notre client dans le secteur Banque et finance recherche un/une Ingénieur(e) DataOps H/F Description de la mission : Contexte Un grand groupe bancaire international dispose d'une équipe DATA/IA chargée de concevoir, d'exploiter et de maintenir des plateformes Data. Ces plateformes soutiennent des architectures modernes, distribuées et hautement résilientes, déployées sur site et dans le cloud. L'équipe compte 25 personnes basées à Paris et Singapour. Mission Au sein de l'équipe DATA/IA, l'Ingénieur DataOps industrialise et optimise les plateformes Big Data afin d'accompagner les besoins métiers à l'échelle mondiale. La mission porte principalement sur le périmètre RUN, avec des interactions avec les équipes Build, infrastructure et les entités clientes. Principales responsabilités Accompagner les entités clientes dans l'intégration de leurs projets sur les services Data et contribuer à leur acculturation aux technologies concernées Collaborer au Build des socles techniques dans des environnements Cloud et Containers Accompagner le déploiement des solutions d'infrastructure et l'utilisation des outils de CI/CD, de monitoring et de sécurité Suivre les health checks et planifier puis exécuter les campagnes de patching et d'upgrade Assurer le support de niveau 2 des environnements de développement et de production Participer à la gestion des incidents majeurs et des crises, puis contribuer au traitement des incidents et aux actions post-crise concernant l'utilisation, la mise en œuvre et le cycle de vie des modèles Rédiger, mettre à jour et optimiser la documentation technique et opérationnelle Assurer le suivi du Change Management, du Capacity Planning et du reporting FinOps Environnement technique Streaming et messaging : Kafka, NiFi Cache et NoSQL : Redis, MongoDB Search et analytics : Elasticsearch, OpenSearch Big Data et traitement : Spark, sur site et dans le cloud Stockage : S3, sur site et dans le cloud Systèmes et conteneurisation : Linux, Kubernetes CI/CD et DevOps : GitLab, GitOps, ArgoCD Langages : Scala, Java, Python Profil recherché Compétences techniques Connaissances approfondies de Linux et Kubernetes Maîtrise des processus CI/CD et pratique de GitLab, GitOps et ArgoCD Compétences sur les technologies Data et Big Data mentionnées, notamment Spark, Kafka et S3 Programmation en Scala, Java et Python Compétences personnelles Expérience du travail en environnement Agile Réactivité dans la gestion de crise et rigueur opérationnelle Excellent relationnel Langues Anglais courant, pratiqué quotidiennement dans un contexte mondial Compétences / Qualités indispensables : DataOps et exploitation de plateformes Big Data, Linux et Kubernetes, CI/CD, GitOps et ArgoCD, Spark et Kafka, Gestion des incidents et support opérationnel Compétences / Qualités qui seraient un + : Connaissances CAGIP / Bon anglaisInformations concernant le télétravail : Oui — 2 jours/semaine
🌟 Quel sera ton poste ? 🌟 💼 Poste : Expert ELK H/F 📍 Lieu : Rennes (35) 🏠 Télétravail : 2 jours par semaine (3 jours de présence requis sur site) 📝 Contrat : Portage ou CDI 💸Rémunération : 40k-50k 👉 Contexte client : Tu rejoins un acteur majeur du secteur public opérant des plateformes numériques critiques à l'échelle nationale. Dans un contexte d'évolution continue du système d'information, tu interviendras au sein d'équipes expertes chargées de garantir la performance, la disponibilité et l'observabilité des infrastructures tout en accompagnant les projets de transformation technique. En tant qu'Expert ELK, tu seras le référent des solutions de collecte, d'analyse et de supervision des données techniques. Tu participeras aux projets d'évolutions fonctionnelles et techniques, à l'amélioration continue des plateformes ainsi qu'à l'industrialisation des processus d'exploitation. Tu auras pour missions de : Administrer et faire évoluer les plateformes basées sur la stack ELK. Participer aux projets d'évolutions techniques et fonctionnelles des infrastructures. Collaborer avec les équipes de développement pour l'intégration de nouvelles fonctionnalités et les mises en production. Garantir la sécurité et la performance des plateformes Elasticsearch, Logstash et Kibana. Mettre en œuvre les stratégies de gestion des données et de rétention (ILM, snapshots S3). Automatiser les déploiements et les opérations d'exploitation. Participer aux activités de supervision, de monitoring et d'amélioration continue des services. Contribuer à la documentation technique (DAT / LLD) et au maintien des bonnes pratiques d'exploitation. 🧰 Stack technique : ELK : Elasticsearch, Logstash, Kibana, sécurité TLS, X-Pack, gestion des rôles, stratégies ILM, snapshots S3. Bases de données : Oracle, SQL Server, PostgreSQL, MySQL, MongoDB, AWS RDS, NoSQL. Automatisation & DevOps : Ansible, AAP, Terraform, Shell, Python. Monitoring & Performance : Grafana, Zabbix
Nous recherchons un Data Engineer pour rejoindre une équipe dédiée à la construction et à l'évolution d'une plateforme Data alimentant des produits et services à forte volumétrie. Au sein d'une équipe pluridisciplinaire composée de Data Engineers, développeurs, DevOps, Scrum Masters et Product Owners, vous évoluerez dans un environnement Agile / Scrum. Vos missionsConcevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark. Modéliser et faire évoluer des tables Apache Iceberg sur Amazon S3, en garantissant performance, évolutivité et gouvernance. Fiabiliser et industrialiser les flux de données afin de garantir leur fraîcheur, cohérence et disponibilité. Mettre en place des contrôles de qualité des données : complétude, unicité, fraîcheur, cohérence et traçabilité. Développer des traitements robustes et résilients : rejouabilité, gestion des erreurs, retries, backfill et gestion des données en retard. Mettre en place le monitoring et l'observabilité des pipelines : métriques, logs, dashboards et alertes. Participer aux phases de tests : tests unitaires, intégration, qualité des données, performance et montée en charge. Documenter les pipelines, modèles de données, procédures d'exploitation et choix techniques. Participer aux pratiques de CI/CD et aux revues de code. Environnement techniqueApache Spark – Apache Iceberg – AWS – Amazon S3 – Python et/ou Scala – SQL – Git – CI/CD – Monitoring & Alerting Profil recherchéFormation supérieure en informatique, Data ou ingénierie. Première expérience en Data Engineering. Bonne maîtrise de Spark et SQL. Expérience en Python ou Scala appréciée. Bonne connaissance des architectures Data sur AWS, notamment S3. Connaissance d'Iceberg ou de technologies de tables/stockage analytiques similaires. Sensibilité aux enjeux de qualité des données, résilience et observabilité. Autonomie, curiosité, esprit d'équipe et intérêt pour les environnements techniques modernes.
Mission : -Architecture & Développement : Concevoir et développer les pipelines d'ingestion/traitement, les briques de normalisation et les API d'exposition des données. -Core Framework : Faire évoluer le framework commun (CI/CD, monitoring, tests automatisés, résilience, performance, qualité de code). -Leadership technique : Piloter des chantiers de dev, challenger les besoins métiers, faire respecter les standards d'architecture et coacher l'équipe. Stack & Compétences requises : -Software Engineering : Excellente maîtrise de Python (POO, modularisation, clean code), Git & Git Flow. -Big Data & Performance : Spark, Glue, Parquet, S3, HDFS, SQL avancé. Expertise en optimisation (partitionnement, bucketing, cache, tuning Spark/SQL). -Cloud AWS : S3, Lambda, Glue, IAM, EventBridge, CloudWatch. -DevOps & IaC : Pratiques CI/CD robustes et Infrastructure as Code. (Important : Vous devez maîtriser au moins 2 à 3 des domaines techniques clés ci-dessus). -Lieu : Hauts-de-Seine (92) / Île-de-France. -Déplacements : Ponctuels à prévoir en France (Lyon) et en Belgique (Bruxelles). -Spécificité : Astreintes possibles.
Bonjour, Notre client, basé dans le sud de l'Île-de-France, recherche un·e Responsable Run Digital Confirmé·e pour renforcer ses équipes dans le cadre du lancement d'une nouvelle plateforme digitale. ContexteAu sein de la Direction Transformation Digitale de la DSI, vous intervenez dans le cadre du lancement d'une nouvelle plateforme digitale e-commerce comprenant notamment un PIM, un gestionnaire d'événements, un CMS et un OMS. Rattaché·e au Product Owner, vous êtes responsable de plusieurs sujets stratégiques liés au Run et à la performance de la plateforme : Gestion des demandes de services Performance et tenue à la charge Supervision et analyse des logs Suivi des erreurs côté client Missions principales1. Gestion des demandes de services Vous prenez en charge différentes demandes techniques : exports/imports, rattrapage de données via API ou traitements en masse, planification de tâches, etc. Ces interventions sont principalement réalisées sur des environnements Magento 2, AWS (S3, CloudWatch, Fargate) et/ou Kafka. Vous êtes capable d'analyser les besoins et de mettre en œuvre les solutions de manière autonome, avec réactivité et rigueur. 2. Performance et tests de charge Vous participez aux tests de performance et de charge réalisés lors des nouvelles versions de la plateforme. Vous utilisez notamment Lighthouse et JMeter, analysez les métriques obtenues et êtes force de proposition pour adapter les scénarios de test aux conditions réelles de production. 3. Logs et supervision Les logs applicatifs sont centralisés via des solutions d'APM et de monitoring telles que New Relic et/ou Datadog. Vous êtes notamment amené·e à : Analyser et interpréter les logs Créer et faire évoluer les alertes Concevoir et maintenir les dashboards Identifier les axes d'amélioration de la supervision 4. Qualité de la console client Vous assurez une veille régulière sur les erreurs remontées dans les consoles côté client. Vous travaillez avec les équipes de développement afin d'identifier, qualifier et faire corriger les erreurs susceptibles d'avoir un impact sur l'expérience des utilisateurs et des équipes internes. Environnement techniqueE-commerce / CMS : Magento 2 Cloud : AWS, S3, Fargate, CloudWatch Monitoring / APM : New Relic, Datadog, Grafana Messaging : Kafka / Confluent Ticketing : Jira Knowledge Management : Confluence Versioning : GitLab Tests de charge : JMeter Méthodologies : Agile, SAFe, DevOps N'hésitez pas à m'envoyer votre candidature.Vanessa | DUONEXT
La fonction FP&A d'un client se transforme avec la mise en place d'agents et de solutions d'automatisation au service du contrôle de gestion de l'activité logistique. L'Analytics Engineer intégrera l'équipe sous la responsabilité du finance data & AI leader. Mission longue basée à Lille (hybride). L'Analytics Engineer sera responsable de la réadaptation d'un projet existant sur un outil en phase de décommissionnement, de l'analyse et la compréhension de l'architecture et des modèles, de la collaboration étroite avec le staff engineer, le software engineer et le leadership pour réadapter la solution sur la stack data cible. Il/elle conduira l'étude et la migration des sources de données vers la zone datalake cible, documentera les données et les règles de transformation existantes, concevra et développera des pipelines de données robustes et évolutifs, mettra en œuvre des règles de transformation complexes et s'assurera de la mise à disposition des données avec contrôles qualité et tests (unitaires, UAT). Compétences techniques demandées : expérience significative dans la mise en œuvre de pipeline de transformation de données avec dbt, SQL ; maîtrise des environnements de développement sur le Cloud (ex : AWS S3, DataBricks, etc.) ; maîtrise des outils de développement Git, Github, CI/CD ; data quality testing (Unit/Integration/Function/non regression, UAT). Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières
Nous recherchons un(e) AI Software Engineer Senior pour une mission longue durée au sein d'un environnement technologique orienté IA, Cloud & Software Engineering. TJM : 650 euros Expérience : 5 à 10 ans Localisation : Ile de France Télétravail : 50 % Présentiel : 50 % Durée : 1 an Démarrage : ASAP Vos compétences Développement logiciel – 5 à 10 ans d'expérience minimum Angular Python AWS : Lambda, API Gateway, CloudWatch, S3 Architecture Microservices APIs REST DevOps & CI/CD Sensibilité aux sujets GenAI, Agentic AI et intégration d'agents IA Nous recherchons un profil senior, autonome et passionné par les nouvelles technologies, capable d'évoluer sur des sujets mêlant Software Engineering, Cloud et Intelligence Artificielle.
Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer Senior à posture de lead, pour porter une plateforme de données AWS lancée from scratch pour une équipe des marchés actions. Chaque nuit, des batchs produisent des prix, des sensibilités et du PnL sur plusieurs centaines de millions de lignes. Les équipes métier connaissent ces données, mais ont besoin d'un expert pour construire des pipelines industriels. Vous pilotez le projet au quotidien, en appui du Tech Lead qui valide les grandes orientations. Vos missions : - Porter le projet de bout en bout : cadrage avec le métier, découpage, priorisation et plan de livraison. - Proposer et défendre les choix d'architecture, et arbitrer en autonomie. - Encadrer deux développeurs (un junior, un confirmé) : standards de code, revues, montée en compétences. - Définir la stratégie de refactoring d'un projet existant, priorisée par risque et par valeur. - Construire un framework commun piloté par configuration et développer les pipelines Python / PySpark sur AWS Glue. - Orchestrer avec Step Functions et EventBridge, organiser le stockage S3 (Parquet ou Iceberg) et l'exposition via Glue Data Catalog et Athena. - Mettre en place la qualité des données et le monitoring, et optimiser performances et coûts. - Industrialiser avec l'équipe DevOps : Terraform, CI/CD, tests. Vous rejoignez Ingéniance en CDI et intégrez une communauté d'experts de la data et de la finance de marché. Ref : O-SIYUA
ContexteAu sein de l'IT Group Production, le projet vise au PoC, au design, au setup et au tuning de solutions avancées OnPremises de données innovantes à très haute performance et très grosses volumétries avec des sous-jacents système exigents nécessitant des connaissances hardware, système et réseau approfondies. Des PoC plus restreints pourront être imaginés sur GCP également. Le prestataire sera intégré au stream "Observability as Data" et travaillera dans une petite équipe d'experts correspondant aux différents aspects nécessaires à la construction de la solution. MissionsParticiper au PoC, design, setup et tuning de solutions OnPremises à très haute performance et grosses volumétries. Contribuer à des PoC plus restreints sur GCP. Collaborer au sein du stream "Observability as Data" avec une équipe d'experts. Mener des sous-projets en autonomie et en collaboration avec plusieurs acteurs dans un environnement multi-responsabilités. Outils & EnvironnementGestion de parcs informatiques Linux on-prem. Solutions S3 on-prem (Minio/AIStor, Scality, Garage, Ceph, etc.) à l'échelle (> 1PB). Administration systèmes Linux et sous-systèmes de stockage (lvm, dm-crypt, iSCSI, etc.). Réseaux Linux (TCP/IP, VLAN, LBs, Firewall, etc.). Automatisation (Ansible, Python, AWX/Tower, etc.).
Ingénieur infrastructure et production10 ans + : infrastructure, linux COMPÉTENCES EXIGÉES Infrastructure Expert Linux Expert automatisation Confirmé IA Moyen Descriptif de la mission Expérience >= 10 ans en gestion de parcs informatiques Linux on-prem. - Expérience avec le déploiement et la gestion de solutions S3 on-prem (Minio/AIStor, Scality, Garage, Ceph, etc.) à l'échelle (> 1PB). - Connaissances avancées en administration systèmes Linux et des sous systèmes de stockage (lvm, dm-crypt, iSCSI, etc.) - Connaissances avancées en réseaux Linux (TCP/IP, VLAN, LBs, Firewall, etc.) - Connaissances avancées en automatisation (Ansible, Python, AWX/Tower, etc.) - Capacité à mener des sous-projets en autonomie, et en collaboration avec plusieurs acteurs dans un environnement multi-responsabilités. le projet "Observability as Data" vise au PoC, au design, au setup et au tuning de solutions avancées OnPremises de données innovantes à très haute performance et très grosses volumétries avec des sous-jacents système exigents nécessitant des connaissances hardware, système et réseau approfondies. Des PoC plus restreints pourront être imaginés sur GCP également.
FC Consulting recherche un Expert Stockage & Sauvegarde pour une mission chez un grand intégrateur, au profit d'une administration centrale. Vous accompagnez les équipes sur les infrastructures de stockage bloc et les stratégies de protection des données. Vos missions : - Concevoir et faire évoluer les architectures de stockage - Participer aux choix technologiques - Réaliser les études de dimensionnement - Construire les architectures cibles - Accompagner l'évolution vers des architectures objet (S3) - Venir en appui des équipes commerciales et avant-vente Environnement technique : stockage IBM, Hitachi (HDS), NetApp, Pure Storage ; sauvegarde Veeam, Commvault, Rubrik, Cohesity ; SAN, NAS, réplication, PRA / PCA. Mission en Île-de-France, présentiel avec une part de télétravail. Démarrage rapide, mission longue. Le poste est soumis à une enquête administrative préalable : l'éligibilité à cette procédure est demandée par le client.
Dans le cadre du développement de plateformes Data et de nouveaux usages liés à l'Intelligence Artificielle et à l'IA agentique, nous recherchons un Architecte Cybersécurité Cloud, Data & IA Senior capable de concevoir et sécuriser des architectures complexes dans un environnement Cloud AWS. Le consultant interviendra en transverse avec les équipes Architecture, Cybersécurité, Cloud, Data et IA. Missions principalesConcevoir les architectures de sécurité des plateformes Data, IA, GenAI et IA agentique. Sécuriser les flux de données de bout en bout : ingestion, stockage, traitement, exposition et consommation. Définir les modèles IAM / RBAC / Zero Trust et appliquer les principes de moindre privilège. Sécuriser les identités humaines, techniques et celles des agents IA. Définir les mécanismes de chiffrement et de protection des données : KMS, PKI, certificats et gestion des secrets. Sécuriser les environnements AWS : S3, Lambda, API, bases de données et composants Data. Sécuriser les accès des agents IA aux outils, API et données. Prendre en compte les risques spécifiques GenAI / LLM / RAG : prompt injection, fuite ou exfiltration de données, accès non autorisés et actions autonomes. Définir les guardrails et mécanismes de contrôle des modèles IA. Intégrer la sécurité dans les architectures et pipelines Terraform / IaC / CI/CD. Réaliser des analyses de risques et challenger les architectures techniques. Produire les standards et dossiers d'architecture sécurité. Accompagner les équipes Cloud, Data et IA dans la mise en œuvre des recommandations.
Propulse iT recherche un Expert Devops Gitlab-CI - Réaliser et modifier différents rôles et Playbooks Ansible - Réaliser et modifier différents modules Terraform - Réaliser et modifier différents jobs et pipelines Gitlab-CI - Assurer le support N3 de la chaine CI/CD Les compétences techniques attendues sont les suivantes : - Maitrise de Git, de l'outil Gitlab-CI et de la mise en place de Runners - Maitrise des technologies et méthodologies basées sur le principe du gitops - Maitrise des technologies et méthodologies basées sur le principe d'infra as Code - Maitrise d'ansible / terraform - Maitrise de la programmation en python - Maitrise de l'outil Hashicorp Vault - Maitrise des technologies API REST - Connaissance des technologies : o Vmware Vsphere o Nutanix o Baremétal o Kubernetes o NSX o Solution de load Balancing - BigIP-F5 - NSX advanced Load Balancer o Stockage object (S3, minio) Les compétences fonctionnelles attendues sont les suivantes (par ordre de priorité) : - Expérience sur des projets menés en agile - Forte expérience de travail en équipe et d'animation d'ateliers techniques - Expérience de rédaction de documentations et de production de reportings
