Find your next tech and IT Job or contract Amazon S3

INGENIEUR SYSTÈME - STOCKAGE AMAZON S3 Démarrage : ASAP Durée : 2 ans Localisation : Paris Télétravail : 50% Objectif global : Administrer Administrer plateforme de stockage objet Gérer le cycle de vie des espaces de stockage : création et paramétrage des buckets, politiques d'accès (IAM, bucket policies, ACL), quotas, versioning, règles de lifecycle et de rétention. Prendre en charge les demandes des équipes applicatives : onboarding de nouveaux usages, dimensionnement, génération et rotation des clés d'accès. Assurer le support N2/N3 : qualification et résolution des incidents dans le respect des SLA, analyse post-mortem, participation aux cellules de crise sur les incidents majeurs. Veiller à la durabilité et à la redondance des données : contrôle des politiques de réplication (intra et inter-sites), vérification d'intégrité, tests de restauration. Administrer les serveurs Linux supportant la plateforme : configuration, durcissement, mises à jour et campagnes de patching. Appliquer les exigences de sécurité et de conformité : chiffrement au repos et en transit, gestion des accès, traçabilité et exploitation des logs d'audit. Accompagner les équipes applicatives dans leurs projets de migration vers le stockage objet (cadrage, bonnes pratiques d'usage des API S3, tests de charge). Participer aux montées de version, aux extensions de capacité et à la qualification de nouvelles fonctionnalités. Rédiger et maintenir la documentation d'exploitation (procédures, runbooks, DAT) et assurer le transfert de compétences vers les équipes N1/N2. Utiliser l'anglais à l'écrit pour la documentation technique et les échanges avec les éditeurs et le support.

Nous recherchons un Data Engineer pour rejoindre l'équipe CONTENT CATALOG et contribuer à la construction de la plateforme data qui alimente les expériences . Nos projets : En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes aux produits . o La mission :  Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.  Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l'évolutivité et à la gouvernance des données.  Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue.  Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill.  Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.  Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge.  Documenter les pipelines, les modèles de données, les procédures d'exploitation et les décisions techniques.

Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.

Vous intervenez au sein d'une Squad technique dont l'objectif est de concevoir, déployer et mettre en place des outils innovants en Data Science, MLOps et Intelligence Artificielle (IA) avancée. Cette Squad fournie également les socles applicatifs nécessaires, afin de permettre aux utilisateurs finaux de développer et exploiter des cas d'usage métiers Data avancé et IA. • Modernisation de l'offre Data Science & MLOPS actuelle (plateforme BigData, outils MLOPS Open source, ... ) • Cadrage et construction d'une plateforme Studio IA cible • Evolution du portail (WEB) de service Data et IA : intégration de nouvelles offres / fonctionnalités Taches : • Participe à la construction et au maintien de solutions IT évolutives, modulaires, innovantes, cohérentes avec leur écosystème et répondant au besoin métier. • Décline le cadre d'Architecture d'Entreprise(processus, normes, patterns …) et contribue à son évolution • Facilite la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d'Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Participe à l'exploration continue (étude d'opportunité, cadrage) et aide à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Établir les priorités des tâches en fonction des besoins du projet et des objectifs stratégiques. • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps, IA / LLMOPS et l'efficacité de l'équipe. • Suit et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produits en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...) • Accompagner, superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes

Pour notre client, un grand groupe international du secteur de la certification et du TIC, nous recherchons un Data Platform Engineer AWS qui rejoindra l'équipe Architecture & Delivery de sa DSI (environ 10 personnes) à La Défense. Le client industrialise sa plateforme Data & IA sur AWS, avec Amazon SageMaker Unified Studio comme socle. Vous en serez le référent technique : vous accompagnez les équipes projets dans l'adoption, l'utilisation et l'industrialisation des services de la plateforme, et vous garantissez le respect des standards d'architecture, de gouvernance et de sécurité. Vous travaillez en étroite collaboration avec les équipes Data Engineering, Data Science, Business Intelligence, Architecture, Sécurité et les équipes métiers. Support aux projets Data & IA : Accompagner les projets dans leur intégration à la plateforme Data AWS Intervenir dans les phases de cadrage et de conception des solutions Data & IA Conseiller les équipes sur les bonnes pratiques AWS et SageMaker Unified Studio Identifier les architectures les plus adaptées aux besoins métiers Assister les équipes projets dans la résolution des problématiques techniques liées aux données Contribuer à la mise en oeuvre de nouveaux cas d'usage analytiques, décisionnels et IA Gestion et évolution de la plateforme : Administrer et maintenir les environnements SageMaker Unified Studio Assurer la disponibilité, la performance et la fiabilité des services Participer à l'évolution de l'architecture selon les nouveaux besoins Contribuer à l'introduction de nouveaux services AWS et de nouvelles capacités Data & AI Suivre la consommation des services et proposer des optimisations techniques Gouvernance et partage des données : Accompagner les équipes dans la publication et la consommation des actifs de données Participer à la mise en oeuvre des règles de gouvernance et de qualité des données Veiller au respect des standards de sécurité et des politiques d'accès Faciliter le partage et la valorisation des données entre les entités Support opérationnel et expertise : Assurer le support de niveau expert sur les composants de la plateforme Analyser les incidents et proposer les actions correctives Accompagner les utilisateurs dans la prise en main des services Produire et maintenir la documentation technique et les guides de bonnes pratiques Animer des ateliers techniques avec les équipes projets et les parties prenantes

- Maîtrise des solutions de stockage en mode objet comme Amazon S3 (et/ou Scality S3). - Compréhension des concepts fondamentaux du stockage objet, y compris la gestion des métadonnées, la durabilité et la redondance. - Connaissance des bibliothèques Python pour interagir avec des API de stockage (Boto3 pour AWS). - Capacité à écrire des scripts pour automatiser des tâches de gestion des données - Compréhension des formats de fichiers (JSON, XML, etc.) souvent utilisés dans les systèmes de stockage en mode objet. - Connaissance des systèmes d'exploitation Linux et des principes de configuration des serveurs. - Capacité à surveiller et à analyser les performances des systèmes de stockage et à identifier les goulots d'étranglement - Prend en charge le maintien en conditions opérationnelles des infrastructures matérielles et logicielles relatives à son domaine de responsabilité, traite les incidents et problèmes pouvant survenir sur les plates-formes Peut participer aux études d'évolution de l'infrastructure (Design) - Assure l'ingénierie, lors de la construction/installation/paramétrage des plates-formes techniques dans le cadre des projets (BUILD) - Réalise l'installation des infrastructures, le paramétrage et la validation des composants de l'infrastructure - Coordonne le cas échéant les différents intervenants techniques qui interviennent dans le processus d'installation - Peut intervenir directement sur la qualification des plates-formes informatiques avant la phase de mise en production Assure le bon fonctionnement des plates-formes techniques (RUN) - Garantit la disponibilité des ressources techniques - Analyse et corrige les incidents en niveaux 2 et 3 - Assure l'exploitation des composants techniques et participe à la gestion de leurs capacity planning Réalise des diagnostics pour identifier les causes de dysfonctionnement et propose des corrections et des solutions de contournement - Maintien en condition opérationnelle les infrastructures dans un objectif de qualité, de productivité et de séc - Pilote la démarche de progrès et d'amélioration continue - Propose des solutions innovantes pour améliorer la fiabilisation, la sécurisation et l'optimisation de son domaine d'activité - Démarche d'industrialisation - Définit et met en oeuvre les règles de bonne gestion et d'exploitabilité des systèmes ou produits - Garantit le bon niveau de qualité de service en cohérence avec les exigences des contrats de services (SLA sur son domaine de responsabilité

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

Contexte Dans le cadre du renforcement d'une plateforme data moderne, l'entreprise recherche un Data Engineer capable de concevoir, développer, déployer et maintenir des pipelines de données robustes dans un environnement cloud. Le poste s'inscrit dans une logique d'industrialisation de la donnée, de fiabilisation des traitements et d'amélioration continue des pratiques DevOps et DataOps. Missions principales Concevoir, développer et maintenir des pipelines de données scalables et performants en environnement cloud. Développer les traitements de transformation et d'automatisation avec SQL et Python. Modéliser les données dans Snowflake et mettre en œuvre les transformations avec dbt. Orchestrer et superviser les workflows de données avec Airflow. Mettre en place des pratiques CI/CD et de versioning avec GitLab afin d'industrialiser les déploiements data. Gérer et automatiser l'infrastructure via Terraform dans une approche Infrastructure as Code. Exploiter les services AWS, notamment S3 pour le stockage et ECS / EC2 pour l'exécution et le déploiement des composants techniques. Collaborer avec les équipes métiers, produit, data et DevOps pour traduire les besoins en solutions data fiables et maintenables. Documenter les pipelines, modèles et traitements afin d'assurer la maintenabilité et la qualité des livrables. Environnement technique Domaine Technologies Langages SQL, Python Data Warehouse Snowflake Transformation dbt Orchestration Airflow Cloud AWS Services AWS S3, ECS, EC2 IaC Terraform DevOps / Versioning GitLab, CI/CD

Notre client s'appuie sur une équipe Data centrale pour exploiter une grande diversité de sources de données et générer des indicateurs à forte valeur ajoutée au service de ses activités. Dans le cadre du renforcement de son équipe Data Platform, nous recherchons un(e) Senior Cloud Data Platform Engineer qui contribuera à l'optimisation et à l'évolution de la plateforme data cloud, garantissant une intégration fluide des données à l'échelle de l'organisation. Vos missionsConcevoir et développer des templates d'Infrastructure as Code (IaC) avancés et réutilisables pour provisionner et gérer les ressources cloud, selon les meilleures pratiques et des standards d'architecture robustes. Architecturer des blueprints applicatifs complets permettant des workflows de data engineering scalables et fiables. Maintenir les projets AWS existants et accompagner les Data Engineers de l'organisation dans l'utilisation de la plateforme, en lien avec l'équipe Data Support.

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Lead Data Engineer (H/F) H/F Description de la mission : Fiche de poste — Lead Data Engineer (H/F) Contexte et objectif de la mission Dans le cadre d'un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l'échelle mondiale, aujourd'hui fragmentée. L'objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l'Australie. Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l'architecture, le delivery et la qualité des données. Stack technique • Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink • Gouvernance des données : Unity Catalogue, Collibra • Visualisation : Power BI • Cloud : AWS • Streaming : Confluent Kafka • Langages : Python, SQL • IA & coding : GitHub Copilot, Claude Code, outils LLM • Collaboration : Jira, Confluence, SonarQube Missions principales Stratégie & Architecture Data • Définir l'architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts) • Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales • Mettre en place la gouvernance des données, la qualité et l'observabilité • Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a service Leadership & Delivery • Être le référent technique data du programme • Choisir les partenaires et structurer une feature team de 5 à 6 personnes • Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution • Gérer le monitoring, la performance et l'optimisation FinOps des workloads data • Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as code IA & Vélocité • Exploiter GitHub Copilot, Claude Code ou équivalents pour accélérer le développement des pipelines et modèles • Intégrer des cas d'usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM • Automatiser la génération de code, les tests de qualité des données et la documentation • Conserver la maîtrise technique tout en augmentant la vélocité grâce à l'IA Spécificités de l'équipe Le périmètre comprend un chantier amont de migration de l'ensemble des données France vers l'écosystème Kaluza, dans le cadre d'un programme de replatforming B2C. Cette migration implique deux modules en amont : • Module d'éligibilité : définir les paramètres business pour les parcours clients/agents • Module ETL : récupérer et transformer les données provenant de nombreux systèmes d'information avant injection dans Kaluza Complexité forte de l'ETL : • Orchestration multi-sources • Micro-batch quotidien pendant plusieurs mois • Gestion d'un service managé AWS (Glue, Step Functions, S3, Lambda…) • Connexions API pour orchestrer les flux Compétences appréciées • Expérience Unity Catalogue et gouvernance des données à l'échelle • Connaissance de Confluent Kafka et du streaming • Familiarité avec Collibra ou équivalent • Expérience en data modelling dans un contexte B2C • Déploiements IA/ML en production, incluant MLflow, feature engineering et pipelines LLM • Expérience de contextes multi-pays ou de data platform cross-entités Compétences / Qualités indispensables : Databricks et architecture lakehouse, AWS data managé (Glue, Step Functions, S3), Python / PySpark / SQL, DataOps et CI/CD data, Leadership technique et delivery end-to-end, Usage d'outils IA de développement (GitHub Copilot) Compétences / Qualités qui seraient un + : Unity Catalogue et gouvernance des données à l'échelle, Confluent Kafka et streaming, Collibra, data modelling B2C, déploiements IA/ML en production, contextes multi-pays ou cross-entités Informations concernant le télétravail : Environ 3 jours par semaine, flexible selon l'autonomie