Trouvez votre prochaine offre d’emploi ou de mission freelance Amazon S3

Description détaillée Maîtrise des solutions de stockage en mode objet comme Amazon S3 (et/ou Scality S3). Compréhension des concepts fondamentaux du stockage objet, y compris la gestion des métadonnées, la durabilité et la redondance. Connaissance des bibliothèques Python pour interagir avec des API de stockage (Boto3 pour AWS). Capacité à écrire des scripts pour automatiser des tâches de gestion des données Compréhension des formats de fichiers (JSON, XML, etc.) souvent utilisés dans les systèmes de stockage en mode objet. Connaissance des systèmes d'exploitation Linux et des principes de configuration des serveurs. Capacité à surveiller et à analyser les performances des systèmes de stockage et à identifier les goulots d'étranglement.

Contexte de la mission : La Business Unit (BU) Infrastructures assure les missions de gestionnaire d'infrastructures du réseau d'Ile-de-France de la Régie Autonome des Transports Parisiens. Cette BU de plus de 3000 personnes est responsable de l'aménagement, de l'entretien et du renouvellement de l'infrastructure, et garantit dans la durée le maintien des conditions de sécurité, d'interopérabilité et de continuité du service public. Au sein de la BU client Infrastructures, sous la Direction des Projets et de l’Ingénierie, l’Unité « Ouvrages et Infrastructures des Transports » (OIT) réalise, dans le cadre de projets de construction ou de rénovation, les études de conception et le suivi de de réalisation des ouvrages et infrastructures du transport pour les réseaux Métro, RER, Tramway et BUS. La formalisation et l’établissement de devis détaillés de frais d’études et de surveillance de missions de maîtrise d’œuvre et d’assistance à maîtrise d’ouvrage ; L’édition et le suivi de registres de données d’entrées pour permettre le lancement et la réalisation des projets ; L’édition et le suivi de registres des risques pour anticiper et maîtriser les problématiques projets ; L’estimation des coûts travaux en phases de conception avec un découpage par ouvrage et une catégorisation par type et nature de prix unitaires ; La création de fiches de contrôles extérieurs terrain (check-lists pense-bête, prises de photos avec cotations et commentaires, insertions de plans avec annotations…) Le pilotage et le suivi qualité, coûts, délais, sécurité de chaque projet d’investissement sous l’égide de l’unité OIT ; Le reporting financier global des coûts travaux du portefeuille d’affaires de l’unité OIT avec une estimation des accostages et des crédits de paiement à venir ; La mise en place de supports d’analyse de données pour visualiser rapidement les plans de charge des différents groupes de l’unité, les imputations comptables des collaborateurs, les taux d’activités de production, la constitution des effectifs (évolutions, taux de rotations, postes critiques…) mais aussi pour permettre d’interpréter les résultats d’enquêtes ou de questionnaires internes ; Le lancement et le suivi d’appels d’offre pour des prestations intellectuelles externalisées ; L’actualisation automatique de l’organigramme de l’unité (format de présentation spécifique) sur la base d’une liste SharePoint dédiée.

Résumé de la prestation : Nous recherchons un expert technique de haut niveau pour accompagner notre client dans la conception, la mise en œuvre, l'optimisation et la maintenance d'une infrastructure de stockage objet basée sur MinIO. Le candidat doit justifier d'une expérience significative en environnement de production avec des contraintes de haute disponibilité, performance et scalabilité. Compétences clés : Maîtrise approfondie de MinIO et de l'écosystème S3 : Expertise de l'API S3 : gestion des objets, versioning, politiques de cycle de vie, multipart upload, presigned URLs. Architecture MinIO : fonctionnement du mode distribué, erasure coding, processus de guérison automatique. Déploiement et configuration : clusters à grande échelle (500-900TB ciblés à 5 ans), sur bare-metal, VM ou conteneurisé (Kubernetes, Docker). Sécurité : chiffrement, gestion IAM, intégration LDAP/Active Directory. Haute disponibilité et scalabilité : Conception d'architectures résilientes (multi-nœuds, multi-sites). Scalabilité horizontale : ajout de nœuds sans interruption, rééquilibrage automatique. Gestion des défaillances et stratégies de reprise après sinistre. Performance et optimisation : Analyse des performances avec outils comme warp (latence, débit). Identification et résolution des goulots d'étranglement (réseau, disques NVMe, système). Connaissance des stratégies de mise en cache pour améliorer les performances de lecture. Type de rémunération : Tarif journalier selon profil. Secteur d'activité : Administration Publique.

CONTEXTE Experience : 5 ans et plus Métiers Fonctions : Production, Exploitation, InfrastructureExpert Spécialités technologiques :Stockage,API,ML Compétences Technologies et Outils Docker Active Directory Kubernetes LDAP Soft skills Autonomie Rigueur Nous recherchons un expert technique de haut niveau pour accompagner notre client dans la conception, la mise en œuvre, l'optimisation et la maintenance de notre infrastructure de stockage objet basée sur MinIO. Le candidat retenu devra justifier d'une expérience significative en environnement de production, avec des contraintes fortes de haute disponibilité, de performance et de scalabilité. MISSIONS Maîtrise approfondie de MinIO et de l'écosystème S3 - Expertise de l'API S3 : Connaissance complète des fonctionnalités de l'API S3 (gestion des objets, versioning, politiques de cycle de vie, multipart upload, presigned URLs, etc.). - Architecture MinIO : Compréhension fine de l'architecture de MinIO, y compris le fonctionnement du mode distribué, l'erasure coding pour la protection des données, et le processus de guérison automatique (healing). - Déploiement et Configuration : Expérience avérée dans le déploiement de clusters MinIO à grande échelle, que ce soit sur des serveurs bare-metal, des machines virtuelles ou dans un environnement conteneurisé (Kubernetes, Docker). L’échelle en terme de stockage est entre 500 et 900TB en cible à 5ans. - Sécurité : Maîtrise des aspects de sécurité liés à MinIO, incluant le chiffrement (côté serveur et côté client), la gestion des identités et des accès (IAM), et l'intégration avec des fournisseurs d'identité (LDAP, Active Directory). Haute Disponibilité et Scalabilité - Conception d'Architectures Résilientes : Capacité à concevoir et à mettre en œuvre des architectures MinIO garantissant une haute disponibilité (multi-nœuds, multi-sites). - Scalabilité Horizontale : Expérience dans l'ajout de nouveaux nœuds à un cluster MinIO existant sans interruption de service et connaissance des mécanismes de rééquilibrage automatique. - Gestion des Défaillances : Solide expérience dans la gestion des pannes (disques, nœuds) et les stratégies de reprise après sinistre. Performance et Optimisation - Analyse de Performance : Compétence dans l'utilisation d'outils de benchmark (comme warp) pour mesurer et analyser les performances (latence, débit) d'un cluster MinIO. - Optimisation : Capacité à identifier et à résoudre les goulots d'étranglement, que ce soit au niveau matériel (réseau, disques NVMe), système ou applicatif. - Caching : Connaissance des stratégies de mise en cache pour optimiser les performances des lectures. Expertise souhaitée Expérience de Production et Références Exigées Le candidat doit pouvoir présenter de manière détaillée une ou plusieurs implémentations significatives en environnement de production : - Description du Cas d'Usage : Quel était le besoin métier (stockage pour de l'analytique, de l'IA/ML, des sauvegardes, des médias, etc.) ? - Volumétrie et Charge : Quelle était la volumétrie des données gérées et le niveau de trafic (nombre de requêtes par seconde) ? - Enjeux de Performance : Description des défis spécifiques liés à la performance et des solutions mises en place pour y répondre. - Incidents et Résolution : Exemples concrets d'incidents de production gérés et des leçons apprises. Connaissance d'une Solution Alternative : Une expérience significative avec une autre solution de stockage objet compatible S3 est un atout majeur. Le candidat devrait être capable de comparer MinIO à cette alternative sur des critères techniques et opérationnels. Exemples de solutions alternatives pertinentes : - Ceph - OpenIO - Garage - Services S3 natifs dans un contexte cloud privé SecNumCloud Qualités Personnelles - Autonomie et Proactivité : Capacité à travailler de manière autonome, à diagnostiquer des problèmes complexes et à proposer des solutions robustes. - Rigueur et Méthodologie : Approche structurée dans la résolution des problèmes et la gestion des environnements de production. - Bonne Communication : Aptitude à communiquer clairement sur des sujets techniques complexes avec différentes équipes.

Mission : Au sein de l’équipe Data RH d’un grand groupe international du secteur de l’énergie, vous pilotez la conception, l’automatisation et la gouvernance des flux de données RH. Vous assurez la qualité, le catalogage et la visualisation des données pour soutenir les décisions et la transformation globale du Groupe. Responsabilités principales : Concevoir, automatiser et maintenir les dataflows et ETL via Dataiku et Amazon S3. Garantir la traçabilité, la fiabilité et la qualité des données RH (DQI, gouvernance, catalogage). Développer des dashboards et rapports Power BI pour faciliter les décisions opérationnelles et stratégiques. Collaborer avec les équipes RH, RUN/HRIS et Data Governance pour harmoniser les modèles de données et résoudre les anomalies. Participer à la standardisation, documentation et amélioration continue des processus et outils.

Nous recherchons un AWS Data Engineer (niveau Tech Lead) pour rejoindre nos équipes dans le cadre d’un projet stratégique autour de la donnée au sein d’un environnement cloud à forte volumétrie. 🎯 Vos missions principales : Concevoir, développer et optimiser des pipelines de données robustes, scalables et sécurisés sur AWS. Intervenir sur l’ensemble du cycle de vie Data : BUILD (architecture, développement, intégration) et RUN (optimisation, monitoring, support). Définir et faire évoluer les bonnes pratiques d’ingénierie data au sein des équipes. Collaborer avec les équipes métiers pour comprendre les besoins et proposer des solutions performantes et industrialisées . Garantir la qualité, la fiabilité et la performance des traitements de données dans un contexte exigeant.

ATTENTION, 2 jours par semaine sur site client obligatoire SVP POSITIONNEZ LES PROFILS SUR TURNOVER IT, LES CVs ENVOYES PAR MAILS NE SERONT PAS ETUDIES. Nous recherchons un(e) Développeur(se) expérimenté(e) en Java Spring Boot pour contribuer à la livraison d’un ou plusieurs Domain Services. Ces services, exposés via API, doivent répondre à plusieurs objectifs métiers. Compétences et expériences requises Expertise technique sur : Java Spring Boot GraphQL Apache Kafka Développement de services REST API et SOAP Intégration asynchrone (ex : architecture orientée événements, files de messages) Compétences appréciées (atouts) Expérience avec les services AWS : EKS (Elastic Kubernetes Service) SQS (Simple Queue Service) S3 (Simple Storage Service) Maîtrise de PostgreSQL Connaissance des pipelines CI/CD, du monitoring et du logging dans des environnements cloud-native Expérience avec Kubernetes

Devops VITROLLES Kafka connect - Avancé, AWS - Expert, AWS S3 - Avancé, Gitlab CI/CD - Expert, Certificat SSL - Avancé, Helm Charts - Avancé, Programmation Python - Avancé Objectifs et livrables L’expertise technique Devops cloud public/privé sur le Datalake (plateforme Big Data) consistera à : • Designer des modèles de CI et CD stratégiques pour permettre des déploiements sur tous les environnements (dev, int, preprod et prod) • Développer les pipelines gitlab de CI et CD pour assurer le build, déploiement et configuration des composants du datalake sur le cloud public AWS et du datalake sur cloud privé • Documenter les modes opératoires associées à ces pipelines • Accompagner et assurer un support niveau 2 aux ROA lors des déploiements sur les différents environnements • Contribuer à l’amélioration continue des outils de déploiement • Communication auprès des utilisateurs finaux Compétences demandées Devops Kafka connect - Avancé AWS - Expert AWS S3 - Avancé Gitlab CI/CD - Expert Certificat SSL - Avancé Helm Charts - Avancé Programmation Python - Avancé

Notre client basé à Nancy (54) est à la recherche d’un Ingénieur de Production (H/F) pour l’accompagner sur ses projets. MISSIONS · Prendre en charge l’intégration de nouvelles applications ou de progiciels, depuis la phase de réception jusqu’à la mise à disposition · Effectuer la réception, la validation et le packaging des composants applicatifs. · Installer et déployer les composants sur les environnements cibles · Réaliser la recette technique et l’homologation des applications avant leur mise en production · Participer activement à l’amélioration continue des processus et des outils d’industrialisation et de déploiement · Analyser le contexte technique et prenez connaissance des changements à intégrer · Compléter et exécuter le plan de tests techniques, en préparant les infrastructures nécessaires · Valider les documents et procédures destinés à la production · Réaliser les tests techniques (performance, intégration, compatibilité, etc.) et analysez les résultats · Contribuer au diagnostic et à la résolution des incidents en cas de dysfonctionnement · Rédiger des rapports détaillés facilitant la prise de décision pour la mise en production · Mettre à jour le patrimoine de tests réutilisable pour les futures intégrations · Assurer un reporting régulier et proposez des actions d’amélioration continue · Industrialiser et automatiser les tests récurrents à l’aide d’outils adaptés ENVIRONNEMENT TECHNIQUE · Systèmes : Linux · Cloud : AWS (EC2, S3, IAM, CloudFormation, EKS, etc.) · Outils DevOps : CI/CD, outils d’automatisation et de conteneurisation (OpenShift, Docker, Kubernetes) · Langages et scripting : Shell / Bash / Python

Contexte du projet Notre client met en place et fait évoluer une Data Platform permettant l’intégration, la mise en qualité et la mise à disposition de données (brutes ou retravaillées) issues de plusieurs producteurs, afin de répondre à des besoins opérationnels et analytiques à grande échelle. Missions principales Recueillir, challenger et prioriser les besoins métiers Construire et maintenir le backlog produit (rédaction de user stories et critères d’acceptance) Collaborer avec les Data Engineers, développeurs et QA pour livrer les fonctionnalités attendues Garantir la qualité fonctionnelle des livrables et leur adéquation aux besoins Animer les cérémonies agiles (daily, sprint planning, reviews, rétrospectives) Interagir avec des interlocuteurs internationaux (anglais opérationnel requis)

Axone by Synapse, cabinet de conseil IT innovant, recherche pour l’un de ses clients, un INGENIEUR DEVOPS AWS H/F orienté développement pour une mission longue durée. Vous interviendrez au sein d’une équipe de haut niveau technique afin de faire évoluer et maintenir en condition opérationnelle l’usine logicielle et la plateforme Cloud du groupe. Vous serez responsable de l’industrialisation, de l’automatisation et de l’optimisation des déploiements applicatifs sur AWS. Votre maîtrise des outils DevOps et votre sensibilité développeur vous permettront d’accompagner efficacement les équipes de développement dans la mise en place de solutions robustes, sécurisées et performantes. Objectif et livrables: Maintenir et faire évoluer la plateforme Cloud AWS et l’usine logicielle du groupe. Définir et implémenter des pipelines CI/CD efficaces sous GitLab CI. Garantir la fiabilité, la sécurité et la performance des environnements de production. Participer à la conception d’architectures cloud optimisées (coûts, résilience, scalabilité). Fournir un support technique de référence aux équipes Dev. Compétences attendues: AWS (EKS, EC2, S3, IAM, CloudFormation) : excellente maîtrise des services cloud et des bonnes pratiques de déploiement. Kubernetes : expertise dans la conception, la gestion et l’optimisation de clusters. Terraform : création et automatisation de l’infrastructure as code. Docker : maîtrise de la conteneurisation et de l’orchestration des applications. CI/CD (GitLab CI) : création de pipelines de déploiement automatisés et sécurisés. Linux / scripting (Bash, Python) : forte autonomie sur les environnements système. FinOps et observabilité : bonne compréhension de l’optimisation des coûts et de la supervision. Culture développement : capacité à comprendre les contraintes logicielles et à accompagner les devs. Télétravail : Flexible – idéalement 2 à 3 jours sur site par semaine à Amiens, sinon full remote possible pour un profil expert. Type de contrat : Mission freelance / longue durée (8 mois renouvelables) MERCI DE POSTULER UNIQUEMENT SI VOUS RESPECTEZ LE TJM INDIQUÉ

Data engineering (2 profils identiques), pour concevoir, construire et gérer l’infrastructure AWS · Minimum de 4 ans d’expériences significative dans le type d’expertise demandé · Expérience en ingénierie de données, en particulier avec les technologies de big data : EXPERT · Connaisse de l’ingénierie de traitement de la donnée non structurée : CONFIRME · Connaissance en architecture micro-service et l’utilisation d’API externe : CONFIRME · Connaissance des langages de programmation et de Génie Logiciel (Python) : · Programmation Orientée Objet : MAITRISE · Connaissance et utilisation des Design Patterns standard : MAITRISE · Frameworks/Librairies de tests : MAITRISE · Observabilité applicative : CONFIRME · Mesures de performances : CONFIRME Expérience avec les bases de données SQL et Graph : CONFIRME · Connaissance des technologies de conteneurisation : o Utilisation de la CLI Docker : MAITRISE o Création et optimisation des images : MAITRISE o Utilisation de docker-compose : CONFIRME o Utilisation de la CLI Kubernetes : MAITRISE o Création et utilisation des déploiements Kubernetes : CONFIRME o Résolution de problèmes sur environnement Kubernetes : CONFIRME o Utilisation de Helm pour le déploiement de workload sur Kubernetes : CONFIRME Compétence des technologies de CI/CD et Infra as Code : Expérience du process GitFlow : MAITRISE Utilisation des commits sémantiques/feature branches : MAITRISE Mise en place de pipelines/jobs : CONFIRME Mise en place de process GitOps : CONFIRME Utilisation des concepts, modules et templates Teraform : MAITRISE Utilisation de Ansible : CONNAISSANCE Capacité à travailler en équipe et à communiquer efficacement (Agile, JIRA) : MAITRISE Expérience des services AWS suivants : IAM : mise en place de rôles/policies (CLI et Terraform) : CONFIRME S3 : gestion des buckets/cycle de vie des objets : MAITRISE Lambda : Déploiement de lambda utilisant des conteneurs sur ECR via Terraform. Déclenchement via Triggers S3/EventBridge. Optimisation de l’utilisation des ressources et du scaling : MAITRISE Secret Manager : Création et accès via Terraform. Gestion du cycle de vie : CONFIRME VPC & Security Groups : Compréhension des concepts réseaux et de sécurité : CONFIRME Une connaissance du service publique et des Médias est souhaitée .

Contexte de la mission En renfort de l’entité Solutions Data , le Data Engineer Senior interviendra dans un environnement hybride Cloud / On-Premise (cible On-Premise) pour participer activement aux activités Run, Build, Expertise et Accompagnement . 🚀 Missions principales Participer à l’élaboration du design technique des produits logiciels. Contribuer à la recherche et mise en œuvre de solutions techniques adaptées. Prendre en charge une partie des développements . Accompagner et coacher les autres développeurs (optimisation de code, bonnes pratiques). Collaborer avec l’ architecte Data pour l’intégration des produits dans le SI. Garantir la qualité des produits logiciels livrés. Accompagner les directions métiers dans la réalisation de leurs cas d’usage Data. 🔧 Compétences obligatoires Spark / Java (maîtrise avancée) Python (maîtrise avancée) SQL (maîtrise avancée) Cloud AWS : S3, Glue, Redshift, Step Functions, Lambda CI/CD : Git, Jenkins ETL : XDI et/ou ODI 🌟 Compétences souhaitées (atouts) Docker Terraform Power BI / Business Objects 📍 Localisation Mission basée à Châtillon (92) .

Devops VITROLLES Kafka connect - Avancé, AWS - Expert, AWS S3 - Avancé, Gitlab CI/CD - Expert, Certificat SSL - Avancé, Helm Charts - Avancé, Programmation Python - Avancé Objectifs et livrables L’expertise technique Devops cloud public/privé sur le Datalake (plateforme Big Data) consistera à : • Designer des modèles de CI et CD stratégiques pour permettre des déploiements sur tous les environnements (dev, int, preprod et prod) • Développer les pipelines gitlab de CI et CD pour assurer le build, déploiement et configuration des composants du datalake sur le cloud public AWS et du datalake sur cloud privé • Documenter les modes opératoires associées à ces pipelines • Accompagner et assurer un support niveau 2 aux ROA lors des déploiements sur les différents environnements • Contribuer à l’amélioration continue des outils de déploiement • Communication auprès des utilisateurs finaux Compétences demandées Devops VITROLLES Kafka connect - Avancé AWS - Expert AWS S3 - Avancé Gitlab CI/CD - Expert Certificat SSL - Avancé Helm Charts - Avancé Programmation Python - Avancé

Devops VITROLLES Kafka connect - Avancé, AWS - Expert, AWS S3 - Avancé, Gitlab CI/CD - Expert, Certificat SSL - Avancé, Helm Charts - Avancé, Programmation Python - Avancé Objectifs et livrables L’expertise technique Devops cloud public/privé sur le Datalake (plateforme Big Data) consistera à : • Designer des modèles de CI et CD stratégiques pour permettre des déploiements sur tous les environnements (dev, int, preprod et prod) • Développer les pipelines gitlab de CI et CD pour assurer le build, déploiement et configuration des composants du datalake sur le cloud public AWS et du datalake sur cloud privé • Documenter les modes opératoires associées à ces pipelines • Accompagner et assurer un support niveau 2 aux ROA lors des déploiements sur les différents environnements • Contribuer à l’amélioration continue des outils de déploiement • Communication auprès des utilisateurs finaux Compétences demandées Kafka connect - Avancé AWS - Expert AWS S3 - Avancé Gitlab CI/CD - Expert Certificat SSL - Avancé Helm Charts - Avancé Programmation Python - Avancé

Objectif de la mission Dans le cadre d’un programme de transformation vers le cloud de confiance, le Cloud Migration Partner jouera un rôle clé dans la définition de stratégies de migration, l’analyse des applications existantes, et la conception des architectures cibles cloud-native. L’objectif est de faciliter l’adoption du cloud en intégrant les meilleures pratiques DevOps, CI/CD et de modernisation logicielle. Responsabilités principales Réaliser des audits techniques des applications existantes (code source, infrastructure, flux de données, stockage, dépendances). Lire et analyser du code fullstack (Java, Python, JavaScript, SQL…) afin d’identifier les patterns techniques et les difficultés de migration. Identifier les obstacles potentiels et proposer des stratégies de migration adaptées (6Rs : Rehost, Refactor, Replatform, etc.). Co-concevoir les architectures cibles sur GCP/S3NS en collaboration avec les équipes produit, infrastructure et sécurité. Intégrer les bonnes pratiques CI/CD dans les recommandations de migration (Git, pipelines, tests automatisés). Produire une documentation claire et structurée (évaluations techniques, roadmaps de migration, architectures cibles). Accompagner et former les équipes IT à l’adoption des outils et pratiques cloud-native.