Find your next tech and IT Job or contract AWS Glue

Contexte Dans le cadre du développement de sa plateforme data, notre client recherche un Data Engineer pour concevoir, industrialiser et maintenir ses flux de données sur un environnement cloud AWS et Snowflake. Missions Concevoir et développer des pipelines d'ingestion et de transformation des données (ETL / ELT) en Python et SQL. Alimenter et modéliser les données dans Snowflake (entrepôt de données, couches de transformation, optimisation des performances et des coûts). Exploiter les services AWS liés à la data (S3, Glue, Lambda…). Mettre en place l'orchestration et la supervision des traitements. Garantir la qualité, la fiabilité et la traçabilité des données (tests, contrôles, documentation). Contribuer aux bonnes pratiques d'ingénierie : versioning Git, CI/CD, revues de code. Collaborer avec les équipes data, BI et métier pour comprendre et traduire les besoins. Profil recherché Minimum [X] ans d'expérience en data engineering. Très bonne maîtrise de Python et de SQL. Expérience confirmée sur Snowflake et sur l'écosystème data AWS. Bonnes pratiques de développement : Git, tests, CI/CD. Atouts appréciés : dbt, Airflow, Terraform, modélisation dimensionnelle, certification SnowPro ou AWS. Langues : [à préciser] Informations pratiques Lieu : [ville] – [sur site / hybride] Démarrage : [date] Durée : [durée] Type : mission en consultance Pour la fiche 2, complète les crochets avec les infos du client. Pour la fiche 1, je n'ai pas indiqué les déplacements ni le niveau d'anglais, puisque tu attends encore la réponse d'Antoine. Ajoute-les dès que tu les as. Je peux aussi te sortir ces fiches en Word ou en PDF avec le logo LETS UP.

Un/une Technical Program Manager (TPM) est recherché(e) pour une mission longue basée à Lille (hybride). Le/la candidat(e) aura pour responsabilités d'aligner les contraintes des différentes équipes, d'orchestrer des chantiers d'infrastructure clés et de mettre en application les principes de gouvernance de la plateforme Data. La mission s'inscrit dans une transformation majeure du socle Datalake visant la modernisation de la gouvernance et des services Cloud (transition des services legacy d'ingestion et de traitement, ex. AWS Glue, vers un modèle de gouvernance unifié comme Unity Catalog), la rationalisation et le décommissionnement des espaces de stockage historiques (buckets S3 legacy) et l'accompagnement de la conduite du changement. Le/la TPM pilotera la feuille de route stratégique, fluidifiera la relation avec les experts techniques de l'équipe Datalake, animera la communauté des utilisateurs métiers et tech, et veillera au respect des échéances de fin de vie (EOL). Livrables attendus : audit d'usage et cartographie des dépendances, roadmap de migration et de décommissionnement, tableaux de bord de suivi, base de connaissances centralisée, kit de formation, plan de communication et animation récurrente des communautés (Office Hours, ateliers). Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières

Contexte Dans le cadre de notre croissance, nous recrutons Deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer Senior à posture de lead, pour porter une plateforme de données AWS lancée from scratch pour une équipe des marchés actions. Chaque nuit, des batchs produisent des prix, des sensibilités et du PnL sur plusieurs centaines de millions de lignes. Les équipes métier connaissent ces données, mais ont besoin d'un expert pour construire des pipelines industriels. Vous pilotez le projet au quotidien, en appui du Tech Lead qui valide les grandes orientations. Vos missions : - Porter le projet de bout en bout : cadrage avec le métier, découpage, priorisation et plan de livraison. - Proposer et défendre les choix d'architecture, et arbitrer en autonomie. - Encadrer deux développeurs (un junior, un confirmé) : standards de code, revues, montée en compétences. - Définir la stratégie de refactoring d'un projet existant, priorisée par risque et par valeur. - Construire un framework commun piloté par configuration et développer les pipelines Python / PySpark sur AWS Glue. - Orchestrer avec Step Functions et EventBridge, organiser le stockage S3 (Parquet ou Iceberg) et l'exposition via Glue Data Catalog et Athena. - Mettre en place la qualité des données et le monitoring, et optimiser performances et coûts. - Industrialiser avec l'équipe DevOps : Terraform, CI/CD, tests. Vous rejoignez Ingéniance en CDI et intégrez une communauté d'experts de la data et de la finance de marché. Ref : O-SIYUA

Mission de 3 mois et 10 jours, à temps plein (full remote) , s'étendant du 21 septembre au 31 décembre 2026, dans le secteur de la gestion de données. Elle vise à concevoir, mettre en œuvre et maintenir une infrastructure et un processus d'intégration et de déploiement continus (CI/CD) pour l'équipe de l'entrepôt de données, en se concentrant sur les procédures DDL d'AWS Redshift et le code ETL basé sur AWS Glue. Objectifs et livrables Développement et optimisation des pipelines CI/CD : Concevoir, construire et maintenir des pipelines CI/CD robustes qui automatisent le cycle de vie du développement logiciel. Optimiser les performances des pipelines pour réduire les temps de construction et améliorer la fréquence des déploiements. Mettre en œuvre des cadres de tests automatisés, incluant des tests unitaires, des tests d'intégration et des tests de bout en bout. Établir des portes de qualité de code et des analyses de sécurité au sein du pipeline. Configuration et administration de GitLab : Configurer et gérer les instances GitLab. Mettre en œuvre les meilleures pratiques GitLab, y compris les stratégies de branchement, les flux de travail de demande de fusion et les contrôles d'accès. Gérer les intégrations GitLab avec des outils et services tiers. Mettre en œuvre des stratégies de reprise après sinistre et de sauvegarde pour les environnements GitLab. Mise en œuvre et standardisation des processus : Développer et documenter les normes, meilleures pratiques et directives CI/CD pour les équipes de développement. Concevoir et mettre en œuvre des stratégies de déploiement (bleu-vert, canari, déploiements progressifs) qui soutiennent les environnements d'entrepôt de données DEV, UAT et PROD. Créer des guides d'exécution et de la documentation pour les opérations CI/CD courantes et le dépannage. Établir des indicateurs de performance clés (KPI) pour mesurer l'efficacité des pipelines et la productivité de l'équipe. Mener des initiatives d'amélioration des processus et mener des rétrospectives régulières.

VOS MISSIONS • Concevoir et développer les composants d'ingestion, de traitement, de normalisation et de distribution des données. • Construire et améliorer le framework commun, notamment le monitoring, la CI/CD, les tests, la performance, la résilience et la qualité du code. • Recueillir, comprendre, challenger et affiner les besoins métiers. • Concevoir des solutions conformes aux directives d'architecture et aux standards internes du Groupe. • Piloter les activités de développement et contribuer en qualité de profil senior / expert. • Identifier les goulots d'étranglement et les anomalies, puis proposer des solutions d'amélioration continue. • Livrer des services prêts pour la production, avec les outils de supervision et d'alerte associés. • Rédiger et maintenir la documentation technique en anglais, et accompagner les déploiements dans différents pays.

Bonjour à tous, Mission Data Engineer Senior / Expert – Lakehouse AWS Nous recherchons 2 Data Engineers Senior / Experts pour accompagner une équipe Data dans la conception, l'industrialisation et l'évolution de solutions data à grande échelle. La mission · Concevoir et optimiser des pipelines de données · Développer des flux batch, streaming et API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Contribuer à l'évolution d'une architecture Lakehouse · Garantir la qualité, la supervision et l'observabilité des traitements Stack technique Spark / PySpark • Python • AWS • DBT • Iceberg Airflow • Terraform • Docker • KubernetesAWS S3, Glue, EMR Trino / Starburst • Datadog ➕ Data Catalog 📍 Localisation : Île-de-France 🏠 Télétravail : 3 jours/semaine 📅 Démarrage : dès que possible ⏳ Durée : jusqu'à août 2027 🎓 Expérience : 8 ans minimum en Data Engineering Vous avez une solide expérience en Data Engineering, Big Data et architectures Lakehouse et vous maîtrisez Spark, AWS, Python et DBT ? 📩 N'hésitez pas à me contacter en MP ou à partager votre CV.

Contexte Dans le cadre d'un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l'évolution d'une Data Platform destinée à alimenter des solutions métiers et des cas d'usage IA. La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse. Missions Participer à la définition et à l'évolution de l'architecture de la Data Platform et du Lakehouse. Concevoir, développer et optimiser des pipelines d'ingestion et de transformation de données. Développer des jobs Data avec AWS Glue, Spark et PySpark. Intégrer les services AWS dédiés au Data Management. Développer et maintenir des API en Java 17/21 avec Spring Boot. Traiter des données internes et provenant de fournisseurs externes. Traduire les besoins fonctionnels en solutions techniques fiables et évolutives. Participer à la mise en place d'un environnement Data Lab. Industrialiser les développements et les déploiements avec des pipelines CI/CD. Mettre en place les tests automatisés et les contrôles de qualité du code. Garantir la sécurité, la performance et la maintenabilité des solutions. Participer aux mises en production. Assurer le support de production en cas d'incident majeur. Produire et maintenir la documentation technique. Compétences techniquesAWS : S3, Glue et services Data associés Data Engineering : Spark, PySpark et Hadoop Lakehouse : Apache Iceberg et Trino Développement : Java 17/21 et Spring Boot Bases de données : PostgreSQL et Oracle Tests : JUnit 5 et Mockito CI/CD : GitLab CI Qualité et gestion des dépendances : SonarQube, Maven et Artifactory Conteneurisation : Docker et Kubernetes GitOps et déploiement : Argo CD Formats : JSON, YAML et XML Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint

Dans le cadre du renforcement d'une équipe Data Platform au sein d'une Digital Factory, nous recherchons un Data Platform & DataOps Engineer confirmé pour contribuer à l'exploitation, à l'industrialisation et à l'évolution de plateformes Data dans un environnement Cloud AWS. Votre rôle sera essentiel pour garantir la disponibilité, la sécurité, la performance et l'automatisation des services Data, tout en accompagnant les équipes Data Engineering, BI et Architecture. Vos principales responsabilités Data Platform & Cloud AWS Administrer et faire évoluer les plateformes Data. Concevoir et maintenir des architectures Cloud scalables, sécurisées et résilientes. Gérer les pipelines d'intégration, les environnements DEV/TEST/PROD et les habilitations. Optimiser les coûts d'infrastructure AWS dans une logique FinOps. DataOps, DevOps & automatisation Industrialiser les traitements et les déploiements Data. Mettre en place et maintenir les pipelines CI/CD. Automatiser le provisionnement des infrastructures avec l'Infrastructure as Code. Standardiser les composants Data et renforcer les tests automatisés. Monitoring & support Assurer le support technique N2/N3 et résoudre les incidents complexes. Mettre en place des outils de supervision, des alertes et des tableaux de bord opérationnels. Analyser les performances et anticiper les besoins en capacité. Sécurité & gouvernance Appliquer les standards de sécurité Cloud et de gestion des accès. Contribuer à la gouvernance, à la qualité et à la documentation des plateformes Data. Participer aux revues d'architecture et aux projets de transformation Cloud.

RECHERCHE – DATA ENGINEER SENIOR Je recherche 2 Data Engineers Senior pour intervenir sur un projet Data ambitieux en Île-de-France. 🔹 Expérience : 8 ans minimum en Data Engineering 🔹 Localisation : IDF 🔹 Télétravail : 3 jours/semaine 🔹 Démarrage : ASAP 🔹 Mission longue durée 🛠️ Compétences indispensables : • Python • Spark • AWS (Glue, EMR, S3…) • Big Data • DBT • Architecture Lakehouse • Modélisation et collecte de données • Terraform • Airflow ⭐ Une expérience sur Iceberg et Starburst/Trino est fortement appréciée. Le poste implique également des sujets de pipelines Data à grande échelle, batch/streaming, industrialisation, qualité et observabilité des données. 📩 Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.

RECHERCHE – DATA PLATFORM ENGINEER AWS / DATA & IA Je recherche un Data Platform Engineer expérimenté pour accompagner les équipes projets dans l'adoption, l'utilisation et l'industrialisation d'une plateforme Data & IA basée sur AWS, notamment autour de Amazon SageMaker Unified Studio. Le consultant interviendra comme référent technique de la plateforme, en lien étroit avec les équipes Data Engineering, Data Science, BI, Architecture, Sécurité et métiers. 🔹 Expérience : Confirmée en Data Platform / Cloud AWS 🔹 Environnement : AWS / Data & IA 🔹 Démarrage : ASAP 🔹 Mission longue durée 🔹 Anglais : courant 🛠️ Compétences indispensables : ☁️ AWS / Data Platform : • Excellente maîtrise des services AWS orientés Data & Analytics • Expérience significative sur des plateformes Data Lake / Lakehouse • AWS Glue • Amazon SageMaker Unified Studio • Amazon Redshift • Amazon S3 • AWS Lake Formation • Intégration, catalogage et partage des données 🏗️ Infrastructure & DevOps : • Terraform / Terragrunt • CI/CD • GitLab / Jenkins • Industrialisation et automatisation des environnements 🔐 Gouvernance & sécurité : • Gouvernance et qualité des données • Gestion des accès et politiques de sécurité • Publication et consommation des actifs Data • Partage et valorisation des données 🎯 Missions principales : • Accompagner les projets dans leur intégration à la plateforme Data AWS • Participer au cadrage et à la conception des solutions Data & IA • Conseiller les équipes sur les bonnes pratiques AWS et SageMaker Unified Studio • Administrer et faire évoluer les environnements de la plateforme • Assurer la disponibilité, la performance et la fiabilité des services • Accompagner les équipes dans la résolution des problématiques techniques • Assurer un support de niveau expert et analyser les incidents • Participer à la mise en œuvre de nouveaux cas d'usage Data, Analytics et IA • Animer des ateliers techniques et produire la documentation associée ⭐ Soft Skills recherchés : • Très bonne capacité à communiquer avec des interlocuteurs techniques et métiers • Capacité à vulgariser des sujets techniques complexes • Esprit d'équipe et sens du service • Autonomie et force de proposition • Capacité à transformer les besoins métiers en solutions techniques Cordialement

Nous recherchons un développeur principalement backend microservices expérimenté pour rejoindre une équipe en pleine structuration, dans un environnement technique 100% serverless AWS. • Développer, modifier et maintenir les microservices qui gèrent la donnée client CRM • Concevoir et faire évoluer les interfaces (API REST) entre le CRM et les systèmes consommateurs/producteurs de données client • Garantir la qualité, l'intégrité et la cohérence de la donnée client à travers les différents flux • Participer à la migration de fonctions historiques actuellement portées par une base Oracle vers des architectures serverless (AWS Lambda, AWS Glue), gestion de la rétention GDPR, calcul de la qualité de données... • Contribuer à la synchronisation des données entre le CRM (master) et les systèmes tiers, notamment dans le cadre de la migration e-commerce vers Shopify • Dévelopement Front End ponctuel pour des besoins de console d'administration/monitoring interne • Documenter les développements, les flux et les choix techniques • Travailler en environnement Agile (PI planning, cérémonies SAFe/Scrum) Stack technique : • TypeScript et Node.js • AWS serverless : Lambda, DynamoDB (NoSQL) • API REST, JSON • AWS Glue, scripts d'ETL/migration de données Outils et méthodes : • Git (versioning, branches, pull requests) • CI/CD via Gitlab et release management • Jira, Confluence Référence de l'offre : btt6o3wzj4

Pour notre client, un grand groupe international du secteur de la certification et du TIC, nous recherchons un Data Platform Engineer AWS qui rejoindra l'équipe Architecture & Delivery de sa DSI (environ 10 personnes) à La Défense. Le client industrialise sa plateforme Data & IA sur AWS, avec Amazon SageMaker Unified Studio comme socle. Vous en serez le référent technique : vous accompagnez les équipes projets dans l'adoption, l'utilisation et l'industrialisation des services de la plateforme, et vous garantissez le respect des standards d'architecture, de gouvernance et de sécurité. Vous travaillez en étroite collaboration avec les équipes Data Engineering, Data Science, Business Intelligence, Architecture, Sécurité et les équipes métiers. Support aux projets Data & IA : Accompagner les projets dans leur intégration à la plateforme Data AWS Intervenir dans les phases de cadrage et de conception des solutions Data & IA Conseiller les équipes sur les bonnes pratiques AWS et SageMaker Unified Studio Identifier les architectures les plus adaptées aux besoins métiers Assister les équipes projets dans la résolution des problématiques techniques liées aux données Contribuer à la mise en oeuvre de nouveaux cas d'usage analytiques, décisionnels et IA Gestion et évolution de la plateforme : Administrer et maintenir les environnements SageMaker Unified Studio Assurer la disponibilité, la performance et la fiabilité des services Participer à l'évolution de l'architecture selon les nouveaux besoins Contribuer à l'introduction de nouveaux services AWS et de nouvelles capacités Data & AI Suivre la consommation des services et proposer des optimisations techniques Gouvernance et partage des données : Accompagner les équipes dans la publication et la consommation des actifs de données Participer à la mise en oeuvre des règles de gouvernance et de qualité des données Veiller au respect des standards de sécurité et des politiques d'accès Faciliter le partage et la valorisation des données entre les entités Support opérationnel et expertise : Assurer le support de niveau expert sur les composants de la plateforme Analyser les incidents et proposer les actions correctives Accompagner les utilisateurs dans la prise en main des services Produire et maintenir la documentation technique et les guides de bonnes pratiques Animer des ateliers techniques avec les équipes projets et les parties prenantes

DEVOPS ENGINEER COMPÉTENCES REQUISES JAVA / SPRINTBOOT SUR AWS, PHP Confirmé TERRAFORM, GITLAB CI/CD, AWS SERVICES Confirmé EC2 / LAMBDA / VPC / APIG CLOUDWATCH/CLOUDFRONT Confirmé IAM AZURE AD,MYSQL, MONGODB Confirmé Descriptif de la mission Notre Client recherche pour cette mission un Consultant DevOps Les tâches au quotidien seront : •⁠ ⁠Assurer la gestion des ETL et des flux de bout en bout depuis la prise du besoin jusqu'à la maintenance, l'évolution et le maintien en conditions opérationnelles •⁠ ⁠Gérer l'intégration du déploiement des Tests unitaires et fonctionnels •⁠ ⁠Prendre en charge l'intégration des outils de qualité type SonarQube, SAST, autres •⁠ ⁠Effectuer la création de dashboards, ouverture automatique de tickets •⁠ ⁠Assurer l'implémentation et la configuration des outils groupes Datadog & New Relic •⁠ ⁠Etudier, préparer et budgétiser l'utilisation des infrastructures et services cloud AWS et Azure •⁠ ⁠Mettre en place l'automatisation des tâches via scripting •⁠ ⁠Assurer le support technique aux équipes transverses (développeurs, QA, production, autres équipes) •⁠ ⁠Assurer les Debug, résolution d'incidents et optimisation Cloud (AWS) •⁠ ⁠Assurer la création, maintien, amélioration et documentation des pipelines de déploiement automatique CI/CD