Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Glue

Contexte de la mission ASAP Technologies recherche deux Data Engineers seniors aux profils complémentaires pour accompagner un acteur majeur du secteur des transports et de la mobilité dans la conception, l'industrialisation et l'évolution de ses solutions data. Au sein du pôle Data Services, vous contribuerez à la stratégie Lakehouse et interviendrez sur des enjeux d'architecture, de modélisation et d'optimisation des pipelines à grande échelle. Vos missions Concevoir, développer et optimiser des pipelines de données batch, streaming et d'ingestion via API. Structurer les transformations selon une architecture Médaillon : Bronze, Silver et Gold. Développer et industrialiser les traitements avec DBT, Spark et Apache Iceberg. Contribuer aux choix techniques et à l'évolution de l'architecture Lakehouse. Déployer et maintenir les pipelines sur AWS, notamment avec S3, Glue et EMR. Orchestrer les workflows ETL/ELT avec Airflow. Mettre en œuvre l'Infrastructure as Code avec Terraform et exécuter les traitements dans des environnements Docker/Kubernetes. Garantir la disponibilité, la supervision et l'observabilité des traitements. Participer à la résolution des incidents et à l'amélioration continue. Automatiser les contrôles de qualité des données et documenter les architectures, pipelines et règles métier. Veiller à la conformité des flux, notamment en matière de RGPD.

Mission de 3 mois et 10 jours, à temps plein (full remote) , s'étendant du 21 septembre au 31 décembre 2026, dans le secteur de la gestion de données. Elle vise à concevoir, mettre en œuvre et maintenir une infrastructure et un processus d'intégration et de déploiement continus (CI/CD) pour l'équipe de l'entrepôt de données, en se concentrant sur les procédures DDL d'AWS Redshift et le code ETL basé sur AWS Glue. Objectifs et livrables Développement et optimisation des pipelines CI/CD : Concevoir, construire et maintenir des pipelines CI/CD robustes qui automatisent le cycle de vie du développement logiciel. Optimiser les performances des pipelines pour réduire les temps de construction et améliorer la fréquence des déploiements. Mettre en œuvre des cadres de tests automatisés, incluant des tests unitaires, des tests d'intégration et des tests de bout en bout. Établir des portes de qualité de code et des analyses de sécurité au sein du pipeline. Configuration et administration de GitLab : Configurer et gérer les instances GitLab. Mettre en œuvre les meilleures pratiques GitLab, y compris les stratégies de branchement, les flux de travail de demande de fusion et les contrôles d'accès. Gérer les intégrations GitLab avec des outils et services tiers. Mettre en œuvre des stratégies de reprise après sinistre et de sauvegarde pour les environnements GitLab. Mise en œuvre et standardisation des processus : Développer et documenter les normes, meilleures pratiques et directives CI/CD pour les équipes de développement. Concevoir et mettre en œuvre des stratégies de déploiement (bleu-vert, canari, déploiements progressifs) qui soutiennent les environnements d'entrepôt de données DEV, UAT et PROD. Créer des guides d'exécution et de la documentation pour les opérations CI/CD courantes et le dépannage. Établir des indicateurs de performance clés (KPI) pour mesurer l'efficacité des pipelines et la productivité de l'équipe. Mener des initiatives d'amélioration des processus et mener des rétrospectives régulières.

Notre client dans le secteur Énergie et ressources naturelles recherche un/une Lead Data Engineer (H/F) H/F Description de la mission : Fiche de poste — Lead Data Engineer (H/F) Contexte et objectif de la mission Dans le cadre d'un programme de replatforming B2C, une organisation internationale construit une Data Platform centralisée à l'échelle mondiale, aujourd'hui fragmentée. L'objectif est de mettre en place une plateforme cloud-native, data-centric et scalable, au service des équipes data de plusieurs géographies, notamment la France, la Belgique et l'Australie. Le Core Model du programme repose sur un modèle de données unifié couvrant notamment les données clients, contrats et facturation. Le Lead Data Engineer intervient comme référent technique de la data platform, avec une responsabilité complète sur l'architecture, le delivery et la qualité des données. Stack technique • Data Platform : Databricks (lakehouse), Amazon S3, Amazon Managed Apache Flink • Gouvernance des données : Unity Catalogue, Collibra • Visualisation : Power BI • Cloud : AWS • Streaming : Confluent Kafka • Langages : Python, SQL • IA & coding : GitHub Copilot, Claude Code, outils LLM • Collaboration : Jira, Confluence, SonarQube Missions principales Stratégie & Architecture Data • Définir l'architecture de la data platform greenfield (lakehouse, zones bronze/silver/gold, data contracts) • Co-construire le Core Data Model commun aux différentes géographies tout en intégrant les spécificités locales • Mettre en place la gouvernance des données, la qualité et l'observabilité • Répondre aux besoins analytiques et fonctionnels des équipes métier via une approche de type catalogue as a service Leadership & Delivery • Être le référent technique data du programme • Choisir les partenaires et structurer une feature team de 5 à 6 personnes • Assurer la responsabilité end-to-end des pipelines, de l'ingestion à la restitution • Gérer le monitoring, la performance et l'optimisation FinOps des workloads data • Mettre en place les pratiques DataOps : automatisation des tests, CI/CD data, infrastructure as code IA & Vélocité • Exploiter GitHub Copilot, Claude Code ou équivalents pour accélérer le développement des pipelines et modèles • Intégrer des cas d'usage IA/ML dans la data platform, incluant data science, feature store et jeux de données prêts pour les LLM • Automatiser la génération de code, les tests de qualité des données et la documentation • Conserver la maîtrise technique tout en augmentant la vélocité grâce à l'IA Spécificités de l'équipe Le périmètre comprend un chantier amont de migration de l'ensemble des données France vers l'écosystème Kaluza, dans le cadre d'un programme de replatforming B2C. Cette migration implique deux modules en amont : • Module d'éligibilité : définir les paramètres business pour les parcours clients/agents • Module ETL : récupérer et transformer les données provenant de nombreux systèmes d'information avant injection dans Kaluza Complexité forte de l'ETL : • Orchestration multi-sources • Micro-batch quotidien pendant plusieurs mois • Gestion d'un service managé AWS (Glue, Step Functions, S3, Lambda…) • Connexions API pour orchestrer les flux Compétences appréciées • Expérience Unity Catalogue et gouvernance des données à l'échelle • Connaissance de Confluent Kafka et du streaming • Familiarité avec Collibra ou équivalent • Expérience en data modelling dans un contexte B2C • Déploiements IA/ML en production, incluant MLflow, feature engineering et pipelines LLM • Expérience de contextes multi-pays ou de data platform cross-entités Compétences / Qualités indispensables : Databricks et architecture lakehouse, AWS data managé (Glue, Step Functions, S3), Python / PySpark / SQL, DataOps et CI/CD data, Leadership technique et delivery end-to-end, Usage d'outils IA de développement (GitHub Copilot) Compétences / Qualités qui seraient un + : Unity Catalogue et gouvernance des données à l'échelle, Confluent Kafka et streaming, Collibra, data modelling B2C, déploiements IA/ML en production, contextes multi-pays ou cross-entités Informations concernant le télétravail : Environ 3 jours par semaine, flexible selon l'autonomie

VOS MISSIONS • Concevoir et développer les composants d'ingestion, de traitement, de normalisation et de distribution des données. • Construire et améliorer le framework commun, notamment le monitoring, la CI/CD, les tests, la performance, la résilience et la qualité du code. • Recueillir, comprendre, challenger et affiner les besoins métiers. • Concevoir des solutions conformes aux directives d'architecture et aux standards internes du Groupe. • Piloter les activités de développement et contribuer en qualité de profil senior / expert. • Identifier les goulots d'étranglement et les anomalies, puis proposer des solutions d'amélioration continue. • Livrer des services prêts pour la production, avec les outils de supervision et d'alerte associés. • Rédiger et maintenir la documentation technique en anglais, et accompagner les déploiements dans différents pays.

Contexte Dans le cadre d'un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l'évolution d'une Data Platform destinée à alimenter des solutions métiers et des cas d'usage IA. La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse. Missions Participer à la définition et à l'évolution de l'architecture de la Data Platform et du Lakehouse. Concevoir, développer et optimiser des pipelines d'ingestion et de transformation de données. Développer des jobs Data avec AWS Glue, Spark et PySpark. Intégrer les services AWS dédiés au Data Management. Développer et maintenir des API en Java 17/21 avec Spring Boot. Traiter des données internes et provenant de fournisseurs externes. Traduire les besoins fonctionnels en solutions techniques fiables et évolutives. Participer à la mise en place d'un environnement Data Lab. Industrialiser les développements et les déploiements avec des pipelines CI/CD. Mettre en place les tests automatisés et les contrôles de qualité du code. Garantir la sécurité, la performance et la maintenabilité des solutions. Participer aux mises en production. Assurer le support de production en cas d'incident majeur. Produire et maintenir la documentation technique. Compétences techniquesAWS : S3, Glue et services Data associés Data Engineering : Spark, PySpark et Hadoop Lakehouse : Apache Iceberg et Trino Développement : Java 17/21 et Spring Boot Bases de données : PostgreSQL et Oracle Tests : JUnit 5 et Mockito CI/CD : GitLab CI Qualité et gestion des dépendances : SonarQube, Maven et Artifactory Conteneurisation : Docker et Kubernetes GitOps et déploiement : Argo CD Formats : JSON, YAML et XML Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint

RECHERCHE – DATA ENGINEER SENIOR Je recherche 2 Data Engineers Senior pour intervenir sur un projet Data ambitieux en Île-de-France. 🔹 Expérience : 8 ans minimum en Data Engineering 🔹 Localisation : IDF 🔹 Télétravail : 3 jours/semaine 🔹 Démarrage : ASAP 🔹 Mission longue durée 🛠️ Compétences indispensables : • Python • Spark • AWS (Glue, EMR, S3…) • Big Data • DBT • Architecture Lakehouse • Modélisation et collecte de données • Terraform • Airflow ⭐ Une expérience sur Iceberg et Starburst/Trino est fortement appréciée. Le poste implique également des sujets de pipelines Data à grande échelle, batch/streaming, industrialisation, qualité et observabilité des données. 📩 Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.

RECHERCHE – DATA PLATFORM ENGINEER AWS / DATA & IA Je recherche un Data Platform Engineer expérimenté pour accompagner les équipes projets dans l'adoption, l'utilisation et l'industrialisation d'une plateforme Data & IA basée sur AWS, notamment autour de Amazon SageMaker Unified Studio. Le consultant interviendra comme référent technique de la plateforme, en lien étroit avec les équipes Data Engineering, Data Science, BI, Architecture, Sécurité et métiers. 🔹 Expérience : Confirmée en Data Platform / Cloud AWS 🔹 Environnement : AWS / Data & IA 🔹 Démarrage : ASAP 🔹 Mission longue durée 🔹 Anglais : courant 🛠️ Compétences indispensables : ☁️ AWS / Data Platform : • Excellente maîtrise des services AWS orientés Data & Analytics • Expérience significative sur des plateformes Data Lake / Lakehouse • AWS Glue • Amazon SageMaker Unified Studio • Amazon Redshift • Amazon S3 • AWS Lake Formation • Intégration, catalogage et partage des données 🏗️ Infrastructure & DevOps : • Terraform / Terragrunt • CI/CD • GitLab / Jenkins • Industrialisation et automatisation des environnements 🔐 Gouvernance & sécurité : • Gouvernance et qualité des données • Gestion des accès et politiques de sécurité • Publication et consommation des actifs Data • Partage et valorisation des données 🎯 Missions principales : • Accompagner les projets dans leur intégration à la plateforme Data AWS • Participer au cadrage et à la conception des solutions Data & IA • Conseiller les équipes sur les bonnes pratiques AWS et SageMaker Unified Studio • Administrer et faire évoluer les environnements de la plateforme • Assurer la disponibilité, la performance et la fiabilité des services • Accompagner les équipes dans la résolution des problématiques techniques • Assurer un support de niveau expert et analyser les incidents • Participer à la mise en œuvre de nouveaux cas d'usage Data, Analytics et IA • Animer des ateliers techniques et produire la documentation associée ⭐ Soft Skills recherchés : • Très bonne capacité à communiquer avec des interlocuteurs techniques et métiers • Capacité à vulgariser des sujets techniques complexes • Esprit d'équipe et sens du service • Autonomie et force de proposition • Capacité à transformer les besoins métiers en solutions techniques Cordialement

Pour notre client, un grand groupe international du secteur de la certification et du TIC, nous recherchons un Data Platform Engineer AWS qui rejoindra l'équipe Architecture & Delivery de sa DSI (environ 10 personnes) à La Défense. Le client industrialise sa plateforme Data & IA sur AWS, avec Amazon SageMaker Unified Studio comme socle. Vous en serez le référent technique : vous accompagnez les équipes projets dans l'adoption, l'utilisation et l'industrialisation des services de la plateforme, et vous garantissez le respect des standards d'architecture, de gouvernance et de sécurité. Vous travaillez en étroite collaboration avec les équipes Data Engineering, Data Science, Business Intelligence, Architecture, Sécurité et les équipes métiers. Support aux projets Data & IA : Accompagner les projets dans leur intégration à la plateforme Data AWS Intervenir dans les phases de cadrage et de conception des solutions Data & IA Conseiller les équipes sur les bonnes pratiques AWS et SageMaker Unified Studio Identifier les architectures les plus adaptées aux besoins métiers Assister les équipes projets dans la résolution des problématiques techniques liées aux données Contribuer à la mise en oeuvre de nouveaux cas d'usage analytiques, décisionnels et IA Gestion et évolution de la plateforme : Administrer et maintenir les environnements SageMaker Unified Studio Assurer la disponibilité, la performance et la fiabilité des services Participer à l'évolution de l'architecture selon les nouveaux besoins Contribuer à l'introduction de nouveaux services AWS et de nouvelles capacités Data & AI Suivre la consommation des services et proposer des optimisations techniques Gouvernance et partage des données : Accompagner les équipes dans la publication et la consommation des actifs de données Participer à la mise en oeuvre des règles de gouvernance et de qualité des données Veiller au respect des standards de sécurité et des politiques d'accès Faciliter le partage et la valorisation des données entre les entités Support opérationnel et expertise : Assurer le support de niveau expert sur les composants de la plateforme Analyser les incidents et proposer les actions correctives Accompagner les utilisateurs dans la prise en main des services Produire et maintenir la documentation technique et les guides de bonnes pratiques Animer des ateliers techniques avec les équipes projets et les parties prenantes

Nous recherchons un développeur principalement backend microservices expérimenté pour rejoindre une équipe en pleine structuration, dans un environnement technique 100% serverless AWS. • Développer, modifier et maintenir les microservices qui gèrent la donnée client CRM • Concevoir et faire évoluer les interfaces (API REST) entre le CRM et les systèmes consommateurs/producteurs de données client • Garantir la qualité, l'intégrité et la cohérence de la donnée client à travers les différents flux • Participer à la migration de fonctions historiques actuellement portées par une base Oracle vers des architectures serverless (AWS Lambda, AWS Glue), gestion de la rétention GDPR, calcul de la qualité de données... • Contribuer à la synchronisation des données entre le CRM (master) et les systèmes tiers, notamment dans le cadre de la migration e-commerce vers Shopify • Dévelopement Front End ponctuel pour des besoins de console d'administration/monitoring interne • Documenter les développements, les flux et les choix techniques • Travailler en environnement Agile (PI planning, cérémonies SAFe/Scrum) Stack technique : • TypeScript et Node.js • AWS serverless : Lambda, DynamoDB (NoSQL) • API REST, JSON • AWS Glue, scripts d'ETL/migration de données Outils et méthodes : • Git (versioning, branches, pull requests) • CI/CD via Gitlab et release management • Jira, Confluence Référence de l'offre : btt6o3wzj4

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

Nous recherchons un Data Engineer Senior pour renforcer une squad dédiée à la performance énergétique, au sein d'une plateforme Data organisée en Data Mesh. Vous interviendrez sur des sujets à forte dominante Data Engineering, développement Python, Cloud AWS et industrialisation de solutions Data & IA, avec un rôle à la fois opérationnel et de référent technique. Vos missions :Concevoir et développer des pipelines de données robustes, industrialisés et maintenables. Développer des API et services Python, notamment avec FastAPI. Concevoir et faire évoluer des solutions sur AWS : Glue, Lambda, SQS, SNS, Redshift, API Gateway… Concevoir et optimiser les traitements SQL et les modèles de données sur Redshift. Participer à la mise en œuvre et à l'évolution des modèles de données avec dbt. Concevoir et maintenir les orchestrations avec Airflow. Mettre en place les tests automatisés, le monitoring, l'alerting et la supervision. Contribuer à la construction et à l'évolution de Data Products dans un environnement Data Mesh. Participer à des cas d'usage Data Science, Machine Learning et IA appliquée. Contribuer à l'industrialisation et à la mise en production de modèles et solutions IA. Prendre en charge le Run, analyser les incidents et garantir la fiabilité des produits de données. Participer aux choix techniques, benchmarks, POC et spikes. Travailler en proximité avec les Data Analysts, Analytics Engineers, Data Scientists, Architectes et Product Owners.