Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Glue

Pour l'un de nos clients nous recherchons un(e) Ingénieur Devops / AWS / DataOps , qui sera amené à intervenir à l’intersection des enjeux Infra DevOps sur AWS et Big Data, et collaborera en étroite synergie avec l’architecte cloud, le tech lead et les data engineers. Les principales missions sont les suivantes : Administration de la plateforme Data et de ses outils Administrer les composants Dataiku et CloudBeaver de la plateforme (installation, configuration, monitoring, backup, montées de version…) sur AWS Faire évoluer et gérer le maintien en conditions opérationnelles de l’environnement analytics et data science axé sur Dataiku (DSS, Fleet Manager, Spark sur EKS) Accompagner les utilisateurs sur les best practices et l’industrialisation des projets métiers Support et expertise technique Résoudre les incidents impactant les plateformes Conseiller les équipes du Data Office (Data engineers / Data scientists / Data analysts / BI engineer) sur les choix d’implémentation (architecture et technologie) Réaliser des audits techniques, des analyses de performance (requêtes SQL, jobs Spark, fonctions Lambda, entraînement modèles ML, …) ou des PoC. Evolution de l’infrastructure : Evaluer l'infrastructure actuelle et proposer si besoin une stratégie de modernisation progressive des composants legacy (IaaS) vers des solutions cloudnatives (PaaS/SaaS/Serverless), en intégrant les pratiques DevOps (IaC, CI/CD, automatisation) et FinOps Développer et implémenter les nouveaux patterns d’acquisition et de traitement de données (micro-batch, streaming, event-driven, transactionnel)

Hanson Regan recherche un AWS/ingénieur/Architectes pour une mission de 12 mois basée à Paris Architecte avec Expertise IaC sur AWS, modèle d'habilitation IAM Architecture de la plateforme Data et du Datalab sur Services Data AWS natifs Ingénieurs Data avec Expérience AWS : Ingestions de fichiers simples avec AWS Glue Portage de code Spark2 vers Spark 3 de cloudera vers EMR (mix Python & Scala) Services Data Natifs AWS (GLue, EMR, Tables GLue sur S3 et éventuellement S3Tables Iceberg) Document d'expositionDB/MongoDB En raison des exigences du client, les indépendants doivent pouvoir travailler via leur propre entreprise, car nous ne pouvons malheureusement pas accepter de solutions globales pour cette mission. Veuillez nous contacter au plus vite si vous êtes intéressé.

Démarrage : Dès que possible Contexte Dans le cadre du renforcement de nos équipes Data, nous recherchons un Data Engineer confirmé maîtrisant les environnements Java, Spark et AWS . Vous interviendrez sur des projets à forte volumétrie, autour de la collecte, du traitement et de la valorisation de la donnée. Missions Concevoir, développer et maintenir les pipelines de données sur des architectures distribuées (Spark, AWS). Industrialiser et fiabiliser les traitements batch et temps réel. Participer à la modélisation et à la gouvernance de la donnée. Optimiser la performance et la scalabilité des flux. Collaborer étroitement avec les équipes Data Science, BI et Cloud. Contribuer à la veille technologique et à l’amélioration continue des bonnes pratiques Data Engineering. Environnement technique Langages : Java, Python (souhaité) Frameworks : Apache Spark, Kafka, Airflow Cloud : AWS (S3, EMR, Glue, Lambda, Redshift, Athena) CI/CD : GitLab, Docker, Terraform Base de données : PostgreSQL, DynamoDB, Snowflake (selon projet) Profil recherché Formation Bac+3 à Bac+5 en informatique, data ou équivalent. Expérience confirmée en développement Java appliqué à la donnée (Spark). Bonne connaissance des services AWS orientés data. Esprit analytique, rigueur et goût du travail en équipe. Une sensibilité DevOps ou un attrait pour l’industrialisation est un plus. Pourquoi nous rejoindre ? Des projets Data à fort impact dans des environnements techniques exigeants. Un cadre de travail stimulant, collaboratif et bienveillant. De réelles perspectives d’évolution (technique ou architecture).

Missions principales : * Conception et définition de la plateforme Data : -Définir le plan fonctionnel de la plateforme Data en fonction des besoins -stratégiques et opérationnels de l'entreprise. -Conceptualiser et structurer les fonctionnalités de la plateforme pour répondre aux exigences métiers. * Industrialisation et optimisation des processus : -Optimiser les processus de collecte, gestion, transformation et restitution des données pour les rendre plus efficaces. -Garantir la performance et la scalabilité des solutions mises en œuvre. * Urbanisation des Data Lakes : -Concevoir un schéma d'architecture fonctionnelle pour l’urbanisation des Data Lakes existants. -Mettre en place un référentiel des schémas d'interface d’entrée et gérer le versionning des données. -Assurer la cohérence de la circulation de la donnée, de l'acquisition jusqu’à son utilisation. *Collaboration avec les équipes métiers et techniques : -Travailler en étroite collaboration avec les chefs de projets Data, les architectes techniques et les Data Engineers. -Collecter et classifier les besoins fonctionnels des métiers pour les traduire en solutions techniques. *Rédaction de la documentation fonctionnelle : -Élaborer et maintenir à jour la documentation technique et fonctionnelle de l’architecture Data. -Proposer et formaliser des nomenclatures et des règles de gestion adaptées. *Référent technique : -Jouer un rôle de conseil et d’appui sur la conception des flux de données et la structuration des objets (Data Lake, Dataware, Datamart). -Être un point de référence pour l’équipe Data et garantir l’application des bonnes pratiques dans le cadre de la conception des solutions. Compétences requises :

Nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer notre équipe data et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste s’adresse à un profil autonome, passionné par les bonnes pratiques de développement , capable de challenger les architectures existantes et de proposer des solutions robustes et scalables . 🧩 Missions principales Concevoir, développer et optimiser des pipelines de données performants, scalables et résilients . Encadrer et accompagner techniquement les équipes sur les choix d’architecture et de stack technologique . Déployer et orchestrer des traitements distribués (PySpark, AWS Glue, Airflow). Concevoir et exposer des APIs de données (via AWS API Gateway / Lambda). Industrialiser les environnements via Terraform et des pipelines CI/CD (GitLab, Jenkins…). Garantir la fiabilité, la performance et la sécurité des flux et services de données. Mettre en place du monitoring et de l’alerting pour la supervision des traitements. Contribuer à la diffusion des bonnes pratiques (tests, code review, documentation, CI/CD). Participer à la formation et au mentoring des ingénieurs juniors. 📦 Livrables attendus Schémas et modélisation des structures de données . Pipelines industrialisés et interconnectés avec les assets produits. Mise à disposition de la data vers des systèmes externes (APIs, exports, injections). Documentation technique et dashboards de suivi. Solutions conformes aux exigences RGPD / Data Privacy / éco-conception . Mise en place du monitoring et alerting en production. Contribution à l’ usine logicielle (intégration continue, tests automatisés, déploiements). Présentation régulière des réalisations techniques aux équipes métiers et produit. 🧠 Compétences techniques requises (Must Have) Python (expert). PySpark et Pandas (traitement et transformation de données). AWS (Glue, Lambda, API Gateway, ECS, IAM). Terraform (infrastructure as code). CI/CD (GitLab, Jenkins ou équivalent). Observabilité et supervision (logs, metrics, alerting). Pratiques de code propre, testé et documenté . 🌱 Compétences appréciées (Nice to Have) Airflow pour l’orchestration des jobs. AWS SageMaker pour le déploiement ou l’entraînement de modèles IA. Sensibilité MLOps et DataOps . Connaissance des standards de l’éco-conception et de la sécurité des données . Expérience en mentorat technique ou lead technique data .

Contexte du projet Notre client met en place et fait évoluer une Data Platform permettant l’intégration, la mise en qualité et la mise à disposition de données (brutes ou retravaillées) issues de plusieurs producteurs, afin de répondre à des besoins opérationnels et analytiques à grande échelle. Missions principales Recueillir, challenger et prioriser les besoins métiers Construire et maintenir le backlog produit (rédaction de user stories et critères d’acceptance) Collaborer avec les Data Engineers, développeurs et QA pour livrer les fonctionnalités attendues Garantir la qualité fonctionnelle des livrables et leur adéquation aux besoins Animer les cérémonies agiles (daily, sprint planning, reviews, rétrospectives) Interagir avec des interlocuteurs internationaux (anglais opérationnel requis)

Contexte : Le secteur de l’énergie renouvelable, notamment l’éolien et le solaire, connaît une croissance rapide et nécessite une exploitation optimale des données pour piloter les activités, assurer la qualité des installations et suivre la performance énergétique. Dans ce contexte, nous recherchons un Data Analyst Power BI confirmé pour renforcer les équipes Data et contribuer à la transformation digitale et analytique de l’entreprise. Mission principale : Le Data Analyst Power BI aura pour objectif de maintenir, améliorer et développer les tableaux de bord métiers critiques , tout en garantissant la qualité et la fiabilité des données . Ses missions incluent : Assurer le maintien en condition opérationnelle (MCO) des tableaux existants. Concevoir et déployer de nouveaux tableaux Power BI adaptés aux besoins métiers. Détecter, analyser et corriger les anomalies de données , et sensibiliser les métiers à la qualité des données. Documenter les évolutions, anomalies et retours métiers. Collaborer avec les équipes métiers et techniques (AWS, Dataiku, Power Platform…) pour assurer la cohérence et la performance des tableaux de bord.

Notre client acteur majeur de l’agro-industrie, conduit une transformation SI d’envergure autour de la modernisation et de l’interopérabilité de son système d’information : Migration vers le cloud public Azure Mise en place d’une Data Platform Open Source (OpenShift, Kubernetes, Kafka, S3, etc.) Déploiement d’une plateforme d’interopérabilité (iPaaS) pour fluidifier les échanges inter-BU Modernisation de SAP et rationalisation des briques techniques Introduction d’un outil d’EAM (type LeanIX) pour la gouvernance du SI Le SI du groupe est complexe, hétérogène et distribué , avec des interactions entre environnements industriels, applicatifs et cloud, dans un contexte international et multi-BU . 🎯 Objectif du poste L’Architecte d’Entreprise interviendra en appui transversal des projets et participera à la structuration de la gouvernance d’architecture . Il combinera vision stratégique (urbanisation, standards, cartographie) et accompagnement opérationnel des projets IT. 🧱 Missions principales1. Accompagnement des projets IT (≈ 70%) Accompagner les équipes projets dans leurs choix d’architecture et de solutions. Garantir l’alignement avec les standards et la cohérence globale du SI. Soutenir la formalisation des besoins métiers et leur traduction en orientations techniques. Documenter les choix d’architecture dans un cadre structuré et partageable. 2. Cartographie du SI (≈ 30%) Élaborer et maintenir les cartographies du SI : métiers, applicatives, techniques et infrastructure. Mettre à disposition des représentations claires et synthétiques pour la prise de décision et la gouvernance SI . 3. Normes et Standards Définir et maintenir les principes directeurs et standards d’architecture . Garantir la cohérence, la sécurité et la maintenabilité du SI dans le temps. ⚙️ Environnement technique & organisationnel Cloud : Azure (IaaS, PaaS, intégration applicative) Data Platform : OpenShift, Kubernetes, Kafka, S3… Interopérabilité : plateforme iPaaS en cours de déploiement ERP : SAP (modernisation en cours) EAM : LeanIX (ou équivalent) Contexte : international, multi-pays, multi-langues, multi-BU 🧩 Compétences attenduesTechniques Maîtrise de l’ architecture d’entreprise et d’application (TOGAF, ArchiMate, LeanIX…) Bonne connaissance des écosystèmes Cloud Azure et environnements hybrides Capacité à formaliser des cartographies SI et modèles d’architecture Maîtrise des modèles d’intégration et d’interopérabilité (API, ESB, iPaaS, etc.) Comportementales Esprit d’analyse, de synthèse et de leadership Diplomatie et capacité à challenger sans bloquer Excellente communication orale et écrite Autonomie, rigueur et orientation résultats

Contexte de la mission En renfort de l’entité Solutions Data , le Data Engineer Senior interviendra dans un environnement hybride Cloud / On-Premise (cible On-Premise) pour participer activement aux activités Run, Build, Expertise et Accompagnement . 🚀 Missions principales Participer à l’élaboration du design technique des produits logiciels. Contribuer à la recherche et mise en œuvre de solutions techniques adaptées. Prendre en charge une partie des développements . Accompagner et coacher les autres développeurs (optimisation de code, bonnes pratiques). Collaborer avec l’ architecte Data pour l’intégration des produits dans le SI. Garantir la qualité des produits logiciels livrés. Accompagner les directions métiers dans la réalisation de leurs cas d’usage Data. 🔧 Compétences obligatoires Spark / Java (maîtrise avancée) Python (maîtrise avancée) SQL (maîtrise avancée) Cloud AWS : S3, Glue, Redshift, Step Functions, Lambda CI/CD : Git, Jenkins ETL : XDI et/ou ODI 🌟 Compétences souhaitées (atouts) Docker Terraform Power BI / Business Objects 📍 Localisation Mission basée à Châtillon (92) .

Mission principale : Nous recherchons un Product Owner (PO) technique pour accompagner le développement et le RUN de notre Data Platform . Vous serez en charge de qualifier les besoins, de participer aux rituels agiles et d’assurer la liaison entre les équipes Build et le RUN de la plateforme, en mode Agile. Responsabilités : Qualifier les besoins techniques et fonctionnels des différentes équipes Data. Participer aux rituels Agile : daily, sprint planning, backlog refinement, PI planning (sur 3 mois). Transformer les besoins identifiés en user stories et tickets Jira exploitables par les squads. Accompagner la construction et l’évolution de la Data Platform (environnements GCP, flux de données, pipelines). Assurer le suivi du RUN de la plateforme et identifier les priorités techniques et fonctionnelles. Travailler en coordination avec 4 à 5 squads organisées en trains pour les PI planning et sprints. Être un interlocuteur technique capable de dialoguer avec les équipes Dev, Data et Ops. Profil recherché : Expérience confirmée en Product Ownership , idéalement dans un contexte technique ou data. Compréhension des environnements cloud (GCP) et des flux de données. Capacité à transformer des besoins complexes en user stories / tickets techniques . Connaissance des méthodes Agile / SAFe et pratique des rituels (sprint planning, PI planning, daily, etc.). Esprit technique : ne pas avoir peur de discuter architecture, flux de données, pipeline, outils de production. Bon relationnel et capacité à collaborer avec plusieurs équipes simultanément. Une connaissance de la data (ETL, ingestion, stockage, pipelines) est un plus. Soft Skills : Organisation et rigueur dans le suivi des priorités. Capacité à synthétiser les besoins et à communiquer clairement. Curiosité technique et ouverture à l’innovation. Force de proposition pour améliorer les process et la plateforme.