Trouvez votre prochaine offre d’emploi ou de mission freelance AWS Glue

Objectifs et livrables - Concevoir et maintenir des programmes Talend - Challenger les jobs et l'architecture existants et trouver des axes d'optimisations - Participer au support du périmètre (à ce titre, des astreintes ou interventions planifiées sont envisageables) - Rédiger des documentations (Anglais requis) Compétences techniques attendues - compétences en développement studio Talend en respectant les normes de développement mises en place - habileté à manier les objets du datalake (Databricks, S3, Glue), des Bdd (Oracle, PostGres, Hana) - bonnes notions du scheduler Automic serait un plus

Je recherche pour un de mes clients un Data Engineer / Backend Finances et Risques sur Maison Alfort Contexte Mission au sein de la DSI du client et plus précisément dans l'équipe data ESG. Mise en place d'un hub de données sur le thème de l'ESG pour répondre aux différents besoin de reporting, dataviz et partage d'informations. Exp: 5 à 8 ans Mission Concevoir et développer les datasets de données, les microservices et les API du produit en fonction de l'architecture proposée par le client Veiller aux bonnes pratiques et normes Assurer la qualité des développements, la qualité de la documentation des développements et la qualité des delivery Contribuer au suivi de production et assurer la maintenance corrective Certifications requises : au moins une • AWS Solution Architect ; • AWS Database ; • AWS Developer ; • AWS Data Analytics Méthodologie : • Agile • SAFe 5.0 Compétences métier : • Sens relationnel : adapter son comportement et son attitude en fonction de l'interlocuteur pour maximiser la qualité des échanges, • Travail en équipe : collaborer avec les membres de l'équipe de façon ouverte en communiquant ses retours et impressions sur les travaux, • Communication orale et écrite : exposer efficacement à l'écrit comme à l'oral un raisonnement de façon logique et argumentée, • Autonomie et proactivité : organiser son travail personnel en cohérence avec celui de l'équipe, anticiper les besoins et prendre des initiatives en informant le reste de l'équipe de son activité. Liste des technologies : Priorité : - Compétences Back : Java (17+) et springboot, API - Compétences Data : AWS ((Glue, athena, s3, ....), Python, Pyspark - Stream Kafka - Cloud AWS Kubernetes, Terraform* *Jenkins* *Event Kafka* *MongoDB* *Python* Facultative : EKS, DataDog Points critiques et différenciants Priorité : - Compétences Back : Java (17+) et spring - Compétences Data : Glue, Python, Pyspark - Stream Kafka - Cloud AWS Expert sur python, traitement des données Spark Important : Testing : faire des tests unitaires, participe aux tests fonctionnelles (automatisation). Il développe et fait ses tests unitaires (pytest, python 3, pispark) Spé AWS : job glue (quotidien), touché aux instances OC2, maitriser l'ensemble de la stack, secret manager, S3, athena (pas compliqué - surcouche SQL) Travail en binome avec le Tech Lead: connaissance des patterns design applicative. SOn job au quotidien : créer des jobs pour traiter des données + traitement de données. Objectif de la mission de modulariser et architecturer ses process : créer un job avec la spécialisation attendue du métier : avoir un code modulaire. Avoir un mindset agile. Etre ouvert au changement Avoir des gars autonomes et responsable, proactif, dynamique. Bon communicant avec les métiers, les PM

Contexte Nous recherchons un Data Engineer confirmé à senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie . La mission s’inscrit dans un environnement data critique , lié à l’exploitation de données de marché et à la production d’indicateurs et d’alertes à forte valeur métier. Le système cible repose sur une architecture batch Big Data structurée selon une architecture médaillon (Silver / Gold) , avec ingestion multi-sources, normalisation, calculs avancés et distribution des données vers différents consommateurs métiers. Localisation : Paris (hybride) Durée : 12 mois renouvelables (jusqu’à 3 ans) Objectifs de la mission Concevoir et développer des pipelines d’ingestion et de transformation en Scala Spark Traiter, dédoublonner, normaliser et structurer des données de marché Refactoriser des imports existants afin de les rendre conformes à l’architecture médaillon Silver layer : données dédoublonnées, normalisées et structurées Gold layer : génération d’agrégats métiers (carnets d’ordres, best bid/ask, OHLC, etc.) Implémenter et challenger les règles métier en garantissant les performances, la scalabilité et la maîtrise des coûts cloud Mettre en place et maintenir les règles de Data Quality (ex. Great Expectations) et contribuer au data catalog Participer à l’amélioration des frameworks communs : monitoring, CI/CD, tests, performance, résilience et standards de développement Rédiger et maintenir la documentation technique (architecture, flux, schémas, infrastructure) Environnement technique ETL / Compute : Scala, Spark (batch) Cloud AWS : Glue Jobs, S3, Lambda, Step Functions Qualité des données : Great Expectations ou équivalent DevOps / CI-CD : Git, pipelines, bonnes pratiques d’industrialisation Environnement applicatif connexe : API REST, services backend Compétences complémentaires appréciées : Python, React Important : cette mission ne s’appuie pas sur des solutions managées de type Databricks. Compétences requisesIndispensables Minimum 5 ans d’expérience significative en Scala et Spark Expérience confirmée sur des projets Big Data / ETL à forte volumétrie Expérience pratique sur AWS (Glue, S3, orchestration) Bonne culture DevOps Autonomie, rigueur, capacité à être force de proposition Appréciées Python Développement API Connaissances de base en market data / trading (non bloquant) Process de sélection Entretien Teams de 30 minutes axé sur les expériences professionnelles Entretien Teams d’une heure axé sur les compétences techniques avec un Data Engineer de l’équipe Modalités de réponse Merci de transmettre : CV, disponibilité, TJM, localisation et un résumé des expériences Scala / Spark / AWS Glue .

📍 Localisation : Essonne (91) – 3 jours sur site / 2 jours en télétravail 🕒 Démarrage : Dès que possible 🎯 Contexte de la mission Dans le cadre d’un programme stratégique de mise en œuvre d’une Nouvelle Plateforme Digitale, avec un nouveau site ecommerce, de nouveaux flux, un nouvel ETL… au sein d’un acteur du Retail, nous recherchons un ingénieur Devops expérimenté pour encadrer une équipe de 4 Devops. 🧩 Missions principales Rattaché à la DOSI (Direction et organisation des systèmes d’information), le consultant animera, coordonnera son équipe. Leader, le consultant devra être un faiseur exemplaire qui réalise, qui challenge, qui documente… Objectifs équipe : Intégration et qualification CI/CD Création, maintien, amélioration et documentation des pipelines de déploiement automatique CI/CD. Mis en place et maintien des tests automatisés sur site et application web responsive en collaboration avec l’équipe QA Étude, préparation et budgétisation de l’utilisation des infrastructures et services cloud AWS et Azure Automatisation des tâches via scripting Apport d’un support technique aux équipes transverses (développeurs, QA, production, autres équipes). Debug, résolution d’incidents et optimisation Cloud (AWS) Monitoring & Observabilté (création de dashboards, ouverture automatique de tickets…) Environnement technique : Backend : Java / SprintBoot sur AWS Frontend : Alokai headless (Vue.js / Nuxt) / SenseFuel / Fasterize / API GraphQL BDD : MySQL, MongoDB ETL : AWS Glue Outils : Confluence / Jira / GitLab / DataDog