Trouvez votre prochaine mission ou futur job IT.

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer AWS senior" pour un client dans le secteur de l'Energie Description 🧩 Contexte de la mission Dans le cadre du renforcement de son équipe Data, notre client recherche un Data Engineer AWS Senior capable de concevoir, maintenir et optimiser les pipelines de données critiques de la plateforme analytique. La mission s’inscrit dans un environnement cloud AWS, au cœur de la transformation data et de l’industrialisation des flux d’ingestion, de traitement et d’exposition des données. 🎯 Objectifs et livrables 🔹 Responsabilités principales : Concevoir, développer et maintenir des pipelines de données ETL/ELT robustes et scalables. Travailler principalement en Python pour manipuler, transformer et automatiser les flux d’ingestion de données. Gérer les workflows SQL et concevoir des modèles de données relationnels sur PostgreSQL. Exploiter les services AWS (Lambda, Step Function, EC2, S3, Glue, etc.) pour l’orchestration et la livraison des données. Collaborer étroitement avec les équipes backend et data consumers pour assurer la cohérence des intégrations et des APIs. Mettre en œuvre des processus de monitoring, test et optimisation des systèmes de données afin de garantir performance, fiabilité et sécurité. Contribuer activement à l’amélioration continue de l’architecture et des bonnes pratiques techniques (code review, automatisation, documentation).

Missions principales : Développer et industrialiser des pipelines de données et microservices sur AWS. Assurer la qualité, la fiabilité et l’accessibilité des données. Collaborer avec les équipes Data Science pour répondre aux besoins métiers. Maintenir et optimiser les systèmes existants. Participer à la collecte des besoins et à la documentation technique. Minimum 4 ans d’expérience en Data Engineering et big data. Maîtrise de Python, programmation orientée objet et design patterns. Expérience sur bases de données SQL et Graph. Connaissance des architectures microservices et APIs externes. Expertise conteneurisation (Docker, Kubernetes, Helm) et CI/CD (GitFlow, GitOps, Terraform). Bonne communication, autonomie, rigueur et capacité à gérer plusieurs tâches. Expérience des services AWS : S3, Lambda, IAM....

Développement de la plateforme de microservices AWS • Industrialisation des cas d’usage métiers du groupe en lien avec les media • Assurer la qualité, la fiabilité et l'accessibilité des données. • Développer les pipelines de traitement de données avec orientation media • Collaborer avec les équipes de data science pour comprendre les besoins en données et mettre en place les solutions appropriées. • Recueillir les besoins avec des métiers ou clients. • Assurer la maintenance et l'optimisation des systèmes de données existants. Livrables attendus : Des analyses, développements et documentations de qualité.

Descriptif du poste Le prestataire interviendra comme développeur senior / Data Engineer sur les différentes applications IT du périmètre : Application de data management : ingestion, stockage, supervision et restitution de time series. Application de visualisation de données de marché et des analyses produites Application de calcul de prévision de prix Le prestataire devra accompagner les évolutions et assurer la maintenance corrective et évolutive sur ces différentes applications dans les meilleurs délais (time to market) tout en garantissant la qualité des livrables. Mission • Conception et développement d'outils d'aide à la décision • Conception et développement de nouvelles architectures data • Collecte, ingestion, traitement, transformation et restitution des données (météo, fundamentales..) • Optimisation des coûts et des performances • La gestion du cycle de développement, de l'infra et des mises en production (DevOps) • Maintenance évolutive et support technique / accompagnement des utilisateurs (analystes, data scientists...) • Coaching de l'équipe autour des thématiques Big Data et AWS : workshops, présentations…

La Mission à réaliser se déclinera notamment à travers ces activités : • Collecte, ingestion, traitement, transformation et restitution des données • Optimisation des coûts et des performances. • Conception et développement d'outils d'aide à la décision • Maintenance évolutive et support technique / accompagnement des utilisateurs Langages & Frameworks Python v3 — Avancé (5 à 8 ans) Design Patterns / Architecture logicielle — Confirmé (3 à 5 ans) Cloud & Infrastructures AWS — Confirmé (3 à 5 ans) Data & Big Data Lakehouse Fundamentals & Database Systems — Confirmé (3 à 5 ans) Big Data Architecture & Technologies — Confirmé (3 à 5 ans) Data Management Systems — Confirmé (3 à 5 ans) Domaines fonctionnels Marchés des matières premières (Gaz, Électricité, etc.) — Junior (< 3 ans) Soft Skills / Compétences transverses Anglais — Avancé (5 à 8 ans) Esprit d’analyse et de synthèse — Avancé (5 à 8 ans) Proactivité / Prise d’initiative / Orientation solution — Junior (< 3 ans)

🧠 Vos missions Concevoir, construire et maintenir l’infrastructure AWS dédiée aux traitements Data & IA. Développer des pipelines de données robustes et scalables, orientés médias. Industrialiser les cas d’usage métiers en lien étroit avec les équipes Data Science. Garantir la qualité, la fiabilité et la performance des données et des traitements. Contribuer à la documentation technique et au suivi de l’activité. Collaborer avec les équipes métiers pour recueillir les besoins et proposer des améliorations. 🛠️ Environnement technique Cloud & Infra as Code : AWS (IAM, S3, Lambda, Secret Manager, VPC), Terraform, Ansible, GitOps. Conteneurisation : Docker, Kubernetes, Helm. Langage principal : Python (POO, design patterns, tests). CI/CD : GitFlow, pipelines de déploiement. Bases de données : SQL et Graph. Outils projet : JIRA, méthodes Agile.

Nous cherchons : Un(e) Data Engineer motivé(e) pour rejoindre notre squad Data Platform et contribuer à la construction, l’exploitation et l’optimisation de notre plateforme Data dans un environnement Cloud (AWS / Azure). Missions principales : Concevoir, développer et maintenir des solutions de Data Lake (Gen 2, S3). Développer des microservices et applications en Python et C# . Mettre en place et maintenir des processus de déploiement automatisé avec Terraform . Participer au RUN et au Build de la Data Platform (support, supervision, optimisation). Automatiser et améliorer les activités d’exploitation (SRE, FinOps). Définir et appliquer les bonnes pratiques de sécurité, qualité, résilience et observabilité. Collaborer avec les Data Officers, Data Architects et Data Engineers dans un cadre Agile . Assurer la documentation et le suivi des livrables (artefacts, mises en production).4 Stack technique : Cloud : AWS (S3, VPC, services Data), Azure (ADLS Gen 2 – un plus). Langages : Python, C#. Infra as Code : Terraform. Data : ETL, Data Lake (Gen 2, S3). Monitoring & Observabilité : Grafana, Azure App Insights. Méthodologie : Agile / SRE / FinOps.

Contexte de la mission En renfort de l’entité Solutions Data , le Data Engineer Senior interviendra dans un environnement hybride Cloud / On-Premise (cible On-Premise) pour participer activement aux activités Run, Build, Expertise et Accompagnement . 🚀 Missions principales Participer à l’élaboration du design technique des produits logiciels. Contribuer à la recherche et mise en œuvre de solutions techniques adaptées. Prendre en charge une partie des développements . Accompagner et coacher les autres développeurs (optimisation de code, bonnes pratiques). Collaborer avec l’ architecte Data pour l’intégration des produits dans le SI. Garantir la qualité des produits logiciels livrés. Accompagner les directions métiers dans la réalisation de leurs cas d’usage Data. 🔧 Compétences obligatoires Spark / Java (maîtrise avancée) Python (maîtrise avancée) SQL (maîtrise avancée) Cloud AWS : S3, Glue, Redshift, Step Functions, Lambda CI/CD : Git, Jenkins ETL : XDI et/ou ODI 🌟 Compétences souhaitées (atouts) Docker Terraform Power BI / Business Objects 📍 Localisation Mission basée à Châtillon (92) .

Nous recherchons un Data Engineer | DevOps AWS (H/F) pour contribuer à la construction , à l’évolution et à la fiabilité d’un Data Lake stratégique , au cœur des projets liés à l’analyse de l ’expérience utilisateur. Vous interviendrez sur l’ensemble de la chaîne de traitement des données (ingestion, transformation, restitution) au sein d’un environnement AWS moderne, dans une logique d’ industrialisation , de performance et de qualité de service . Vos principales missions : • Maintenir et faire évoluer une architecture data scalable sur AWS , adaptée à des volumes importants de données hétérogènes ( logs, fichiers, API …). • Concevoir et structurer les différentes couches du Data Lake ( Landing, Bronze, Silver ) en lien avec les besoins métiers et les bonnes pratiques data. • Développer des pipelines de traitement de données robustes et automatisés ( ETL/ELT ), en batch ou quasi temps réel , via des services AWS : Glue, Lambda, EMR, Redshift, S3… • Orchestrer les flux de données et automatiser les traitements entre les différentes couches du Data Lake. • Assurer le MCO : surveillance, détection et résolution des incidents, fiabilisation des flux, documentation technique. • Intégrer de nouvelles sources de données aux formats variés ( API REST, fichiers plats, logs applicatifs …) tout en assurant sécurité et performance . • Mettre en place des mécanismes de gestion des rejets et de réconciliation pour garantir la qualité et la cohérence des données. • Participer à l’ amélioration continue de la plateforme (veille, refonte, optimisation) , dans une logique DataOps (CI/CD, qualité, tests, versioning). • Collaborer avec les équipes projet, data analysts, data scientists et métiers pour aligner les solutions techniques avec les usages attendus . • Documenter l’architecture, les traitements et les processus pour assurer la traçabilité, la maintenabilité et la capitalisation.

Nous recherchons un Data Engineer AWS - Expertise sur MS Fabric Engineer pour rejoindre une squad Data Platform dynamique. Vous travaillerez avec des Data Engineers et DevOps pour concevoir, maintenir et optimiser une plateforme de données cloud , incluant la gestion de Data Lake, le développement de microservices et l’automatisation des déploiements. Missions Développer et gérer des solutions de Data Lake (ADLS Gen2, AWS S3). Concevoir et maintenir des processus de déploiement automatisé avec Terraform. Développer des microservices en Python (C# un plus). Assurer le monitoring et l’exploitation de la plateforme. Participer aux flux ETL et à l’amélioration continue de la plateforme. Collaborer avec les parties prenantes pour proposer des solutions robustes et évolutives. Maintenir la documentation technique et les artefacts de production. Être force de proposition sur les bonnes pratiques SRE, sécurité, qualité et FinOps . Profil recherché Expérience significative en Data Platform et Data Lake (AWS S3, ADLS Gen2). Maîtrise du développement Python (C# un plus) et des environnements cloud (AWS requis, Azure un plus). Compétences en Terraform et automatisation de déploiements. Connaissance des pipelines ETL , du monitoring et des bonnes pratiques SRE . Méthodologie Agile , orientation user-centric et forte capacité de collaboration. Autonomie, rigueur et esprit proactif . Pourquoi nous rejoindre ? Travailler sur des projets innovants autour de la data et du cloud . Collaborer avec des experts techniques dans un environnement Agile. Contribuer à l’ optimisation et l’évolution d’une plateforme moderne et scalable.