Pour le compte d'un acteur bancaire, nous recherchons un Data Platform Engineer GCP spécialisé réseau et sécurité. Il interviendra sur une plateforme Data Google Cloud hybride et multi-régions, connectée à un datacenter on-premise. Objectifs de la mission : Basculer les APIs et microservices de la plateforme Data vers un réseau privé, sans exposition Internet publique Finaliser la recette de l'interconnexion hybride GCP–Datacenter et lever les blocages de routage et de pare-feu Migrer les flux Kafka temps réel sur le lien Cloud Interconnect dédié Industrialiser le socle réseau et sécurité en Terraform via GitLab CI Mettre en place l'authentification centralisée (PingFederate, OIDC/SAML) et aligner les APIs sur les normes de sécurité bancaires Principales tâches : Raccorder les VPC Spokes au hub NCC et valider le routage BGP Déployer des Internal Load Balancers L7 et des Serverless NEGs vers Cloud Run Configurer le DNS Peering et les zones Cloud DNS privées Développer des modules Terraform réutilisables sur 4 environnements (Dev, Staging, Préprod, Prod) Mettre en place les politiques Zero-Trust (Cloud Armor, IAP) Provisionner Cloud SQL en IP privée et gérer le chiffrement KMS/CMEK Livrables attendus : DAT, matrice de flux réseau, cahier de recette et PV de connectivité, modules Terraform documentés, runbooks de dépannage, transfert de compétences aux équipes internes.
Dans le cadre des programmes stratégiques de transformation Data du Groupe, le consultant intégrera le Cloud Center of Excellence et participera à la conception, au développement et à l'exploitation des plateformes de données. La mission consiste à construire des pipelines de données robustes et industrialisés, concevoir des architectures Data modernes (Data Lake, Data Warehouse, Data Mart), garantir la qualité et la disponibilité des données, et accompagner les équipes métiers dans leurs besoins analytiques. Le consultant sera également impliqué dans les projets de migration, d'intégration et d'optimisation des traitements ETL/ELT tout en appliquant les standards de développement, de sécurité et de gouvernance définis par le Groupe. Missions principales Concevoir et développer des pipelines ETL/ELT avec Talend, SSIS et Azure Data Factory Mettre en place les infrastructures nécessaires à l'extraction, la transformation et au chargement des données Développer des composants ETL réutilisables et industrialisés Mettre en œuvre les mécanismes d'alimentation des données (Full Load, Delta Load, historisation) Assurer le support, le débogage et la résolution d'incidents de production Participer à la conception et à l'évolution des Data Lakes Intégrer les données via API, transferts de fichiers et autres mécanismes d'ingestion Concevoir et maintenir des Data Warehouses, Data Marts et cubes analytiques Réaliser la modélisation et l'assemblage de jeux de données complexes répondant aux besoins métiers Collaborer avec les Product Owners, équipes Data, administrateurs et équipes plateformes Participer aux phases de Data Discovery et Data Scoping Contribuer aux cérémonies Agile et aux activités d'amélioration continue Garantir les bonnes pratiques de développement, de qualité et de déploiement Participer à l'automatisation des déploiements et à l'intégration continue
Contexte : La mission s'inscrit dans le cadre du projet DatOps. Le Data Engineer interviendra en lien étroit avec les équipes de production applicative / DevOps afin de mettre en œuvre techniquement les demandes métiers et de faire évoluer la plateforme Data. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les opérations de Data Preparation et transformation. Maintenir et faire évoluer les pipelines de données. Participer aux évolutions techniques de la plateforme. Formaliser et transmettre à l'équipe DevOps les demandes d'évolution. Contribuer au maintien et à l'amélioration des solutions Data existantes. Rédiger des spécifications techniques claires et précises. Compétences indispensables Très bonne maîtrise attendue de : GCP – Google Cloud Platform BigQuery Cloud Storage SQL Python orienté objet Pandas et/ou Dask Bash scripting Git Une expérience en environnement Agile / Scrum est également attendue. Anglais professionnel indispensable à l'écrit et à l'oral Compétences appréciées / différenciantes Les technologies suivantes constituent des atouts supplémentaires : Cloud Functions – SAS – Alteryx – XLD/XLR – Control-M – Hadoop – Spark.
Bonjour, Pour le compte de l'un de mes clients dans le secteur du cosmétique, je suis à la recherche d'un Data Engineer Snowflake en recrutement sur mission. Nous recherchons un ingénieur de données (Data Engineer) possédant une solide expérience pratique de Snowflake et du développement SQL avancé. Le candidat idéal concevra & développera des solutions de données, tout en garantissant la qualité, la performance et l'évolutivité des données au sein des plateformes d'analyse et de Business Intelligence. Les responsabilités souhaitées : Développer et maintenir des modèles de données, des transformations et des pipelines de données en utilisant dbt & Snowflake. Écrire du code SQL avancé et optimisé pour gérer une logique métier complexe et des volumes de données importants. Concevoir des architectures de données évolutives garantissant haute performance et fiabilité. Collaborer avec les analystes de données, les data scientists et les parties prenantes métier pour fournir des données propres, fiables et structurées. Mettre en place des contrôles de qualité des données, la documentation et le contrôle de version pour les projets dbt. Surveiller les performances des pipelines de données et résoudre les problèmes de manière proactive. Participer à l'amélioration continue des meilleures pratiques en ingénierie des données.
En quelques motsCherry Pick est à la recherche d'un "Data Engineer Databricks (H/F) " pour un client dans le secteur du Retail Description🏢 Le Contexte : Passer à l'Échelle la Data Factory Supply ChainAu sein de la filiale informatique d'un groupe majeur de la grande distribution, la Data Factory réunit les équipes IT et les directions métiers pour concevoir, développer et déployer des produits analytiques et Data Science à forte valeur ajoutée. Afin de répondre à une demande croissante, l'organisation s'industrialise et adopte un modèle Agile à l'échelle (Domaines, Tribus, Squads). Vous intégrerez la squad Supply / Logistique, responsable de la création de cas d'usage stratégiques dédiés à l'optimisation des flux, à la gestion des entrepôts et à la performance logistique. Nous recherchons un(e) Data Engineer Confirmé / Senior évoluant sur une plateforme Cloud Azure / Databricks. Ce poste exige une réelle polyvalence : au-delà de la construction des pipelines de données, vous serez le garant de la qualité (QA/Testing) et participerez activement à la restitution décisionnelle. 🎯 Vos Missions : Pipelines, Data Warehouse, QA & RestitutionRattaché(e) à la squad Supply Chain, vos activités couvrent tout le cycle de vie de la donnée : 1. Data Engineering & Cloud Architecture (Majeure) : Concevoir et construire de manière industrielle les pipelines de données (ETL/ELT) pour transformer, enrichir et ingérer les données dans le Data Lake. Développer des notebooks Databricks (Spark / Python) pour assurer des traitements massifs complexes. Mettre en œuvre et optimiser les solutions de Cloud Data Warehousing (tuning de requêtes SQL, modélisation de tables). Assurer la livraison continue des développements dans un environnement DevOps intégrant les processus CI/CD (Azure DevOps). 2. QA, Testing & Qualité de Code : Assurer la QA et le testing des pipelines développés par le second Data Engineer de la squad. Concevoir et exécuter les tests unitaires, d'intégration et de non-régression. Réaliser des revues de code rigoureuses pour garantir le respect des bonnes pratiques et des standards d'ingénierie. 3. Data Analyse & Restitution Decisionnelle : Participer au recueil des besoins métiers et mener les analyses de données en amont. Concevoir et développer les tableaux de bord sous Power BI pour restituer les indicateurs Supply Chain aux opérationnels. Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes).
Nous recherchons pour un acteur international, un Senior Data Engineer pour accompagner le développement et l'industrialisation de sa plateforme Data. Au sein d'une équipe Data en pleine structuration, vous interviendrez sur des sujets à forts enjeux autour de la donnée, avec notamment pour responsabilités : • Concevoir et développer des pipelines de données robustes et scalables • Industrialiser et fiabiliser les pipelines existants • Participer à la mise en place d'une architecture Data moderne de type Lakehouse • Prendre en charge les pipelines de bout en bout, de la conception à la mise en production et au monitoring • Mettre en œuvre les bonnes pratiques Data Engineering / DataOps : CI/CD, tests, versioning, monitoring et gestion des incidents • Collaborer avec les Data Engineers, Data Architects, Product Managers et Engineering Managers • Documenter les flux, dépendances, transformations et procédures d'exploitation • Contribuer à l'autonomie et à la montée en compétences de l'équipe Data
En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.
Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.
Dans le cadre de l'évolution d'une Data Platform Cloud déjà en production, nous recherchons un Data Engineer AWS confirmé/senior. La mission s'inscrit dans un environnement Data à forte volumétrie et porte principalement sur l'évolution de la plateforme, l'industrialisation des pipelines de données et l'intégration de solutions AWS. Vos missionsParticiper à la définition et à l'évolution de l'architecture Data Platform / Lakehouse Concevoir, développer et industrialiser des pipelines de données Développer des traitements PySpark sur AWS Glue Intégrer les services Data AWS, notamment S3 Participer au développement d'API en Java / Spring Boot Contribuer à la mise en place d'un environnement Data Lab Mettre en œuvre et améliorer les processus CI/CD Analyser les besoins fonctionnels et les traduire en solutions techniques Garantir la maintenabilité et la sécurité des solutions Participer aux mises en production Assurer le support de production en cas d'incident majeur Contribuer aux bonnes pratiques de développement, de tests et d'industrialisation
Dans un contexte de transformation digitale accélérée, les données représentent un levier stratégique majeur pour les grandes organisations internationales. Le traitement et l'industrialisation des flux de données conditionnent la capacité des directions métiers à innover et à piloter efficacement leurs activités. Vous rejoignez un grand groupe international du secteur bancaire, engagé dans la modernisation continue de son infrastructure data, au sein d'une DSI structurée autour des fonctions Technologies & Opérations et Banque de Proximité et Assurance. En tant que Data Engineer GCP, vous intégrez une équipe dynamique en charge du projet DatOps, travaillant en forte collaboration avec les équipes applicatives et DevOps. Votre rôle consiste à mettre en œuvre techniquement les demandes métier relatives à la gestion et à la transformation des données, dans un environnement technologique Cloud moderne. Mettre en œuvre de nouvelles ingestions de données ainsi que des processus de préparation et transformation des données. Maintenir et faire évoluer les outils de gestion des pipelines de données pour garantir leur fiabilité et performance. Collaborer avec l'équipe DevOps afin d'adresser les demandes d'évolution et d'amélioration de la plateforme data. Participer à la rédaction de spécifications techniques claires et précises en lien avec les besoins métier. Assurer une veille technologique afin d'identifier et proposer des innovations adaptées aux enjeux du projet. Travailler dans un cadre agile, notamment avec la méthodologie SCRUM, pour favoriser une adaptation rapide aux évolutions du projet. Assurer la qualité du code et des pipelines en appliquant les bonnes pratiques de développement et de gestion de configuration (GIT). Contribuer à l'amélioration continue de la plateforme en intégrant des outils complémentaires selon les besoins (Cloud Functions, SAS, Alteryx, etc.). Vous évoluerez au sein d'une organisation reconnue pour ses pratiques IT avancées, propice au développement de vos compétences techniques et à votre progression professionnelle.
CDI - 2 jours de télétravail / semaine - Nantes - Expérience de 3 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) ingénieur décisionnel ETL pour intervenir chez un de nos clients dans le secteur bancaire. Contexte : Rejoignez une équipe Data au cœur de la connaissance client et des activités commerciales d'un grand groupe bancaire. Vos principales missions : Vous jouerez un rôle clé dans la construction et la performance des pipelines de données : Conception & Développement - Concevoir, développer et maintenir des flux ETL robustes et industrialisés sous Stambia / Semarchy - Modéliser et structurer les données selon les besoins métiers et techniques - Développer des jobs d'intégration, de transformation et de restitution Qualité & Performance - Optimiser les traitements pour garantir la performance, la scalabilité et la fiabilité des pipelines - Mettre en place des contrôles qualité, règles de validation et mécanismes d'alerting - Participer à l'amélioration continue des bonnes pratiques Data Analyse & Collaboration - Analyser les besoins fonctionnels et proposer des solutions techniques adaptées - Collaborer avec les équipes BI, Data, IT et les référents métiers - Documenter les flux et leur cycle de vie pour garantir la pérennité des traitements ⚙ Stack technique du projet : - ETL : Stambia / Semarchy ( xDM / xDI) - SQL
CDI / Portage / Freelance - 2 jours de télétravail / semaine - Nantes - Expérience de 3 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) ingénieur décisionnel ETL pour intervenir chez un de nos clients dans le secteur bancaire. Contexte : Rejoignez une équipe Data au cœur de la connaissance client et des activités commerciales d'un grand groupe bancaire. Vos principales missions : Vous jouerez un rôle clé dans la construction et la performance des pipelines de données : Conception & Développement - Concevoir, développer et maintenir des flux ETL robustes et industrialisés sous Stambia / Semarchy - Modéliser et structurer les données selon les besoins métiers et techniques - Développer des jobs d'intégration, de transformation et de restitution Qualité & Performance - Optimiser les traitements pour garantir la performance, la scalabilité et la fiabilité des pipelines - Mettre en place des contrôles qualité, règles de validation et mécanismes d'alerting - Participer à l'amélioration continue des bonnes pratiques Data Analyse & Collaboration - Analyser les besoins fonctionnels et proposer des solutions techniques adaptées - Collaborer avec les équipes BI, Data, IT et les référents métiers - Documenter les flux et leur cycle de vie pour garantir la pérennité des traitements ⚙ Stack technique du projet : - ETL : Stambia / Semarchy ( xDM / xDI) - SQL
Dans le cadre d'un projet stratégique à forte visibilité portant sur les risques climatiques et physiques, la mission consiste à intégrer une équipe expérimentée afin de participer à la conception et à la réalisation d'une solution Data basée sur Google Cloud Platform (GCP). Le consultant interviendra sur le développement et l'intégration de solutions Python/Spark permettant d'ingérer, agréger, transformer et exposer des données issues de sources multiples, notamment à travers BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera à la conception des infrastructures et flux de données, à la qualité, la sécurité et l'accessibilité des données, ainsi qu'à leur industrialisation et leur mise en production. Il participera également au maintien en conditions opérationnelles et au RUN des applications, à la supervision des traitements, à la documentation et à la cartographie des sources de données. La mission comprend enfin une dimension DevOps avec l'utilisation de XLD, Terraform et Jenkins, dans un environnement nécessitant autonomie, rigueur, communication et capacité à travailler efficacement en équipe.
Vous voulez voir vos pipelines faire tourner la logistique d'un géant de la distribution ? Cette mission est pour vous. VADEMI recherche un Data Engineer confirmé / senior pour rejoindre la Data Factory d'un grand groupe national de la distribution, en pleine accélération. Après de premiers succès, la Data Factory passe à l'échelle : nouvelle organisation Agile en Domaine / Tribu / Squad, industrialisation des pratiques et livraisons accélérées. Vous intégrez la Squad Supply / Logistique, qui conçoit des produits BI, Analytics et Data Science sur une plateforme Azure + Databricks. Vos traitements alimentent concrètement les entrepôts, les magasins et les consommateurs. Vos missions : - Recueillir les besoins métier et analyser les données - Concevoir et construire des pipelines de données au sein du Data Lake - Développer des notebooks Databricks pour des traitements avancés (PySpark / Spark SQL) - Optimiser les traitements et tuner les requêtes SQL (Cloud Data Warehousing) - Réaliser les revues de code et les tests unitaires - Assurer la QA / le testing des pipelines de votre binôme Data Engineer - Construire des tableaux de bord Power BI - Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes) - Livrer en continu via une chaîne CI/CD Azure DevOps Pourquoi nous rejoindre ? - Un rôle complet et à fort impact, du besoin métier jusqu'au dashboard - Une stack moderne : Azure, Databricks, Spark, Lakehouse, CI/CD - Un environnement Agile structuré, au cœur de la Supply Chain d'un leader du retail - Un rythme hybride : 2 jours de télétravail par semaine - Une mission en régie jusqu'à fin décembre 2026, avec perspective de prolongation Démarrage : dès que possible (fin septembre au plus tard) – Châtillon (92), 3 jours par semaine sur site. Processus : après votre candidature, nous vous transmettrons une grille de compétences à compléter. Un test technique est prévu en présentiel lors de l'entretien client.
Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API
