En quelques motsCherry Pick est à la recherche d'un "Data Engineer Databricks (H/F) " pour un client dans le secteur du Retail Description🏢 Le Contexte : Passer à l'Échelle la Data Factory Supply ChainAu sein de la filiale informatique d'un groupe majeur de la grande distribution, la Data Factory réunit les équipes IT et les directions métiers pour concevoir, développer et déployer des produits analytiques et Data Science à forte valeur ajoutée. Afin de répondre à une demande croissante, l'organisation s'industrialise et adopte un modèle Agile à l'échelle (Domaines, Tribus, Squads). Vous intégrerez la squad Supply / Logistique, responsable de la création de cas d'usage stratégiques dédiés à l'optimisation des flux, à la gestion des entrepôts et à la performance logistique. Nous recherchons un(e) Data Engineer Confirmé / Senior évoluant sur une plateforme Cloud Azure / Databricks. Ce poste exige une réelle polyvalence : au-delà de la construction des pipelines de données, vous serez le garant de la qualité (QA/Testing) et participerez activement à la restitution décisionnelle. 🎯 Vos Missions : Pipelines, Data Warehouse, QA & RestitutionRattaché(e) à la squad Supply Chain, vos activités couvrent tout le cycle de vie de la donnée : 1. Data Engineering & Cloud Architecture (Majeure) : Concevoir et construire de manière industrielle les pipelines de données (ETL/ELT) pour transformer, enrichir et ingérer les données dans le Data Lake. Développer des notebooks Databricks (Spark / Python) pour assurer des traitements massifs complexes. Mettre en œuvre et optimiser les solutions de Cloud Data Warehousing (tuning de requêtes SQL, modélisation de tables). Assurer la livraison continue des développements dans un environnement DevOps intégrant les processus CI/CD (Azure DevOps). 2. QA, Testing & Qualité de Code : Assurer la QA et le testing des pipelines développés par le second Data Engineer de la squad. Concevoir et exécuter les tests unitaires, d'intégration et de non-régression. Réaliser des revues de code rigoureuses pour garantir le respect des bonnes pratiques et des standards d'ingénierie. 3. Data Analyse & Restitution Decisionnelle : Participer au recueil des besoins métiers et mener les analyses de données en amont. Concevoir et développer les tableaux de bord sous Power BI pour restituer les indicateurs Supply Chain aux opérationnels. Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes).
En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.
Bonjour, Pour le compte de l'un de mes clients dans le secteur du cosmétique, je suis à la recherche d'un Data Engineer Snowflake en recrutement sur mission. Nous recherchons un ingénieur de données (Data Engineer) possédant une solide expérience pratique de Snowflake et du développement SQL avancé. Le candidat idéal concevra & développera des solutions de données, tout en garantissant la qualité, la performance et l'évolutivité des données au sein des plateformes d'analyse et de Business Intelligence. Les responsabilités souhaitées : Développer et maintenir des modèles de données, des transformations et des pipelines de données en utilisant dbt & Snowflake. Écrire du code SQL avancé et optimisé pour gérer une logique métier complexe et des volumes de données importants. Concevoir des architectures de données évolutives garantissant haute performance et fiabilité. Collaborer avec les analystes de données, les data scientists et les parties prenantes métier pour fournir des données propres, fiables et structurées. Mettre en place des contrôles de qualité des données, la documentation et le contrôle de version pour les projets dbt. Surveiller les performances des pipelines de données et résoudre les problèmes de manière proactive. Participer à l'amélioration continue des meilleures pratiques en ingénierie des données.
Dans le cadre de l'évolution d'une Data Platform Cloud déjà en production, nous recherchons un Data Engineer AWS confirmé/senior. La mission s'inscrit dans un environnement Data à forte volumétrie et porte principalement sur l'évolution de la plateforme, l'industrialisation des pipelines de données et l'intégration de solutions AWS. Vos missionsParticiper à la définition et à l'évolution de l'architecture Data Platform / Lakehouse Concevoir, développer et industrialiser des pipelines de données Développer des traitements PySpark sur AWS Glue Intégrer les services Data AWS, notamment S3 Participer au développement d'API en Java / Spring Boot Contribuer à la mise en place d'un environnement Data Lab Mettre en œuvre et améliorer les processus CI/CD Analyser les besoins fonctionnels et les traduire en solutions techniques Garantir la maintenabilité et la sécurité des solutions Participer aux mises en production Assurer le support de production en cas d'incident majeur Contribuer aux bonnes pratiques de développement, de tests et d'industrialisation
CDI - 2 jours de télétravail / semaine - Nantes - Expérience de 3 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) ingénieur décisionnel ETL pour intervenir chez un de nos clients dans le secteur bancaire. Contexte : Rejoignez une équipe Data au cœur de la connaissance client et des activités commerciales d'un grand groupe bancaire. Vos principales missions : Vous jouerez un rôle clé dans la construction et la performance des pipelines de données : Conception & Développement - Concevoir, développer et maintenir des flux ETL robustes et industrialisés sous Stambia / Semarchy - Modéliser et structurer les données selon les besoins métiers et techniques - Développer des jobs d'intégration, de transformation et de restitution Qualité & Performance - Optimiser les traitements pour garantir la performance, la scalabilité et la fiabilité des pipelines - Mettre en place des contrôles qualité, règles de validation et mécanismes d'alerting - Participer à l'amélioration continue des bonnes pratiques Data Analyse & Collaboration - Analyser les besoins fonctionnels et proposer des solutions techniques adaptées - Collaborer avec les équipes BI, Data, IT et les référents métiers - Documenter les flux et leur cycle de vie pour garantir la pérennité des traitements ⚙ Stack technique du projet : - ETL : Stambia / Semarchy ( xDM / xDI) - SQL
CDI / Portage / Freelance - 2 jours de télétravail / semaine - Nantes - Expérience de 3 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) ingénieur décisionnel ETL pour intervenir chez un de nos clients dans le secteur bancaire. Contexte : Rejoignez une équipe Data au cœur de la connaissance client et des activités commerciales d'un grand groupe bancaire. Vos principales missions : Vous jouerez un rôle clé dans la construction et la performance des pipelines de données : Conception & Développement - Concevoir, développer et maintenir des flux ETL robustes et industrialisés sous Stambia / Semarchy - Modéliser et structurer les données selon les besoins métiers et techniques - Développer des jobs d'intégration, de transformation et de restitution Qualité & Performance - Optimiser les traitements pour garantir la performance, la scalabilité et la fiabilité des pipelines - Mettre en place des contrôles qualité, règles de validation et mécanismes d'alerting - Participer à l'amélioration continue des bonnes pratiques Data Analyse & Collaboration - Analyser les besoins fonctionnels et proposer des solutions techniques adaptées - Collaborer avec les équipes BI, Data, IT et les référents métiers - Documenter les flux et leur cycle de vie pour garantir la pérennité des traitements ⚙ Stack technique du projet : - ETL : Stambia / Semarchy ( xDM / xDI) - SQL
Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.
Dans le cadre d'un projet stratégique à forte visibilité portant sur les risques climatiques et physiques, la mission consiste à intégrer une équipe expérimentée afin de participer à la conception et à la réalisation d'une solution Data basée sur Google Cloud Platform (GCP). Le consultant interviendra sur le développement et l'intégration de solutions Python/Spark permettant d'ingérer, agréger, transformer et exposer des données issues de sources multiples, notamment à travers BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera à la conception des infrastructures et flux de données, à la qualité, la sécurité et l'accessibilité des données, ainsi qu'à leur industrialisation et leur mise en production. Il participera également au maintien en conditions opérationnelles et au RUN des applications, à la supervision des traitements, à la documentation et à la cartographie des sources de données. La mission comprend enfin une dimension DevOps avec l'utilisation de XLD, Terraform et Jenkins, dans un environnement nécessitant autonomie, rigueur, communication et capacité à travailler efficacement en équipe.
Dans un contexte de transformation digitale accélérée, les données représentent un levier stratégique majeur pour les grandes organisations internationales. Le traitement et l'industrialisation des flux de données conditionnent la capacité des directions métiers à innover et à piloter efficacement leurs activités. Vous rejoignez un grand groupe international du secteur bancaire, engagé dans la modernisation continue de son infrastructure data, au sein d'une DSI structurée autour des fonctions Technologies & Opérations et Banque de Proximité et Assurance. En tant que Data Engineer GCP, vous intégrez une équipe dynamique en charge du projet DatOps, travaillant en forte collaboration avec les équipes applicatives et DevOps. Votre rôle consiste à mettre en œuvre techniquement les demandes métier relatives à la gestion et à la transformation des données, dans un environnement technologique Cloud moderne. Mettre en œuvre de nouvelles ingestions de données ainsi que des processus de préparation et transformation des données. Maintenir et faire évoluer les outils de gestion des pipelines de données pour garantir leur fiabilité et performance. Collaborer avec l'équipe DevOps afin d'adresser les demandes d'évolution et d'amélioration de la plateforme data. Participer à la rédaction de spécifications techniques claires et précises en lien avec les besoins métier. Assurer une veille technologique afin d'identifier et proposer des innovations adaptées aux enjeux du projet. Travailler dans un cadre agile, notamment avec la méthodologie SCRUM, pour favoriser une adaptation rapide aux évolutions du projet. Assurer la qualité du code et des pipelines en appliquant les bonnes pratiques de développement et de gestion de configuration (GIT). Contribuer à l'amélioration continue de la plateforme en intégrant des outils complémentaires selon les besoins (Cloud Functions, SAS, Alteryx, etc.). Vous évoluerez au sein d'une organisation reconnue pour ses pratiques IT avancées, propice au développement de vos compétences techniques et à votre progression professionnelle.
Vous voulez voir vos pipelines faire tourner la logistique d'un géant de la distribution ? Cette mission est pour vous. VADEMI recherche un Data Engineer confirmé / senior pour rejoindre la Data Factory d'un grand groupe national de la distribution, en pleine accélération. Après de premiers succès, la Data Factory passe à l'échelle : nouvelle organisation Agile en Domaine / Tribu / Squad, industrialisation des pratiques et livraisons accélérées. Vous intégrez la Squad Supply / Logistique, qui conçoit des produits BI, Analytics et Data Science sur une plateforme Azure + Databricks. Vos traitements alimentent concrètement les entrepôts, les magasins et les consommateurs. Vos missions : - Recueillir les besoins métier et analyser les données - Concevoir et construire des pipelines de données au sein du Data Lake - Développer des notebooks Databricks pour des traitements avancés (PySpark / Spark SQL) - Optimiser les traitements et tuner les requêtes SQL (Cloud Data Warehousing) - Réaliser les revues de code et les tests unitaires - Assurer la QA / le testing des pipelines de votre binôme Data Engineer - Construire des tableaux de bord Power BI - Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes) - Livrer en continu via une chaîne CI/CD Azure DevOps Pourquoi nous rejoindre ? - Un rôle complet et à fort impact, du besoin métier jusqu'au dashboard - Une stack moderne : Azure, Databricks, Spark, Lakehouse, CI/CD - Un environnement Agile structuré, au cœur de la Supply Chain d'un leader du retail - Un rythme hybride : 2 jours de télétravail par semaine - Une mission en régie jusqu'à fin décembre 2026, avec perspective de prolongation Démarrage : dès que possible (fin septembre au plus tard) – Châtillon (92), 3 jours par semaine sur site. Processus : après votre candidature, nous vous transmettrons une grille de compétences à compléter. Un test technique est prévu en présentiel lors de l'entretien client.
La mission, au sein du domaine « Pertes, Garanties et Entrepôt Risques », consiste à participer à la réalisation du projet basée sur Google Cloud Platform, à forts enjeux au sein d'une équipe engagée et experte sur le sujet. Une expérience dans le domaine du Risques de crédit est appréciée. Développement et Intégration de solutions Python Spark avec les services data et compute de Google Cloud Platform - Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe.
Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API
Contexte du poste Nous recherchons un Analytics Engineer / Data Engineer pour participer au développement d'une plateforme Data Analytics intégrée à une suite logicielle d'analyse technico-économique. En collaboration directe avec le Product Owner, vous serez responsable de l'implémentation des cas d'usage liés à la performance et aurez une vraie responsabilité sur la conception de l'architecture analytique et la modélisation des données. Missions principales Concevoir et faire évoluer l'architecture OLAP de la plateforme Modéliser les données selon les approches Kimball / étoile / flocon Développer et optimiser les transformations SQL et les modèles analytiques Concevoir les pipelines d'ingestion et d'orchestration avec Apache Airflow Développer des DAGs Python robustes, modulaires et maintenables Intégrer les données issues de bases OLTP vers l'environnement analytique Structurer les transformations avec dbt Implémenter et maintenir la couche sémantique avec Cube.js Concevoir les dashboards et métriques métiers sous Apache Superset Optimiser les performances, le cache et la gestion des droits d'accès / RLS Participer à l'industrialisation des développements avec Git et Docker
OBJECTIF Dans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MISSION Responsable Discovery Data product : - développement des query API Discovery en regard des besoins production - construction des data sets dans l'outil de query engine - exposition du data product à la consommation opérationnelle - interfaçage au MCP pour alimenter l'IA Production - MCO et optimisation des query et data sets DevOps Discovery - Configuration et paramétrage de BMC Discovery : Configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. - Intégration des données de BMC Discovery : Intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. - Définition des règles de correspondance : Définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. - Mise en place de la synchronisation des données : Mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. - Gestion des erreurs et des exceptions : Gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Opérationnellement, les outils de travail: - BMC Helix Discovery( Mandatory) - Starburst (Data product, MCP, AI) - Spark / Pyspark - ServiceNow ITSM (change, incident, problem, request) - Jira / confluence Nice to have: - Tableau server / Tableau Desktop / PowerBI / Dataikku - Talend Real Time Big Data / ESB, ETL, EAI - Talend Data Catalogue - PostGreSQL / Apache Kafka / S3 storage Environnement : L'expert utilisera BMC Discovery, et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products pour alimenter des IA.
ContexteDans le cadre de l'évolution et de la modernisation d'une Data Platform, nous recherchons un(e) Staff Data Platform Engineer pour contribuer à l'excellence engineering de l'écosystème data. Au sein d'une organisation Data Mesh mature, vous aurez un rôle transverse de facilitateur, d'accélérateur et de référent technique auprès des différentes équipes Data Engineering. Votre mission sera de faire le lien entre les capacités de la plateforme centrale et les besoins opérationnels des équipes produit, avec un fort enjeu autour de la Developer Experience (DevEx), de la standardisation des pratiques et de l'accélération de la mise en production des produits data. Vos missionsDeveloper Experience & Data EngineeringOptimiser le cycle de vie des pipelines Data, du développement local jusqu'à la production. Concevoir et standardiser des paved paths permettant aux équipes Data de développer et déployer plus efficacement. Développer et partager des composants, templates et outils facilitant le travail des Data Engineers. Contribuer à la mise en place de standards autour du CI/CD, des tests, de l'observabilité et de la qualité. Promouvoir les bonnes pratiques d'ingénierie logicielle au sein de la communauté Data. Innovation & IAIntégrer les outils d'IA générative et de développement assisté dans les pratiques quotidiennes des Data Engineers. Identifier et développer des cas d'usage permettant d'améliorer la productivité des équipes. Participer à la construction d'un AI Toolkit dédié aux besoins du Data Engineering. Accompagner l'évolution des pratiques vers une ingénierie Data augmentée par l'IA. Architecture & Excellence techniqueConcevoir des frameworks et patterns favorisant la qualité, la maintenabilité et la fiabilité des pipelines. Mettre en place des mécanismes de feedback loop, observabilité, data quality et data contracts. Contribuer à l'évolution de l'architecture Data et à sa modernisation progressive. Challenger les pratiques et architectures existantes afin d'identifier les axes d'amélioration. Accompagner la transition progressive vers des architectures Open Lakehouse et des modèles Data modernes. Prendre en compte les enjeux de FinOps, sécurité et RGPD by design. Gouvernance & accompagnementÊtre le représentant des besoins de la communauté Data Engineering auprès de l'équipe Platform. Faciliter l'alignement entre les pratiques locales et les standards d'ingénierie globaux. Conseiller les équipes responsables du socle technique de la plateforme. Favoriser le partage de connaissances et la mutualisation des initiatives au sein de la communauté Data. Travailler avec des équipes internationales dans un environnement matriciel. Environnement techniqueData Engineering / Data Platform Data Mesh GCP / BigQuery Data Vault / Star Schema CI/CD DataOps Data Quality Data Contracts Observabilité API / CLI tooling YAML Automatisation GenAI / Copilots / AI Engineering Open Lakehouse FinOps GDPR / Privacy by Design
