Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.
En quelques motsCherry Pick est à la recherche d'un "Data Engineer Databricks (H/F) " pour un client dans le secteur du Retail Description🏢 Le Contexte : Passer à l'Échelle la Data Factory Supply ChainAu sein de la filiale informatique d'un groupe majeur de la grande distribution, la Data Factory réunit les équipes IT et les directions métiers pour concevoir, développer et déployer des produits analytiques et Data Science à forte valeur ajoutée. Afin de répondre à une demande croissante, l'organisation s'industrialise et adopte un modèle Agile à l'échelle (Domaines, Tribus, Squads). Vous intégrerez la squad Supply / Logistique, responsable de la création de cas d'usage stratégiques dédiés à l'optimisation des flux, à la gestion des entrepôts et à la performance logistique. Nous recherchons un(e) Data Engineer Confirmé / Senior évoluant sur une plateforme Cloud Azure / Databricks. Ce poste exige une réelle polyvalence : au-delà de la construction des pipelines de données, vous serez le garant de la qualité (QA/Testing) et participerez activement à la restitution décisionnelle. 🎯 Vos Missions : Pipelines, Data Warehouse, QA & RestitutionRattaché(e) à la squad Supply Chain, vos activités couvrent tout le cycle de vie de la donnée : 1. Data Engineering & Cloud Architecture (Majeure) : Concevoir et construire de manière industrielle les pipelines de données (ETL/ELT) pour transformer, enrichir et ingérer les données dans le Data Lake. Développer des notebooks Databricks (Spark / Python) pour assurer des traitements massifs complexes. Mettre en œuvre et optimiser les solutions de Cloud Data Warehousing (tuning de requêtes SQL, modélisation de tables). Assurer la livraison continue des développements dans un environnement DevOps intégrant les processus CI/CD (Azure DevOps). 2. QA, Testing & Qualité de Code : Assurer la QA et le testing des pipelines développés par le second Data Engineer de la squad. Concevoir et exécuter les tests unitaires, d'intégration et de non-régression. Réaliser des revues de code rigoureuses pour garantir le respect des bonnes pratiques et des standards d'ingénierie. 3. Data Analyse & Restitution Decisionnelle : Participer au recueil des besoins métiers et mener les analyses de données en amont. Concevoir et développer les tableaux de bord sous Power BI pour restituer les indicateurs Supply Chain aux opérationnels. Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes).
🚀 Qui sommes-nous ? Finaxys est un cabinet de conseil spécialisé dans les secteurs Banque, Finance et Assurance. Depuis plus de 15 ans, nous intervenons auprès des plus grandes institutions telles que BNP Paribas, Crédit Agricole, Société Générale, AXA, Malakoff Humanis, etc. en proposant des solutions technologiques innovantes (IA, Machine Learning, Data, Cloud, DevSecOps, etc.). Notre mission ? Accompagner nos clients dans leur transformation digitale et répondre aux défis IT les plus complexes grâce à l'expertise de nos équipes. 🎯 Votre mission : En tant que DataOps, vous rejoindrez les équipes techniques de nos clients grands comptes pour : Industrialiser et automatiser les déploiements avec Ansible Mettre en production de nouveaux clusters et mettre à l'échelle les clusters existants (scale horizontal et vertical) Documenter les offres Apporter une expertise technique aux utilisateurs de la plateforme Participer à la définition des architectures des futures briques de la plateforme Streaming Construire un MVP de ces services puis enrichir l'offre Prendre des éléments de la backlog qui ont été formalisés par le Squad Lead et mettre en œuvre les éléments de la backlog Réaliser l'intégration dans le SI (observabilité, alerting, gestion des droits, backup, etc) Rendre compte des difficultés auxquelles il est confronté et proposer des solutions pour les résoudre Participer à l'ensemble des rituels agiles de la Squad (Rétro, Démos, Pi Planning) Environnement technique / fonctionnel : Python, Java, Hadoop, Spark, Kafka, Flink, Kubernetes, Gitlab, Ansible, Vault, Artifactory, CI/CD, Jira
Nous allons travailler sur un POC Réseau Autonome d'une durée limitée (approx 6 mois à partir de septembre), l'objectif est de collecter des données réseaux (données config Radio, Kpi, référentielles) les intégrer dans Databricks, développer des API pour requêter ces données afin que des agent IA puissent requêter les données à travers ces API. Livrables: Conception et développement de projets d'intégration de données pour des projets à forte valeur ajoutée. Développement de jobs d'intégration de données en PySpark, Spark, Python en mode streaming et batch sur la plateforme Databricks. La mise en œuvre de CI/CD (github, devops, Databricks Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs et des ressources cloud (GCP et Databricks). Mise en place de de Dashboard Finops afin de suivre l'usage des ressources GCP / Databricks. Travailler au sein d'équipes pluridisciplinaires : chefs de projet, architectes, devops, data engineer. Assurer une formation continue, le partage de connaissances, mise en place de documentation.
Contexte de la mission Notre objectif est de transformer notre stratégie de pricing grâce à la donnée et à l'intelligence artificielle. Nous voulons passer d'une tarification traditionnelle à une tarification dynamique, plus intelligente et prédictive, capable d'équilibrer la rentabilité de l'entreprise et la perception de la valeur par nos clients. Pour porter cette ambition, au sein de notre équipe digital data Pricing nous concevons, développons et industrialisons les algorithmes et les produits Data qui piloteront nos prix de manière proactive et agile. Objectifs et livrables Le consultant interviendra sur un scope large, allant de l'analyse exploratoire à la mise en production (MLOps). Les chantiers majeurs identifiés pour les prochains mois sont : • Élasticité Prix: Optimisation des algorithmes d'élasticité prix existants, avec un focus majeur sur la modélisation pour le lancement de nouveaux produits. • Moteur de Promotion : Développement d'un algorithme d'optimisation des campagnes promotionnelles. • Tarification Dynamique : Analyses exploratoires préliminaires et formulation de propositions pour un moteur d'aide à la décision (Dynamic Pricing “home-made”). • Industrialisation & MLOps : Optimisation des modèles existants, intégration de nouvelles sources de données, APIzation et automatisation des pipelines (Ops). • Agent amélioration : Contribution sur notre agent pricing. • Monitoring : Mise en place d'un tracking robuste de la performance des modèles et de la qualité de la donnée. Nous recherchons un profil hybride et autonome, capable de naviguer entre la vision produit et la technique. Hard skills: • Core Tech : Maîtrise avancée de Python et de son écosystème Data Science / ML (Pandas, Scikit-Learn, TensorFlow/PyTorch). • ML Engineering & MLOps : Expérience solide en mise en production d'algorithmes à grande échelle, packaging de modèles, CI/CD (Git) et industrialisation d'API. • Data & Cloud : Pratique des environnements Cloud (AWS / Databricks appréciés) et manipulation de gros volumes de données (Spark, dbt). Soft skills: • Product Ownership & Proactivité : Capacité à creuser le besoin métier, clarifier les exigences et proposer des solutions concrètes sans attendre un cahier des charges figé. • Leadership technique : Autonomie pour piloter des sujets de bout en bout et interagir avec des interlocuteurs variés (équipes Data, Tech et Métier). • Langues : Anglais courant indispensable. Une expérience préalable ou un fort background sur des problématiques de Pricing (élasticité, yield management, optimisation de marge) sera grandement valorisée.
Expérience5 ans minimum en Data Engineering 🚀 DémarrageDès que possible – au plus tard fin septembre 2026 🏠 Télétravail2 jours de télétravail / semaine 3 jours de présence obligatoire sur site / semaine 🎯 Contexte de la missionAu sein de la Direction des SI Mutualisés, l'équipe DataLab intervient sur les périmètres Data & Analytics dans le cadre du programme de transformation du SI du Groupement Les Mousquetaires. Le consultant intégrera la Data Factory, qui regroupe les équipes Data de la Stime et des métiers. Cette organisation a pour objectif de concevoir et déployer des produits Data, BI, Analytics et Data Science à destination des fonctions support, des équipes logistiques, des magasins et des consommateurs. Dans un contexte de passage à l'échelle et d'industrialisation des pratiques Data, vous rejoindrez une Squad Supply / Logistique, en charge du développement de cas d'usage BI, Analytics et Data Science sur une plateforme Data basée sur Microsoft Azure et Databricks. 🎯 Description de la missionNous recherchons un Data Engineer Confirmé / Senior, polyvalent et opérationnel, disposant d'une solide expertise sur : Azure Databricks Apache Spark Python SQL Le consultant devra également avoir une forte appétence pour l'analyse de données et être capable d'intervenir sur les activités de QA et de testing, afin de garantir la qualité et la fiabilité des livrables de la Squad. Une expérience sur Power BI ainsi qu'une première expérience dans un environnement Supply Chain / Logistique seront fortement appréciées. 🔧 Missions principalesRecueillir et analyser les besoins Data Réaliser des analyses de données Concevoir et développer des pipelines de données Transformer, enrichir et traiter les données au sein du Data Lake Développer des notebooks Databricks pour les traitements avancés Concevoir et optimiser les traitements Data Mettre en œuvre des solutions de Cloud Data Warehousing Optimiser les requêtes SQL et réaliser le tuning des traitements Rédiger la documentation technique : dossiers d'analyse technique, release delivery notes, etc. Participer aux revues de code Garantir l'application des bonnes pratiques de développement Concevoir et exécuter les tests unitaires Réaliser les activités de QA / testing des pipelines développés par les autres Data Engineers de la Squad Concevoir et maintenir des tableaux de bord Power BI Livrer les développements dans un environnement DevOps / CI-CD Participer à l'amélioration continue des pratiques Data Engineering 🧩 Compétences techniques requisesCompétenceExpérience minimaleExpérience Data Engineering5 ansAzure3 ansDatabricks3 ansSpark3 ansPython5 ansSQL5 ansCI/CD – Azure DevOps3 ansAgile / JIRA1 an ⭐ Compétences appréciéesPower BI Expérience Supply Chain / Logistique Data Lake / Cloud Data Warehouse Optimisation et performance des traitements Data QA / Data Quality / Testing Environnement Agile à l'échelle
