Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks à Paris

Contexte de la mission Le programme vise à doter le reporting financier de capacités de pilotage et d'analyse de la marge, de prévisions financières, de gestion du budget et des opérations de clôture. La solution s'appuie sur une plateforme Data centralisée agrégeant les flux provenant des systèmes de facturation, de pricing et de sourcing d'énergie. Le programme est structuré autour de trois familles d'équipes : 3 équipes en charge de la visualisation des chiffres et de l'expérience utilisateurs Contrôle de Gestion 2 équipes Data en charge de l'ingestion, de la transformation et de la qualité des données Une équipe Plateforme assurant la maintenance du socle technique, l'orchestration des traitements et leur monitoring La solution est aujourd'hui incomplètement industrialisée et un plan d'action visant à finaliser la mise en place des flux, à sécuriser les données, à consolider l'approche transverse bout-en-bout du programme et à assister les équipes dans leurs pratiques agiles est en cours. Le Delivery Manager est le pilote de ce Plan d'action en étroite collaboration avec la Direction de Programme Métier et les Data Providers.

Le data engineer/Tech Lead intègre une équipe en charge du lakehouse pour le client. De nombreuses challenges techniques sont attendus. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer)

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Contexte Notre client est un groupe qui constitue un majeur de la transition énergétique, engagé à atteindre la neutralité carbone d’ici 2045. Présent dans plus de 30 pays et fort de plus de 90000 collaborateurs, le Groupe intervient sur l’ensemble de la chaîne de valeur de l’énergie : production renouvelable, infrastructures gazières et services énergétiques. Le COE Data Groupe accompagne les entités du Groupe dans l’industrialisation de leurs usages data, en s’appuyant sur un écosystème moderne construit autour de Databricks. Dans ce cadre, le poste de Data Engineer / Data Ops contribue à concevoir, optimiser et exploiter des pipelines et architectures data fiables, scalables et alignés avec les besoins métiers.

Contexte de la mission Dans le cadre du développement de son équipe Data Accelerator (DAC), notre client recherche un Data Engineer confirmé orienté Data Quality et Data Governance. DAC est une équipe transverse en charge d’accompagner les équipes métiers et IT sur l’ensemble de la chaîne de valeur de la donnée : collecte, ingestion, transformation, industrialisation, gouvernance et optimisation des performances. L’environnement s’appuie principalement sur les technologies AWS, Databricks, Dataiku et Collibra, avec un fort enjeu autour de la qualité, de la fiabilisation et de la structuration des données au sein du Data Lake. Le consultant interviendra dans un contexte stratégique avec une forte collaboration avec les équipes Data Analysts, Data Scientists ainsi qu’avec le Chief Data Officer. Missions principalesQualification et gestion des données Captation des données structurées et non structurées provenant de multiples sources Intégration et supervision des flux de données Structuration de la donnée (normalisation, sémantique, référentiel) Cartographie des données disponibles Nettoyage des données (suppression des doublons, contrôle qualité) Validation et qualification des données avant intégration dans le Data Lake Participation à la création et à l’amélioration des référentiels de données Industrialisation et performance Développement et optimisation des traitements data Amélioration des performances et maîtrise des coûts des plateformes data Participation aux développements correctifs, évolutifs et adaptatifs Contribution aux dossiers d’architecture Production des tableaux de bord de suivi Gouvernance & collaboration Participation à la définition de la politique data Respect des standards de sécurité, gouvernance et conformité Collaboration avec les équipes métiers, IT et gouvernance data Contribution à l’industrialisation des cas d’usage Data & GenAI

Contexte Dans le cadre des activités de la DSI, au sein du service Systèmes Connectés, notre client pilote plusieurs applications en BUILD et en RUN liées à la gestion et à l’exploitation de données à grande échelle. Nous recherchons un Tech Lead / Développeur expérimenté pour prendre en charge un projet récemment mis en production, permettant de restituer des indicateurs métier via Grafana, alimentés par une stack Java / ELK. Missions principales Prendre en main un projet existant (RUN + évolutions) Assurer la maintenance corrective et évolutive Analyser et résoudre les incidents remontés par les équipes métier Comprendre et corriger les écarts sur les indicateurs affichés Développer de nouveaux objets et indicateurs Piloter techniquement le projet (rôle de référent unique) Suivre le backlog et collaborer avec PO, métier et architectes Participer aux réflexions d’évolution (notamment migration potentielle vers Databricks) Environnement technique Backend / Ingestion : Java Data / Monitoring : ElasticSearch, ELK, Grafana Infra / Cloud : Azure (souhaité) Outils : Azure DevOps Auth (optionnel) : Keycloak Data (optionnel) : Databricks, SQL Server Langages complémentaires (nice to have) : C# Compétences attenduesIndispensables Très bonne maîtrise de ElasticSearch et de la stack ELK Solide expérience en Java Expérience sur des volumétries de données importantes Maîtrise de Grafana Capacité à écrire des requêtes de transformation/exploitation de données (Elastic) Expérience en debug / analyse d’incidents Bonne maîtrise d’Azure DevOps Appréciées Databricks Azure SQL Server Keycloak C# Soft skills Excellente communication avec les équipes métier Forte autonomie (poste en solo sur le projet) Capacité d’analyse et de résolution de problèmes Prise de recul et vision technique

Contexte de la mission Au sein de la Direction des Systèmes d'Information (DSI), le service « systèmes connectés » gère un portefeuille de projets couvrant plusieurs applications, dont certaines sont en phase de développement ( BUILD ) et d'autres en exploitation ( RUN ). Nous recherchons un profil expérimenté pour assurer la responsabilité d’un projet existant. Ce projet, récemment mis en production, a pour objectif de fournir des indicateurs via une interface Grafana. Le système comprend une couche « d’ingestion » qui enregistre les données dans une base ElasticSearch, dans un format adapté. Cette étape d’ingestion est orchestrée avec du code Java. Les indicateurs produits permettent au métier de suivre les modules de télérelève et de radio-relevé client (plus d’un million de modules, avec un index quotidien sur trois ans). La mission comprend notamment : La maintenance de l’existant L’analyse des incidents et des questions remontés par le métier afin d’expliquer ou corriger les résultats affichés L’ajout de nouveaux objets métier selon les besoins. Objectifs et livrables Le candidat retenu devra prendre en charge les projets suivants : Projet « Supervision Télérelève » : basé sur une architecture technique Java/ELK/Grafana, il vise à fournir une solution de reporting des données de télérelève aux experts et aux collectivités. Le socle technique étant déjà en place, il sera nécessaire de le maintenir, le faire évoluer en intégrant de nouveaux objets, et de collaborer avec d’autres équipes sur la mise en œuvre de fonctionnalités d’authentification, afin d’intégrer la solution dans d’autres projets. Il est également possible qu’à moyen terme, une migration vers Databricks soit envisagée. Le rôle du consultant sera celui de TechLead et de développeur : il analysera l’existant, assurera des activités de débogage, suivra le backlog et communiquera régulièrement avec le métier, le Product Owner (PO) et, si nécessaire, avec les architectes. En tant que seul acteur technique sur ce projet, le consultant devra faire preuve d’une grande autonomie pour la gestion des sujets techniques.

Nous recherchons un Architecte Cloud expérimenté pour accompagner la mise en place d’une nouvelle Data Platform au sein d’un programme de transformation data. 🎯 Enjeux : concevoir et piloter l’architecture SI cloud, garantir la cohérence avec la stratégie IT, et accompagner l’innovation autour des architectures Data Lakehouse . 🚀 Missions Définir et piloter l’ architecture cloud (AWS / Azure) Contribuer aux choix technologiques et à la stratégie SI Accompagner les projets dans la conception et l’intégration des solutions Définir les standards d’architecture et bonnes pratiques Garantir la sécurité, la résilience et la performance du SI Participer à l’amélioration continue et au partage des connaissances

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers

Contexte de la mission Cette équipe est responsable de la conception, du déploiement et de la maintenance d'une plateforme data cloud utilisée à l’échelle du groupe. Cette plateforme doit répondre à des enjeux majeurs tels que : la scalabilité la gouvernance la sécurité la performance Actuellement, l’environnement est principalement orienté vers Azure, avec une interopérabilité multi-cloud envisageable. Objectifs et livrables Infrastructure & Cloud (Azure) Développement et maintenance d’infrastructures en utilisant Terraform, Bicep et ARM Déploiement et gestion des ressources Azure : Azure Data Lake Storage (ADLS Gen2) Azure Storage (Blob) Azure Virtual Network, NSG, Private Endpoints Gestion des environnements cloud (DEV, TEST, PROD) Data Platform Administration et exploitation d’un Data Lake Azure Gestion des accès, de la gouvernance et de la sécurité des données : Azure AD / RBAC Politiques / Purview pour la gouvernance data Optimisation des performances et des coûts CI/CD & Automatisation Conception et maintenance de pipelines CI/CD avec Azure DevOps et GitHub Actions Automatisation des déploiements (infrastructure, données et services) Développement & APIs Création de microservices en Python Développement de REST APIs et architectures événementielles Intégration avec les services Azure tels que Functions et Event Hub Containers & Orchestration Déploiement de services containerisés via : Azure Kubernetes Service (AKS) Azure Container Apps / Azure Container Instances Monitoring & Fiabilité Mise en place de solutions de supervision telles que Azure Monitor, Log Analytics et Application Insights Suivi de la performance et de la disponibilité des services Collaboration Rédaction de documentation technique Interaction avec les équipes data, développement et métier Participation aux cérémonies Agile

Nous recherchons actuellement un Data Engineer pour intervenir au sein d’un grand groupe international du secteur du luxe (cosmétique & parfums), dans le cadre du renforcement de ses équipes data. Contexte Vous interviendrez sur la mise en place et l’optimisation d’une plateforme data moderne basée sur Microsoft Fabric, avec des enjeux autour de la centralisation, de la transformation et de la valorisation des données métiers. Missions principales Développer et maintenir des pipelines de données sur Microsoft Fabric Participer à la conception de l’architecture data (Lakehouse, Data Warehouse) Intégrer et transformer des données issues de multiples sources Assurer la qualité, la fiabilité et la performance des flux de données Collaborer avec les équipes Data, BI et métiers Contribuer aux bonnes pratiques Data Engineering (CI/CD, monitoring, documentation) Stack technique Microsoft Fabric Azure Data Factory / Synapse (ou équivalent) Python / SQL Data Lake / Lakehouse Git / CI-CD Profil recherché 3 à 4 ans d’expérience en Data Engineering Première expérience sur Microsoft Fabric ou forte appétence sur l’écosystème Microsoft data Bonne maîtrise de Python et SQL Expérience sur des environnements cloud (idéalement Azure) Bon niveau d’anglais Soft skills Esprit analytique Autonomie Capacité à monter rapidement en compétence Bonne communication avec les équipes métiers

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€