Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Nous recherchons un Architecte Cloud expérimenté pour accompagner la mise en place d’une nouvelle Data Platform au sein d’un programme de transformation data. 🎯 Enjeux : concevoir et piloter l’architecture SI cloud, garantir la cohérence avec la stratégie IT, et accompagner l’innovation autour des architectures Data Lakehouse . 🚀 Missions Définir et piloter l’ architecture cloud (AWS / Azure) Contribuer aux choix technologiques et à la stratégie SI Accompagner les projets dans la conception et l’intégration des solutions Définir les standards d’architecture et bonnes pratiques Garantir la sécurité, la résilience et la performance du SI Participer à l’amélioration continue et au partage des connaissances

En tant que Data Engineer Senior PySpark, vous jouez un rôle clé dans la performance et la fiabilité des traitements de données à grande échelle. Vous êtes en charge de l’optimisation des pipelines existants et de l’organisation des activités de RUN & stabilisation, en veillant à prioriser les actions à forte valeur ajoutée dans un environnement Agile. Votre rôle Optimisation et refonte des pipelines data · Auditer, refactorer et faire évoluer les modules de data engineering : Refining Covariates Modelling, Exposition · Optimiser les pipelines PySpark pour améliorer les performances de traitement à grande échelle (partitioning, gestion des joins, cache, skew et volumétrie) · Renforcer la modularité, la lisibilité, l’évolutivité et la scalabilité des pipelines · Contribuer à la réduction de la dette technique et à la modernisation du legacy Industrialisation et qualité des développements · Structurer un framework flexible permettant l'ajout de nouvelles features et facilitant l’industrialisation des développements · Mettre en place les tests unitaires, d’intégration et fonctionnels · Formaliser des standards de développement Stabilisation, RUN et amélioration continue · Améliorer la stabilité des pipelines grâce au monitoring et à l’application des bonnes pratiques CI/CD · Structurer et prioriser les actions de RUN et de stabilisation · Définir et piloter un plan d'optimisation priorisé avec des gains mesurables Passage à l’échelle et évolution de l’architecture data · Adapter les pipelines pour un déploiement mondial / multi régions en tenant compte des enjeux de volumétrie et de passage à l’échelle · Optimiser le ratio coût / performance des traitements · Travailler en étroite collaboration avec les Data Scientists et les ML Engineers

Contexte de la mission Cette équipe est responsable de la conception, du déploiement et de la maintenance d'une plateforme data cloud utilisée à l’échelle du groupe. Cette plateforme doit répondre à des enjeux majeurs tels que : la scalabilité la gouvernance la sécurité la performance Actuellement, l’environnement est principalement orienté vers Azure, avec une interopérabilité multi-cloud envisageable. Objectifs et livrables Infrastructure & Cloud (Azure) Développement et maintenance d’infrastructures en utilisant Terraform, Bicep et ARM Déploiement et gestion des ressources Azure : Azure Data Lake Storage (ADLS Gen2) Azure Storage (Blob) Azure Virtual Network, NSG, Private Endpoints Gestion des environnements cloud (DEV, TEST, PROD) Data Platform Administration et exploitation d’un Data Lake Azure Gestion des accès, de la gouvernance et de la sécurité des données : Azure AD / RBAC Politiques / Purview pour la gouvernance data Optimisation des performances et des coûts CI/CD & Automatisation Conception et maintenance de pipelines CI/CD avec Azure DevOps et GitHub Actions Automatisation des déploiements (infrastructure, données et services) Développement & APIs Création de microservices en Python Développement de REST APIs et architectures événementielles Intégration avec les services Azure tels que Functions et Event Hub Containers & Orchestration Déploiement de services containerisés via : Azure Kubernetes Service (AKS) Azure Container Apps / Azure Container Instances Monitoring & Fiabilité Mise en place de solutions de supervision telles que Azure Monitor, Log Analytics et Application Insights Suivi de la performance et de la disponibilité des services Collaboration Rédaction de documentation technique Interaction avec les équipes data, développement et métier Participation aux cérémonies Agile

Dans le cadre du développement de son système d’information décisionnel, un grand groupe français renforce sa plateforme data dédiée au pilotage des activités immobilières. La mission s’inscrit dans l’évolution d’un hub de données centralisé , permettant de consolider, partager et valoriser les données métiers pour des usages analytiques avancés : pilotage opérationnel, reporting, data visualisation et ouverture vers des cas d’usage d’intelligence artificielle. Cette plateforme data, déployée depuis 2022, repose sur une architecture Lakehouse moderne dans le cloud AWS , et s’appuie sur des technologies telles que Databricks, NiFi, Redshift et Power BI . L’équipe data actuelle développe et maintient plusieurs applications analytiques visant à améliorer l’exploitation et la qualité des données au service des métiers. En tant qu’ Expert Data Engineer , vous interviendrez sur la conception, l’évolution et l’exploitation du hub de données. Vos principales responsabilités seront : Engineering & Data Platform Assurer la maintenance et l’optimisation des chaînes de traitement existantes (Python, SQL, Databricks, Power BI) Développer de nouveaux pipelines de données pour intégrer de nouvelles sources dans le Data Lake (Batch, API) Participer aux travaux de modélisation et d’urbanisation du hub de données Identifier, collecter, transformer et stocker les données nécessaires à l’alimentation des modèles analytiques Implémenter des algorithmes et traitements avancés exploitant les données du Data Lake Analyse & accompagnement métier Participer aux ateliers avec les métiers afin de formaliser les besoins Rédiger les expressions de besoins et spécifications fonctionnelles Définir les règles de calcul et d’agrégation des indicateurs Proposer des solutions adaptées aux enjeux d’analyse et de pilotage Descriptif de la mission Data visualisation & reporting Concevoir et développer des tableaux de bord et rapports Power BI Automatiser les processus de reporting Produire des indicateurs et restitutions analytiques pour les utilisateurs métiers Documentation & gouvernance Rédiger les spécifications techniques et fonctionnelles Documenter les règles d’alimentation du datawarehouse et les modèles de données Contribuer à la documentation des règles de sécurité et de gouvernance des données Participer aux plans de tests, recettes et supports utilisateurs

Mission Principale Rattaché au pôle Data/IA Fabric, votre objectif est de résoudre les divergences de données entre les différents environnements, notamment le On-Premise et le Cloud. Vous définissez les standards de mesure pour une zone internationale multi-pays et jouez un rôle moteur dans la transition vers une architecture unique, robuste et fiable. Responsabilités Audit et Réconciliation : Analyser les flux provenant de Firebase, Batch et Clickhouse pour identifier l'origine des écarts de KPIs, comme le nombre d'utilisateurs actifs, entre BigQuery et Clickhouse. Standardisation des Métriques : Définir des règles de gestion communes et des mappings JSON/HTTPS unifiés pour garantir la cohérence des données, quel que soit le canal d'émission, tel que App Kiph ou Sent Apk. Optimisation de l'Architecture : Collaborer avec les ingénieurs pour migrer progressivement les traitements vers une architecture cible, avec une préférence pour GCP et BigQuery, tout en assurant l'intégrité de la donnée historique. Architecture cible robuste Gouvernance et Qualité : Mettre en place des dashboards de monitoring de la qualité de données et instaurer des alertes sur les seuils de divergence entre les sorties. Mise en place d'une modern Data Platform robuste Compétences Techniques Requises Maîtrise SQL Expert : Capacité à requêter et optimiser des volumes massifs sur BigQuery (GCP) et Clickhouse. Stack Data Mobile : Expérience significative avec l'écosystème Firebase et les outils de push notification comme Batch. Ingestion & Formats : Excellente compréhension des flux JSON/HTTPS et des problématiques de collecte de données via SDK ou APK. Modélisation : Maîtrise des principes d'ETL/ELT et de la construction de modèles de données robustes (la connaissance de dbt est un plus). Profil Recherché Formation : Diplôme d'Ingénieur ou Master en Data/Statistiques. Expérience : 5 ans minimum Soft Skills : Esprit analytique poussé, capacité à vulgariser des problématiques techniques complexes auprès d'interlocuteurs métiers et excellente communication pour coordonner plusieurs pays. L’indispensable INVENTIV IT Expérience avérée sur des projets de Data Platform & Data Market Place. Capacité à évoluer dans un contexte technologique mature incluant Databricks, Snowflake, Power BI et l'IA. Poste basé à Casablanca, Maroc Mode : Forfait/Régie Rythme : Hybride/à distance Profil sénior : 5 ans d’expérience minimum

Mission : Un profilData ingénieur / Software ingénieur orienté Data avec une expérience significative sur Azure Databricks, python (software engineering) et PySpark. La connaissance des concepts de Machine Learning, notamment des algorithmes de type bagging et boosting, constitue un atout apprécié. En tant que Data/Software ingénieur, le prestataire interviendra au sein d'une équipe agile SAFe et contribuera, au travers de user stories, aux activités suivantes : -Conception et développement des pipelines Data et ML industrialisées et robustes o Pipelines Batch sous Azure Databricks o Utilisation avancée de PySpark, Delta Lake, MLFlow, , Workflows o Optimisation des performances : partitionnement, gestion mémoire, exploitation GPU o Mise en place de mécanismes de reprise d'erreur, de traçabilité et de monitoring o Collaboration étroite avec les data scientists pour transformer les prototypes en solutions industrielles -Développement logiciel et services o Conception et développement de packages python o Respect des standards de développement du socle (qualité du code, tests unitaires, CI/CD, documentation, …) o API sous Azure Function et/ou Azure Container Apps -Contribution aux phases projets (étude de faisabilité, architecture, conception, réalisation, MEP) et aux différents activités de RUN et d'amélioration continue -Participation active aux rituels agiles 3j/semaine sur site Compétences techniques requises : Azure Databricks PySpark Delta Lake Python

Nous recherchons actuellement un Data Engineer pour intervenir au sein d’un grand groupe international du secteur du luxe (cosmétique & parfums), dans le cadre du renforcement de ses équipes data. Contexte Vous interviendrez sur la mise en place et l’optimisation d’une plateforme data moderne basée sur Microsoft Fabric, avec des enjeux autour de la centralisation, de la transformation et de la valorisation des données métiers. Missions principales Développer et maintenir des pipelines de données sur Microsoft Fabric Participer à la conception de l’architecture data (Lakehouse, Data Warehouse) Intégrer et transformer des données issues de multiples sources Assurer la qualité, la fiabilité et la performance des flux de données Collaborer avec les équipes Data, BI et métiers Contribuer aux bonnes pratiques Data Engineering (CI/CD, monitoring, documentation) Stack technique Microsoft Fabric Azure Data Factory / Synapse (ou équivalent) Python / SQL Data Lake / Lakehouse Git / CI-CD Profil recherché 3 à 4 ans d’expérience en Data Engineering Première expérience sur Microsoft Fabric ou forte appétence sur l’écosystème Microsoft data Bonne maîtrise de Python et SQL Expérience sur des environnements cloud (idéalement Azure) Bon niveau d’anglais Soft skills Esprit analytique Autonomie Capacité à monter rapidement en compétence Bonne communication avec les équipes métiers

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€