Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Le contexte Nous recherchons un(e) Architecte Technique Senior pour piloter l'architecture de plusieurs use cases BigData en production. Ces use cases portent sur des flux d'ingestion et d'exposition de données dans un environnement Azure / Databricks exigeant. Vos missions Concevoir et piloter l'architecture technique des use cases data (ingestion batch et temps réel, exposition BI) Co-administrer Unity Catalog et les workspaces Databricks en production (gouvernance, RBAC, lineage, audit) Concevoir des pipelines Databricks industrialisés (PySpark, Spark SQL, jobs, CI/CD) Garantir la sécurité et la conformité des données : chiffrement, data masking, RGPD Optimiser les performances et les coûts des workloads (tuning Spark, autoscaling, sizing) Assurer l'exploitation en production : SLA/SLO, monitoring, runbooks, gestion des incidents et des changements Être le référent technique auprès des data engineers, des équipes ops et sécurité et des métiers Compétences clés Azure Data Lake / ADLS (architecture, sécurité, performance) Écosystème Azure Data en production : ADF, Synapse, Event Hub, Key Vault Databricks avancé : clusters, pools, jobs, permissions, Unity Catalog Lakehouse / Delta Lake : partitionnement, Z-order, modélisation de data marts Streaming : Event Hubs, Kafka, Structured Streaming Réseau et identité Azure : VNet, Private Endpoints, Azure AD, RBAC Alimentation BI (Power BI ou équivalent) DevOps : Git, branching, CI, releases et rollback

Au sein de l'équipe produit, vous ferez partie d'une équipe produit enthousiaste (au sein d'une business unit d'environ 120 personnes) qui regroupe des ressources Produits, Business, Data et Engineering. Grâce à votre expertise et votre sens de l'autonomie, vous agissez au service de l'amélioration des indicateurs qualité des datas de la logistique (Service Level Agreement, leadtimes, données de réception entrepôt, ...). Ces datas sont liées à des process métiers critiques et ont un impact immédiat sur le Business. Objectifs et livrables Assurer le Data Knowledge : Je définie les datas et assure de leur bonne documentation fonctionnelle Je connais les cas d'emploi business de mes données et améliore la création de valeur de celles-ci Je suis le point d'entrée sur les sujets concernant ma donnée J'écrie une roadmap et une vision pour mes données Je garantie et gère la bonne qualité de mes données : Je fais le lien entre le business et les règles de qualités de mes données Je monitore la qualité de mes données J'anime un plan d'action en collaboration avec les différentes domaines de compétence (Engineering, Product, Business, Data, Skills) Je garantie l'accessibilité de mes données : J'identifie le niveau d'accessibilité de mes données Je fais le liens entre la technique et les équipes datas pour assurer une bonne accessibilité de la donnée dans le datalake

Smartpoint, ESN spécialisée dans la Data et l'IA, recherche un Tech Lead Big Data / Data Engineer expérimenté pour renforcer une équipe Data au sein de la DSI d'un grand environnement SI. Vous interviendrez sur des enjeux de gestion de l'obsolescence technique, d'optimisation des traitements Big Data et d'accompagnement des équipes Data Engineering, avec pour objectif d'améliorer la performance, la qualité et la pérennité des applications. Vos missions En tant que Tech Lead Big Data, vous serez amené(e) à : Piloter la gestion de l'obsolescence : auditer les versions des composants applicatifs, identifier les risques et planifier les migrations techniques. Définir et diffuser les bonnes pratiques de développement auprès des équipes Data Engineer. Analyser et optimiser les traitements Big Data afin d'améliorer les performances, de maîtriser les coûts et de contribuer aux objectifs FinOps. Intervenir sur les développements de données et accompagner la résolution de bugs complexes. Accompagner les équipes techniques dans leurs choix d'architecture, leurs évolutions technologiques et leurs montées de version. Collaborer avec les équipes Socle et Infrastructure pour organiser et réaliser les migrations des composants. Animer les instances de suivi de l'obsolescence et communiquer les risques, les avancées et les recommandations aux équipes de pilotage. Proposer des orientations techniques et des solutions innovantes pour faire évoluer l'écosystème Data.

Développement, tests, intégration et configuration sur les environnements développement, test et production AWS / Databricks • Administration et MCO des plateformes Data • Développement, évolution, robustification et simplification des briques du socle • Intégration de nouvelles applications, notamment SaaS • Gestion de la sécurité, des secrets, des accès et matrices de droits • Amélioration continue du monitoring et mise en place de monitors • Enrichissement des normes d'exploitation • Gestion des incidents et problèmes selon les processus ITIL • Support technique N2/N3 • Revues de code et amélioration des tests d'intégration continue • Validation des merge requests • Mise à jour de la documentation • Diffusion des bonnes pratiques DevOps • Participation aux rituels Agile Scrum • Contribution aux sujets FinOps : surveillance, analyse et optimisation des coûts du socle

1. Description du posteDans le cadre du développement de projets Data et IA sur Microsoft Azure, nous recherchons un Expert Azure Databricks / Azure Batch pour concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle. Le consultant interviendra sur des environnements Cloud exigeants, avec un fort niveau d'automatisation, de performance, de sécurité et de fiabilité. Il participera à la conception d'architectures Data modernes ainsi qu'au développement de solutions robustes et industrialisées. Ses principales responsabilités seront les suivantes : Concevoir et développer des pipelines de traitement de données distribués sous Azure Databricks. Développer des notebooks, workflows et composants techniques en Python et PySpark. Optimiser les performances des traitements Databricks et des jobs distribués. Concevoir des architectures Lakehouse basées sur Delta Lake. Industrialiser et orchestrer des traitements massifs avec Azure Batch. Configurer les pools de calcul et les stratégies d'exécution adaptées aux besoins. Optimiser la parallélisation, la distribution de charge et la consommation des ressources. Mettre en place des solutions de monitoring, d'observabilité et de gestion des incidents. Développer des librairies Python réutilisables, maintenables et testées. Réaliser des tests unitaires, d'intégration et de performance. Participer aux revues de code et à l'amélioration continue des pratiques de développement. Mettre en œuvre des pipelines CI/CD et automatiser les déploiements. Développer et maintenir l'Infrastructure as Code avec Terraform et/ou Bicep. Garantir la qualité, la sécurité et la conformité des déploiements. Accompagner les équipes projet dans l'adoption des standards Cloud, Data Engineering et DevOps.

Contexte du poste : Nous recherchons un Architecte Solution Databricks pour intégrer l'équipe Socle de la Plateforme Data Groupe de notre client. Au sein de la Data Factory, vous accompagnerez les squads métiers dans la conception, le développement et la mise en production de leurs solutions Data. Vous interviendrez sur une plateforme stratégique reposant notamment sur AWS, Databricks, Power BI, GitLab CI/CD et Okta, dans un environnement Data Mesh et self-service Data. Missions principales : Accompagner les squads projets dès le cadrage jusqu'à la mise en production de leurs solutions Data Challenger les choix techniques et architecturaux et accompagner les Tech Leads dans la conception des solutions Garantir l'application des bonnes pratiques de développement, d'architecture, de performance, de FinOps et d'éco-conception Participer à la conception et à l'évolution des briques du socle Data et contribuer à des POC et études techniques Superviser les activités d'ingestion, d'exposition et de gouvernance des données Participer aux phases de VSR, au support N3, au MCO et à l'analyse des incidents en production Accompagner les équipes à travers des onboardings, formations, démonstrations techniques et retours d'expérience Garantir la qualité des livrables techniques et documentaires : DAT, contrats d'interface, cahiers de tests, dossiers d'exploitation, etc.

Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données

Au sein de la Data Factory d'un acteur majeur de l'assurance en France, l'équipe Infocentre consolide et diffuse les données métier de l'entreprise à partir d'une plateforme WPS. Pour renforcer l'expertise de l'équipe et accompagner la modernisation des outils, nous recherchons un(e) Tech Lead SAS/WPS en freelance. Missions Piloter le développement et la maintenance de traitements SAS/WPS complexes (performance, fiabilité, évolutivité) Garantir la cohérence technique des projets et le respect des normes de développement Encadrer une équipe de développeurs : revues de code, partage de bonnes pratiques, montée en compétences Gérer la relation avec l'éditeur et assurer la veille technologique Superviser les environnements WPS et garantir leur stabilité Participer aux recettes avec les équipes métier Traiter les incidents et demandes de support complexes Faire évoluer les processus, outils et architectures de la plateforme (workbench et hub)

Bonjour, Pour le compte de l'un de mes clients dans le secteur du luxe, je suis à recherche d'un Data App Engineer - Databricks / Python en Pré-embauche. Dans le cadre d'un départ à venir dans les équipes de la Data Factory, nous recherchons un(e) consultant(e) Data App Engineer confirmé, disposant d'une expertise avérée sur Databricks Apps, en modélisation data, et en réalisation d'interfaces. Le profil attendu est un data “full stack”, maîtrisant les concepts d'ingénierie, d'architecture et d'UX/UI, capable de concevoir, construire et maintenir des applications de collecte et de gestion de données, en interaction avec les chaînes analytiques. Le candidat devra être immédiatement opérationnel, justifier d'au moins 2 années d'expérience sur des projets Data App, et démontrer une excellente maîtrise de l'écosystème Databricks, ainsi que des frameworks orientés Data Apps (Dash et idéalement Node.js). Objectifs de la mission : Concevoir et développer des Data Apps, orientées saisie et gouvernance des données référentielles Garantir l'intégration fluide des applications avec les couches analytiques Modéliser des structures data robustes, performantes et sécurisées Industrialiser les flux et orchestrations nécessaires au cycle de vie des données Assurer un haut niveau de qualité UX/UI afin de favoriser l'adoption par les équipes métiers Mettre en place une démarche d'ingénierie pérenne : sécurité, logging, observabilité, CI/CD Périmètre d'intervention : Conception et développement d'applications Databricks Apps (front + logique métier + data pipelines) Création de modèles de données durables, optimisés et gouvernés sous Unity Catalog Mise en place et optimisation de la sécurité Lakehouse, notamment via RLS Conception des flux d'ingestion / exposition / synchronisation entre le Lakehouse (couche analytique) et Lakebase (couche applicative) : synced tables, CDF Développement Python avancé : data processing, API internes, logique applicative Participation aux rituels du delivery et contribution aux bonnes pratiques d'ingénierie Documentation des architectures, process et guidelines Support à l'intégration, aux tests et aux mises en production

Positionné au sein de la DSI de l'entreprise, le Data Engineer intègrera l'équipe Conso Data qui traite les données de consommation des clients afin de les exposer sur les canaux digitaux. Il devra : - Être force de proposition et participer à la conception des solutions techniques en collaboration avec les membres de l'équipe. - Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels. - Participer aux cérémonies Agile SAFe (PI Planning, macro-chiffrage, refinements, rétrospectives, etc.). - Concevoir et faire évoluer les architectures de données basées sur l'approche Databricks Medallion Architecture (Bronze, Silver, Gold). - Garantir la qualité, la fiabilité et la performance des traitements de données en production. (Jobs Databricks et APIs) - Contribuer à l'amélioration continue de la plateforme en proposant des optimisations techniques, des bonnes pratiques et des innovations. Il sera notamment amené à : - Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers. - Mettre en œuvre et orchestrer les traitements de données à l'aide des outils Databricks. - Modéliser les données dans les tables Delta Lake en appliquant les bonnes pratiques de partitionnement, indexation, optimisation et gouvernance. - Optimiser les performances des traitements Databricks (Spark, Delta Lake, gestion des coûts et du temps d'exécution). - Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD. - Concevoir, développer et maintenir des APIs permettant l'exposition et la consommation des données. - Mettre en place des mécanismes de contrôle qualité des données (Data Quality), de monitoring et d'alerting. - Identifier, analyser et résoudre les incidents de production tout en assurant le suivi des actions correctives. - Rédiger et maintenir la documentation technique des solutions mises en œuvre. - Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering Environnement Technique : - Python, SQL - Spark, PySpark, DBUtils - FastApi, Pytest - Databricks, Unity Catalog - Ariflow (migration vers Databricks Workflow) - AWS (Lambda, secrect manager, Bucket S3, ECS) - Git et gestion du versioning - Déploiement pipeline CI/CD

Nous recherchons pour un acteur international, un Senior Data Engineer pour accompagner le développement et l'industrialisation de sa plateforme Data. Au sein d'une équipe Data en pleine structuration, vous interviendrez sur des sujets à forts enjeux autour de la donnée, avec notamment pour responsabilités : • Concevoir et développer des pipelines de données robustes et scalables • Industrialiser et fiabiliser les pipelines existants • Participer à la mise en place d'une architecture Data moderne de type Lakehouse • Prendre en charge les pipelines de bout en bout, de la conception à la mise en production et au monitoring • Mettre en œuvre les bonnes pratiques Data Engineering / DataOps : CI/CD, tests, versioning, monitoring et gestion des incidents • Collaborer avec les Data Engineers, Data Architects, Product Managers et Engineering Managers • Documenter les flux, dépendances, transformations et procédures d'exploitation • Contribuer à l'autonomie et à la montée en compétences de l'équipe Data

Dans un contexte de forte transformation et d'accélération, l'équipe fait évoluer son architecture Cloud Azure / Lakehouse (Databricks) afin de répondre aux enjeux d'optimisation, de gouvernance et d'usages avancés de la donnée (BI et IA). Plateforme Databricks & IA : Optimiser les architectures (Delta Lake, Unity Catalog, Databricks Genie), la performance et la gestion des coûts. Modélisation & Couche Gold : Structurer les modèles analytiques (tables de faits, dimensions, SCD) pour alimenter des dashboards Power BI (PBIP/PBIT) fiables et gouvernés. Data Engineering & CI/CD : Développer les pipelines ELT/ETL, automatiser les déploiements via Azure DevOps/Git et garantir la qualité des données. Dev Augmenté par l'IA : Exploiter les assistants GenAI/LLM pour accélérer le refactoring, les tests et la documentation du code.