Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Contexte Dans le cadre d’une fusion, le département IS Data & Middleware a fortement grandi et élargi son portefeuille d’applications. Il met en place une nouvelle couche analytique, s’appuyant sur Databricks pour permettre une amélioration continue de nos opérations et processus. L’objectif de l’équipe Data & Middleware est de tirer parti des outils middleware et analytiques pour produire des données de haute qualité afin de stimuler l’innovation et l’amélioration du business de l’entreprise grâce à l’exploitation des données. Systèmes de données : couvrent tous les systèmes alimentant les plateformes analytiques et les plateformes de données de l’entreprise. Systèmes middleware : couvrent les connecteurs sur mesure et les services backend communs qui distribuent les données entre les applications. Ces intégrations alimentent les systèmes de production gérés par d’autres départements (IS Sales, IS Operations, IS Customer Systems, IS Corporate Systems). Objectif de la mission En tant qu’ Ingénieur Data Senior , vous serez à l’avant-garde de la construction des bases de notre plateforme de données et de nos produits data. Vous collaborerez avec une équipe dynamique composée d’analystes métiers, de chefs de projet, de développeurs et d’autres ingénieurs au sein du département et dans l’ensemble de l’entreprise 🚀. Nous menons une transformation passionnante : moderniser de nombreuses applications héritées en adoptant une architecture Event Sourcing moderne, afin de produire des données de haute qualité exploitées par une plateforme data solide et flexible. L’objectif est de fournir la bonne donnée, à la bonne personne, au bon moment . Nous mettons en place une approche Platform Engineering pour donner aux utilisateurs finaux les moyens de tirer pleinement parti des données afin d’atteindre et dépasser leurs objectifs. Vous serez un pilier dans la construction d’une culture d’équipe qui équilibre excellence technique, autonomie et responsabilité . Nous aspirons à combiner l’impact que vous pouvez avoir dans une startup avec les moyens d’un grand groupe. C’est une opportunité unique d’avoir un impact décisif sur la plateforme de l’entreprise Data & Middleware et d’en façonner l’avenir technique. Responsabilités et missions Ingénierie de haute qualité : Créer, gérer et exploiter des pipelines de données selon les plus hauts standards, résoudre les problèmes complexes, améliorer les standards techniques de l’équipe et encadrer les ingénieurs data juniors pour de meilleures pratiques de développement. Architecture des systèmes de données : Concevoir, développer, tester et maintenir des architectures data évolutives (bases de données, systèmes de traitement à grande échelle), avec une attention particulière à la performance, la fiabilité et l’optimisation des coûts. Conception de la plateforme data : Concevoir une plateforme capable de supporter l’Event Sourcing et les data products. Accompagner le transfert des responsabilités vers des équipes fonctionnelles autonomes au fur et à mesure que la culture data se développe dans l’entreprise. Modélisation des données : Aider les équipes data et métiers à modéliser et structurer efficacement les données dans la plateforme pour optimiser clarté, intégrité et efficacité. Gestion du temps : Collaborer avec le manager engineering pour organiser, prioriser les tâches/projets, gérer le backlog technique et aligner les livrables avec les objectifs business. Cycle de vie des projets : Participer activement à toutes les étapes (planification, développement, livraison, exploitation) des solutions d’ingénierie data. Sécurité : Garantir la protection des données clients en appliquant les meilleures pratiques de sécurité et de confidentialité.

Ingénieur Data Senior – Azure | Spark | Microsoft Fabric Localisation : Paris (hybride) Nous sommes un partenaire de référence de Microsoft , spécialisé dans la mise en œuvre de solutions cloud et data pour des clients grands comptes en Europe. Grâce à notre expertise approfondie de l’écosystème Microsoft, nous accompagnons nos clients dans leur transformation digitale, en concevant des plateformes de données modernes, scalables et sécurisées. Dans le cadre de notre développement, nous recherchons un(e) Ingénieur(e) Data Senior expérimenté(e) sur Apache Spark, Azure Synapse Analytics, Databricks et Microsoft Fabric. Ce rôle technique et orienté client vous amènera à piloter la conception et la mise en œuvre de solutions data de bout en bout dans un environnement cloud Azure. Vos missions Concevoir et développer des plateformes data modernes sur le cloud Azure, avec Databricks, Synapse et Microsoft Fabric. Développer des pipelines de données performants et scalables avec Apache Spark (PySpark, SQL ou Scala). Mettre en œuvre des processus d’ingestion de données structurées, semi-structurées et non structurées. Définir des modèles de données robustes et des logiques de transformation pour les cas d’usage analytiques. Orchestrer les flux de données via Azure Data Factory ou Microsoft Fabric Pipelines. Garantir la qualité, la gouvernance, la sécurité et la traçabilité des données via les services natifs d’Azure. Collaborer avec les architectes, les analystes et les parties prenantes pour aligner les solutions techniques sur les enjeux métiers. Encadrer des profils plus juniors et participer activement au partage de connaissances internes. Contribuer aux avant-ventes, aux réponses à appels d’offres et aux ateliers clients. Assurer une veille constante sur les nouvelles technologies du domaine data & cloud. Compétences techniques requises Maîtrise avancée d’Apache Spark (idéalement PySpark) et optimisation de performances. Expérience pratique sur Microsoft Fabric (Lakehouse, Pipelines, Notebooks...). Expertise sur Databricks (workflows de développement, Delta Lake, Unity Catalog…). Compétence en orchestration avec Azure Data Factory et/ou Fabric Data Pipelines. Bonne connaissance des architectures Lakehouse, modélisation dimensionnelle, et bonnes pratiques ELT/ETL. Connaissance des pratiques DevOps dans Azure (CI/CD, Azure DevOps). Compréhension des enjeux de gouvernance des données, sécurité et gestion des accès (RBAC) dans Azure. Atouts supplémentaires Expérience préalable dans un cabinet de conseil ou un environnement de services professionnels. Maîtrise de Power BI, notamment dans un contexte Microsoft Fabric. Familiarité avec les outils d’Infrastructure as Code (Bicep, Terraform). Connaissances des technologies temps réel : Azure Event Hub, Stream Analytics ou équivalents. Expérience de collaboration avec des équipes Data Science ou sur des pipelines de Machine Learning. Profil recherché Excellente communication, à l’aise pour vulgariser des concepts techniques auprès d’un public non technique. Approche orientée conseil, avec une capacité à identifier les besoins métiers et proposer des solutions data sur mesure. Esprit d’équipe, proactivité, rigueur et autonomie. Expérience en environnement agile ou orienté livraison. Maîtrise du français et de l’anglais (à l’écrit comme à l’oral).

Pour l’un de nos clients grand compte dans le secteur de la Finance , nous recherchons un Expert Data Azure , spécialisé dans Azure Data Factory , afin de renforcer l’équipe Data & Analytics . Conception, développement et optimisation des flux de données sur la plateforme Azure : Injection , stockage , traitement , analyse Outils : ADF , Azure Synapse , Data Lake , SQL Data base , Analysais Services Challenger l'existant pour faire évoluer le Data Hub interne , dans une logique de migration progressive vers la solution cible Garantir la qualité des données , le time to market et la facilité d’intégration (SQL, API, Cube OLAP…) Être force de proposition sur les outils, modèles de données et processus à mettre en place Participer à la mise en œuvre de tests automatisés et proposer des approches d’ analyse avancée des données via l’ IA Collaborer avec les équipes IT, Data, Business Analystes , dans un environnement Agile à l’échelle

Vos missions : Développer et maintenir des pipelines de données sur Databricks (Spark, notebooks, Delta Lake). Concevoir des modèles de données et des rapports interactifs sur Power BI. Ecrire et optimiser des requêtes SQL complexes pour l'analyse et la transformation des données. Automatiser des traitements et scripts en Python pour répondre à des besoins spécifiques (nettoyage, calculs, API…). Participer à la mise en place de bonnes pratiques de gouvernance des données (documentation, qualité, sécurité). Collaborer avec les équipes métiers pour comprendre les besoins et proposer des solutions adaptées. Assurer la maintenance évolutive et corrective des outils BI existants.

Almatek recherche pour l'un de ses clients, un Data scientiste sur Grenoble. Missions: Concevoir, entrainer, déployer des modèles de ML, En environnement: Python, scikit Pytorch, SQL Databricks Expérience en feature engineering et ML Ops 3 ans d'expé en Data science Vont aller sur du DBT Cloud (hébergé sur leur cloud azure), pas le DBT core Aujourd’hui en Databricks Almatek recherche pour l'un de ses clients, un Data scientiste sur Grenoble. Missions: Concevoir, entrainer, déployer des modèles de ML, En environnement: Python, scikit Pytorch, SQL Databricks Expérience en feature engineering et ML Ops 3 ans d'expé en Data science Vont aller sur du DBT Cloud (hébergé sur leur cloud azure), pas le DBT core Aujourd’hui en Databricks

Missions principales : Contribuer à l’évolution de l’offre de service de la plateforme Big Data & ML. Définir et maintenir le cadre de référence des principes d’architecture. Accompagner les développeurs dans l’appropriation de ce cadre. Définir les solutions d’exposition, de consommation et d’export des données métiers. Accompagner les équipes dans la mise en œuvre des solutions proposées. Participer à la mise en place d’API LLM dans le cadre du socle LLMOPS. Expertise technique attendue : Architecture & Cloud Azure Définition d’architectures cloud et Big Data distribuées. Automatisation des ressources Azure via Terraform et PowerShell. Connaissance avancée d’Azure Databricks, Azure Data Lake Storage, Azure Data Factory. Administration réseau : vNet Spoke, Subnets Databricks. Sécurité : RBAC, ACLs. Data & IA Platform Maîtrise de la chaîne d’ingestion de données : pipelines ADF (Collecte, Routage, Préparation, Refine…). Études d’architecture en lien avec l’évolution de la plateforme. Administration ADF : Link Services, Integration Runtime. Administration Databricks : Tokens, Debug, Clusters, Points de montage. Administration Azure Machine Learning : Datastores, accès, debug. CI/CD & DevOps Configuration Azure DevOps : droits, connexions de service. Développement de pipelines CI/CD avec Azure Pipelines. Gestion des artefacts avec Azure Artifact et Nexus. Automatisation des déploiements. Pratiques FinOps et optimisation des coûts cloud. Agilité & Delivery Utilisation de Jira : création d’US/MMF, configuration de filtres, Kanban. Participation active aux cérémonies Agile : Sprint, Revue, Démo. Développement & Collaboration Développement Python : modules socle, code optimisé, tests unitaires. Développement PowerShell : déploiement de ressources Azure. Maîtrise de Git : push, pull, rebase, stash, gestion des branches. Pratiques de développement : qualité, tests unitaires, documentation.

Bonjour, Pour le compte de l'un de mes clients, je suis à la recherche d'un Tech Lead IA. Dans le cadre de développement de projets au forfait mon client a besoin urgement d'un TECH LEAD IA. PRINCIPALES ACTIVITES : >Contribution à l’analyse et à la structuration de cas d’usage IA >Participation à la conception de l’architecture technique, au chiffrage et à la planification des projets IA >Participation et animation des points avec le client pour cadrer et suivre les projets. >Rédaction de la documentation technique des projets IA Technos devant être maîtrisées : Azure, Databricks Apps, Genie, MS Copilot Studio/foundry Ponctuellement : conseil technique sur les architecture AI (LLM, RAG, Genie, Databricks Apps, Azure…

Contexte Dans le cadre de nos projets de transformation digitale et d’optimisation des opérations ferroviaires, nous renforçons notre équipe Data. Nous recherchons un(e) Data Engineer Junior motivé(e) et curieux(se), avec 2 ans d’expérience, pour contribuer à la mise en place de pipelines de données robustes et scalables au sein d’un environnement technique stimulant. Missions Participer à la conception, au développement et à la maintenance de pipelines de données (batch & temps réel) Collecter, transformer et valoriser les données issues des systèmes ferroviaires (capteurs, maintenance, circulation, etc.) Collaborer avec les Data Scientists, Analystes et équipes métiers pour comprendre les besoins et modéliser les données Participer à la mise en place de bonnes pratiques (tests, CI/CD, documentation, data quality) Travailler dans un environnement cloud (AWS / GCP / Azure selon le contexte) Environnement technique : Power BI, Databricks, cloud AWS

Nous vous proposons de rejoindre un grand acteur du retail pour une mission de Data Engineer. En tant que Data Engineer vous aurez un rôle clé dans l'amélioration des sales pipelines, la modélisation de nouveaux business models de données de vente et le support aux autres équipes pour une utilisation efficace des données de vente. En tant qu'entreprise de retail , des informations de vente précises et pertinentes sont cruciales, rendant cette équipe centrale pour les processus de décision opérationnels et stratégiques clés. Les responsabilités incluront la maintenance des data flows , avec un accent particulier sur la résilience des produits et l'excellence opérationnelle. Les missions : Développement et maintenance des Data Pipelines User Enablement & Support Promotion des Best Practices Operational Excellence Stack technique : Amazon Web Services (S3) Databricks Approche SQL first avec dbt et/ou Apache Spark (PySpark) Ordonnancement avec Airflow (Python) Github

Notre client dans le secteur Biens et services de consommation recherche un/une Data Engineer H/F Description de la mission: Nous recherchons un(e) freelance pour intégrer l’équipe DATA/IA afin d'effectuer des travaux de dataprep dans le cadre d'un projet e-facturation. À ce titre vous serez amené à: - Réaliser les développements en langage SCALA, - Réaliser les travaux jusqu’en environnement de production - Participer au support N3 de la production - Aider les équipes en place à monter en compétence, - Etre force de proposition, - Documenter les réalisations Compétences / Qualités indispensables : Scala, Python, Spark, Gitlab Compétences / Qualités qui seraient un + : Airflow, Kafka, Hive, HDFS, Azure Databricks