Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Almatek recherche pour l'un de ses clients, un Architecte DATABRICKS sur Laval. Contexte : Notre souhaite faire évoluer son architecture de traitement de données en supprimant l’usage d’Azure Data Factory, jugé désormais inadapté à ses attentes. L’architecture actuelle repose sur un modèle en médaillon, qui ne répond plus aux exigences opérationnelles et stratégiques. Objectifs : - Assurer la maintenance des environnements Databricks existants. - Concevoir et développer des flux de données entre les applications métiers et la plateforme Databricks. - Accompagner la transition vers une architecture cible plus moderne et performante, sans Azure Data Factory Profil recherché : - Consultant autonome sur Databricks, capable de prendre en main rapidement des environnements complexes. - Bonne compréhension des architectures data, notamment dans des contextes cloud Azure. - Esprit structuré, capacité à proposer des solutions pertinentes et à collaborer efficacement avec les équipes internes. - Autonomie, rigueur, et sens du service client.

Les livrables sont : Code Source Documentation KPI qualité Compétences techniques Databricks - Expert - Impératif Spark SQL - Expert - Impératif Azure Data Factory - Confirmé - Important Scala - Confirmé - Souhaitable Description détaillée Contexte : Le projet Data PUB est le datamart TV qui vise à centraliser et fiabiliser les données nécessaires au pilotage et à l’analyse de l’activité publicitaire TV linéaire. Le datamart se source principalement d’OptiPub, base de référence regroupant les informations issues des différentes applications métiers de la régie publicitaire. Côté restitution, Ouranos fonctionne principalement avec une logique de self-BI : nous mettons à disposition des métiers un univers BusinessObjects et/ou un dataset Power BI standardisé, que les utilisateurs exploitent pour construire leurs propres tableaux de bord et analyses. La finalité est de fournir un socle de données unique et cohérent permettant aux équipes métier d’accéder rapidement à des informations fiables sur l’activité pub TV et de gagner en autonomie dans le reporting. Environnement technique : Azure Data Factory, Databricks, Spark Scala, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Développer et optimiser des flux de transformation de données en Spark SQL. - Maintenir des pipelines de traitement de données en Scala (faible part) - Maintenir et développer de nouveaux indicateur de qualité de données - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Maintenir les solutions de monitoring de l’application Digital. Profil recherché : - Profil orienté Analytics Engineer - Maîtrise avérée de Spark SQL - Bonne connaissance en modélisation BI - Expérience confirmée sur l’écosystème Microsoft Azure (Data Factory, Databricks, Azure DevOps). - Bonne connaissance de Git et des pratiques DevOps. - Sens de la communication, force de proposition et capacité à travailler en équipe. - Rigoureux, attaché aux bonnes pratiques de développement et à la qualité du code. Ingenieur Data 5-8 ans Définition du profil Il est garant du bon fonctionnement et de la disponibilité des données dont il a la responsabilité. Il assure la prévention des dysfonctionnements des données et contribue à la bonne utilisation de celles-ci

Nous recherchons pour l’un de nos clients grands comptes un Tech Lead spécialisé Data Engineering afin de rejoindre une squad produit au sein d’un environnement moderne et exigeant. 🎯 Objectif de la mission Contribuer au delivery des produits data, piloter les choix techniques, encadrer les bonnes pratiques, et garantir la qualité logicielle au sein d’une équipe pluridisciplinaire (Data Engineers, Data Scientists, Software Engineers…). 🎤 Soft skills Leadership technique + accompagnement d’équipe Communication structurée et vulgarisation technique Rigueur, autonomie et sens du delivery Capacité à interagir avec de multiples parties prenantes

🔍 Nous recherchons un(e) Lead Data Engineer Azure Databricks avec une forte posture de transmission, coaching et mise en place des standards, pour accompagner une équipe en montée de maturité sur Databricks. 📅 Démarrage ASAP 📍 Île-de-France 🎯 Missions clés : ✅ Optimisation & fiabilisation des jobs Databricks (PySpark / Spark) ✅ Mise en place des standards & bonnes pratiques Data Engineering ✅ Coaching, mentoring, animation de la communauté Tech Lead ✅ Contribution aux migrations & à la modernisation du DataLake ✅ Travail sur l’industrialisation (CI/CD – Azure DevOps)

Client : Entreprise de transport Poste : Architecte technique Senior DSM Expérience : Plus de 8 ans TJM d’achat max : 5 15€ Localisation : Banlieue parisienne Deadline réponse : 09/12 Démarrage : 01/01/2025 Durée : Mission très longue DESCRIPTION DE LA MISSION Objectifs La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark. Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’opérateurs, d’architectes et encadrés par un chef de projet. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle. Les sprints s’échelonnent généralement sur 2 semaines. Contenu général des sprints : Développement des US et tests associés ; Documentation du projet, mapping des données, modélisation des pipelines, documents d’exploitation ; Mise en place du CI/CD sur l’usine logicielle ; Mise en place du monitoring ;

Rejoignez une équipe internationale dans le secteur de l'assurance/réassurance, au sein d’un environnement technique stimulant. Vous serez en charge de la conception et de la mise en œuvre de solutions de données avancées en utilisant des technologies modernes comme Databricks et Palantir Foundry . Le rôle implique une collaboration étroite avec des équipes produit pour développer des pipelines de données, services et APIs performants. Collecter et analyser les besoins métiers pour répondre aux exigences fonctionnelles et techniques. Concevoir, développer et maintenir des artefacts de données (pipelines, services, APIs) basés sur les meilleures pratiques. Implémenter des cas d’usage liés à l’analyse de données, à l’exploration BI et au calcul distribué. Documenter et optimiser les architectures de données suivant des standards éprouvés (architecture médaillon, GitFlow, etc.). Travailler en collaboration avec des équipes pluridisciplinaires pour garantir des livrables de qualité. Compétences obligatoires : Expertise en Databricks , Palantir Foundry , Python , SQL et Data Visualization . Maîtrise des outils MSDevOps , Jenkins , Artifactory , et Container Registry . Connaissances solides en parallélisation et programmation distribuée . Compétences appréciées : Expérience avec Delta Lake , BlobStorage , FileShare , et l’architecture médaillon.

Hello, Pour le compte de l'un de mes clients Lyonnais, je suis à la recherche d'un leader technique. QUALITES RECHERCHEES : • Connaissances avancées fonctionnelles des technologies suivantes : Postgres, PowerBI, Databreaks, Angular/React en mode Cloud et On Primise au possible • Pilotage / Supervision technique haut niveau de l’équipe en fonction des besoins • Expérience significative dans la mise en oeuvre de besoin impliquant plusieurs SI • Force de proposition sur l’amélioration de la surveillance de l’application et sur les évolutions techniques de l’application • Capacité à prendre du recul et à avoir une vision globale sur les technologies utilisées • Capacité à gérer les contraintes de délai et les périodes de stress inhérentes au projet • Expérience dans l’analyse des besoins techniques et dans l’animation d’ateliers techniques • Bonne communication et bonne capacité à s’adapter à ses interlocuteurs • Une expérience dans l'énergie serait un plus

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients. - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Notre client migre ses flux ETL d’Informatica vers Microsoft Fabric pour ses besoins en data ingestion et analytics. Le projet concerne principalement le domaine Finance, avec un modèle pivot centralisant contrats, positions, instruments de couverture, flux futurs, contreparties et données de marché. Environnement technique : * ESB (Software AG), * ETL (Informatica), * Data Platform (Fabric/Power BI) Mission En tant que Tech Lead Data, vous serez responsable de : * Définir les standards techniques (Fabric, Spark, Python) et bonnes pratiques de développement. * Piloter la migration des flux Informatica vers Fabric : * Évaluer l’existant (flux, modèles pivots, dépendances). * Concevoir le framework d’ingestion/transformation (Spark, Notebooks). * Mettre en place la CI/CD (Azure DevOps/GitHub). * Assurer le monitoring et la qualité des données. * Encadrer une équipe de 3 Data Engineers (mentorat, optimisation des performances). * Collaborer avec les équipes métiers (Finance/Risque) et l’architecture IT.

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Nous recherchons un Data Engineer pour travailler sur des projets de collecte, transformation et gestion des flux de données au sein de notre équipe. Le poste requiert des compétences techniques en Data Bricks , Python , SQL et Azure DevOps pour assurer le bon déroulement des pipelines de données. De plus, des connaissances de base dans l’utilisation de Power BI et une approche agile basée sur Scrum sont attendues. Le Data Engineer jouera un rôle clé dans la mise en place et l'optimisation des processus de gestion des données, en s'assurant de la qualité, de la transformation et de l'intégration des données dans des environnements Azure. Responsabilités : Collecte et transformation des données : Concevoir et développer des pipelines de collecte de données et de transformation (ETL) à l’aide des technologies adaptées (notamment Data Bricks ). Gestion des flux de données : Assurer l’intégration et la gestion fluide des flux de données entre les différentes sources et plateformes. Développement Python & SQL : Créer des scripts Python et des requêtes SQL pour manipuler, nettoyer et transformer les données. Support Azure DevOps : Utiliser Azure DevOps pour gérer les processus de déploiement et d’intégration continue (CI/CD). Participation aux projets Power BI : Fournir un soutien de base pour les projets Power BI, notamment au niveau sémantique (compréhension des données et modèles). Méthodologie Agile : Travailler en étroite collaboration avec l'équipe produit dans un cadre Agile (méthodologie Scrum) pour assurer la livraison rapide et efficace des projets. Compétences requises : Techniques : Maîtrise des technologies Data Bricks , Python , SQL . Expérience avec Azure DevOps pour la gestion des déploiements et de l’intégration continue. Power BI : Connaissances de base en sémantique des données et modèle de données dans Power BI. Connaissance des processus ETL pour la gestion de la collecte, transformation et stockage des données. Agilité : Bonne maîtrise des méthodes Agile , avec une expérience en Scrum . Compétences en communication : Capacité à travailler efficacement en équipe, à échanger et à comprendre les besoins fonctionnels pour traduire ces besoins en solutions techniques. Profil recherché : Formation : Bac+5 en informatique, data science, ou dans un domaine similaire. Expérience : Minimum 2 à 3 ans d’expérience en tant que Data Engineer ou sur un poste similaire avec des compétences en développement Python, SQL et gestion des données. Autonomie et capacité à travailler dans un environnement dynamique et en constante évolution. Compétences appréciées : Expérience avec Azure Synapse , Azure Data Lake , ou autres outils cloud pour la gestion des données. Bonne capacité à comprendre et à travailler avec des données complexes et variées. Connaissance approfondie des bonnes pratiques en data engineering (qualité, transformation, gestion des données).

Mission longue durée – Paris / Aix-en-Provence / Lausanne (Suisse) Secteur d’activité : Horlogerie de luxe Missions Pilotage complet du projet : planning, jalons, risques, reporting, animation des comités. Suivi financier : budget, consommés, prévisionnels, arbitrages, revues internes/client. Coordination et validation des livrables techniques et fonctionnels. Leadership technique sur Azure (IAM, architecture cloud), Databricks (pipelines, optimisation, ingestion), Power BI (modélisation, datasets, gouvernance). Gestion du relationnel client multi-acteurs, communication claire, gestion des attentes et décisions. Coordination d’une équipe pluridisciplinaire et diffusion des bonnes pratiques data & cloud . Compétences techniques Maîtrise de Microsoft Azure (Data Lake, Data Factory, SQL/Synapse, DevOps). Expertise Databricks (Spark, optimisation, CI/CD, ingestion/transformation). Très bon niveau Power BI (DAX, modélisation, datasets, gouvernance). Bonne compréhension des architectures data modernes et environnements CI/CD. Compétences gestion & relationnel Méthodologies Agile et cycle en V. Pilotage planning/risques/livrables, gestion budgétaire avancée. Leadership, communication, diplomatie, gestion de situations sensibles. Capacité à décider rapidement et à fédérer une équipe.

Il ne s’agit pas d’un poste de Data Engineer ou de MLOps généraliste. Le périmètre est exclusivement centré sur l’opérationnalisation, la fiabilité et la gouvernance des LLM. Architecture & Stratégie LLMOps Définir les standards, bonnes pratiques et guidelines internes pour l’usage des LLM. Concevoir les architectures robustes permettant une intégration fluide avec l’écosystème existant. Déploiement & Exploitation des modèles Déployer les modèles (internes ou externes) sous forme d’API ou de services conteneurisés. Assurer la scalabilité, la haute disponibilité et l’optimisation des coûts (GPU, quantization, optimisation d’inférence). Mettre en place des pipelines de mise à jour, de versioning et de rollback. Observabilité & Performance Implémenter monitoring, logging, alerting et métriques spécifiques aux LLM (qualité, dérive, latence). Garantir des performances stables et optimiser en continu l’inférence et les workflows associés. Sécurité, conformité & gouvernance Encadrer les pratiques d’usage des LLM : sécurité des prompts, prévention des fuites de données, durcissement des endpoints. Veiller à la conformité (RGPD, confidentialité, accès, auditabilité). Définir les règles de gouvernance modèle/données pour un usage maîtrisé. Support & Acculturation interne Proposer un « LLM-as-a-Service » pour les équipes internes (API, outils, guidelines). Sensibiliser et former les équipes aux bonnes pratiques d’utilisation des LLM (prompting, risques, limitations). Accompagner les projets métiers exploitant l’IA générative. Compétences techniques Solide expérience en DevOps / Infra : Docker, Kubernetes, CI/CD, API, observabilité. Très bonne compréhension des LLM, de leurs contraintes de déploiement et d’inférence. Bonnes bases en IA générative : fine-tuning, RAG, embeddings, limitations bien comprises. Connaissances avancées en sécurité cloud & data, gestion des accès, compliance. À l’aise avec les environnements cloud (Azure, AWS, GCP) et les workloads GPU

Contexte Un acteur majeur du secteur de l’énergie recherche un Data Engineer expérimenté afin de renforcer son équipe Data & Analytics dans le cadre d’un programme stratégique d’industrialisation de la donnée. Missions • Concevoir, développer et maintenir les pipelines de données sur Azure. • Garantir la qualité, la fiabilité et la performance des traitements. • Participer à la modélisation et à l’optimisation des entrepôts de données. • Intégrer et exploiter Snowflake pour la gestion et la transformation des datasets. • Collaborer avec les équipes Data Science, Architecture et Produit. • Contribuer à la mise en place de bonnes pratiques CI/CD, sécurité et monitoring. Compétences techniques attendues • Maîtrise d’Azure Data Platform (ADF, Databricks, Data Lake, Synapse). • Solide expérience en Databricks (PySpark impératif). • Très bonne compréhension de Snowflake : ingestion, transformations, optimisation. • Compétences avancées en Python. • Connaissance des architectures data orientées cloud. • Bonne pratique CI/CD (Azure DevOps). • Compréhension des enjeux de qualité, performance et gouvernance data. Profil recherché • 5 à 6 ans d’expérience en Data Engineering. • Expérience en environnement cloud Azure indispensable. • Expérience confirmée sur Snowflake appréciée et attendue. • Capacité à travailler dans des environnements complexes. • Aisance en communication et travail en équipe. Environnement de travail • Projet data stratégique à très forte visibilité. • Équipe internationale et pluridisciplinaire. • Environnement cloud moderne et structuré. • Mission long terme.

Description du contexte Au sein de la Direction Digital et Data, le consultant intégrera le Data Lab , en charge de l’ensemble des projets BI et Data du groupement. La plateforme cible est le Cloud Microsoft Azure . Dans le cadre des projets de transformation, l’Ingénieur DevOps participera au déploiement et à l’industrialisation des solutions data. Polyvalent et à l’aise dans la communication avec les équipes techniques, il devra également contribuer aux sujets de sécurité, aux ateliers, et au suivi des recommandations issues des audits. L’environnement est Agile , et l’équipe composée d’une dizaine de collaborateurs. Missions principales Construire des infrastructures Cloud Public (principalement Azure) Industrialiser les architectures cibles & configurer les équipements (CI/CD) Mettre en place outils & procédures de supervision garantissant la haute disponibilité Participer aux phases de validation technique (mise en production & évolutions) Collaborer étroitement avec les équipes Développement, Sécurité et Projets

Intégré(e) aux équipes Data (Data Engineers, BI, Sécurité, Infrastructure), vous interviendrez sur la conception, le développement et l’industrialisation des pipelines data dans un environnement Azure. Vos principales responsabilités : Concevoir des pipelines d’ ingestion et de transformation (batch et near-real-time) Développer et maintenir des flux sous Azure Data Factory Implémenter des traitements Spark via Databricks Mettre en place la qualité des données , le monitoring et la reprise sur erreur Versionner, packager et livrer via des pipelines CI/CD Collaborer avec les équipes BI, sécurité et infra 🛠️ Industrialisation & DataOps Respect des standards de développement et de nommage Mise en œuvre de pipelines CI/CD Documentation et maintien des bonnes pratiques Data Contribution à la performance et à la robustesse des traitements