Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Au sein de la Direction des Systèmes d’Informations Mutualisés, vous rejoindrez le Train DATA, en charge des projets BI et Data pour l’ensemble des enseignes et des fonctions d’appui de notre client. En tant que QA doté de compétences en analyse de données, vous intégrerez le pôle Qualité Data et serez rattaché à la squad Équipement de la Maison. Votre rôle consistera à préparer et exécuter les cas de tests, constituer les jeux de données nécessaires, assurer le suivi des défauts identifiés et contribuer à l’amélioration continue de la qualité des données. Le Data Lab fonctionne en organisation agile et réunit des équipes pluridisciplinaires favorisant la collaboration et l’autonomie. Vous travaillerez avec des rituels agiles, cadrés, trimestriels et des cycles de réalisation de 3 semaines (sprint planning, affinage, sprint review et daily meeting). Vos missions : * Participer aux ateliers/rituels agiles * Réaliser la stratégie de test * Identifier et réceptionner les environnements de test * Analyser et évaluer les cas d'usage/User Story * Rédiger les plans de test, identifier les prérequis et spécifier les jeux de données * Exécuter les cas de tests * Créer et suivre les défauts avec les différentes parties prenantes * Maintien du référentiel de test * Réaliser le PV de recette * Présentation des sujets en CAB pour passage en production * Une expérience/compétence dans le retail serait un plus. En plus du test fonctionnel, vous serez amené à effectuer des tests d’intégration 2 à 2, des tests de bout en bout ainsi que des tests de surface dans un contexte Data.

Le contexte Nous recherchons un Data Engineer (ou Software Engineer avec une forte spécialisation Data) pour renforcer une équipe agile en charge de l'industrialisation de projets Data et ML. La mission se déroule dans un environnement technique Azure et s'appuie sur une méthodologie SAFe . Vos missions principales Votre rôle consiste à transformer des prototypes en solutions industrielles fiables et performantes. Vous intervenez sur : Pipelines de données : Conception et développement de flux Batch sous Azure Databricks . Vous gérez l'utilisation de PySpark, Delta Lake et MLFlow. Optimisation technique : Travail sur la performance des traitements (partitionnement, gestion mémoire, exploitation GPU) et mise en place du monitoring (reprise d'erreur, traçabilité). Développement logiciel : Création de packages Python réutilisables. Vous garantissez la qualité via des tests unitaires, de la documentation et l'intégration dans les pipelines CI/CD. API & Services : Développement d'API via Azure Functions ou Azure Container Apps. Collaboration métier : Travail quotidien avec les Data Scientists pour industrialiser leurs modèles (notamment sur des algorithmes de bagging et boosting). Cycle de vie projet : Participation complète de l'étude de faisabilité à la mise en production, incluant le suivi en RUN et l'amélioration continue. Détails de la mission Localisation : Niort (présence obligatoire sur site 3 jours par semaine). Démarrage : 04/05/2026. Durée : Jusqu'au 31/12/2026 (visibilité fin d'année). Tarif : Selon profil et expérience.

Orcan Intelligence recherche pour l'un de ses clients dans le secteur de la Finance un consultant Data Engineer senior sur les sujets Palantir . Voici les livrables attendus : Développer des pipelines de données pour nos fondations dans Palantir Foundry Construire, maintenir et documenter des pipelines, notamment pour l'intégration de données dans notre modèle analytique (architecture medallion). Etablir des Contrôles de qualité, tests,........ etc

Bonjour, Nous recherchons pour notre client basé en région parisienne (dans le 92) un testeur Data confirmé (4-10 ans d’expérience). Objectif Global : Testeur confirmé avec compétences Data Analyste Contrainte forte du projet Remplacement d'un prestataire en fin de mission Compétences techniques Méthodologie de tests - Confirmé - Important Test technico fonctionnels/tests d'intégration - Confirmé - Important DataBricks ou GCP ou big Query- Confirmé - Important Environnement azure microsoft - Confirmé - Important Connaissances linguistiques Français Courant (Impératif) Description détaillée Au sein de la Direction des Systèmes d’Informations Mutualisés, vous rejoindrez le Train DATA, en charge des projets BI et Data pour notre client. En tant que QA doté de compétences en analyse de données, vous intégrerez le pôle Qualité Data et serez rattaché à la squad. Votre rôle consistera à préparer et exécuter les cas de tests, constituer les jeux de données nécessaires, assurer le suivi des défauts identifiés et contribuer à l’amélioration continue de la qualité des données. Le Data Lab fonctionne en organisation agile et réunit des équipes pluridisciplinaires favorisant la collaboration et l’autonomie. Vous travaillerez avec des rituels agiles, cadrés, trimestriels et des cycles de réalisation de 3 semaines (sprint planning, affinage, sprint review et daily meeting). Vos missions : - Participer aux ateliers/rituels agiles - Réaliser la stratégie de test - Identifier et réceptionner les environnements de test - Analyser et évaluer les cas d'usage/User Story - Rédiger les plans de test, identifier les prérequis et spécifier les jeux de données - Exécuter les cas de tests - Créer et suivre les défauts avec les différentes parties prenantes - Maintien du référentiel de test - Réaliser le PV de recette - Présentation des sujets en CAB pour passage en production - Une expérience/compétence dans le retail serait un plus. En plus du test fonctionnel, vous serez amené à effectuer des tests d’intégration 2 à 2, des tests de bout en bout ainsi que des tests de surface dans un contexte Data. J’accorde une importance particulière à l’amélioration continue, un principe clé de l’agilité, afin de progresser en permanence et de gagner en efficacité. Savoir Faire : - Expérience minimum de 4 ans en tant que QA avec des compétences de data analyste - Profil technico fonctionnel - SQL Server - JIRA/XRAY - Environnement Microsoft azure - DataBricks ou GCP ou big Query - Utilisation de l'IA dans les tests (Génie Code) - Outils de reporting Power BI, Microstratégy Savoir Etre : - Collaboratif - Entraide - Force de proposition - Implication/Engagement - Amélioration Continue - Communication fluide - Qualité organisationnelle Définition du profil ORGANISATION ET CONCEPTION DES TESTS Contribue à l'élaboration de la stratégie de tests avec le Test Lead, en lien avec les Chefs de Projets et/ou Responsables d'applications Analyse les exigences utilisateurs et les spécifications fonctionnelles ou techniques fournies par le Responsable d'application Estime les charges DÉROULEMENT ET REALISATION DES TESTS En fonction de la stratégie établie, rédige les plans de tests, identifie les prérequis et spécifie les jeux de données (données de tests, résultats attendus) qu'il fait valider par le CP et/ou Responsable d'Application Réceptionne son environnement de tests et s'assure de sa conformité en termes de versions applicatives Exécute les tests manuellement ou en utilisant des outils d'exécution automatique des tests Consigne les résultats de tests et remonte les anomalies au Chef de Projet et/ou Responsable d'application Met à jour le référentiel de tests Peut coordonner une équipe d'analystes de test en tant que référent SYNTHESE DES TESTS Réalise un bilan des tests effectués Date de démarrage 08/06/2026 Lieu de réalisation CHATILLON (92) Déplacement à prévoir non Le projet nécessite des astreintes Non Nombre de jours souhaitables sur site 3 jours par semaine Dans le cas où vous êtes intéressé par ce poste, pourriez-vous SVP m'envoyer votre CV au format Word en indiquant votre disponibilité ainsi que vos prétentions salariales ou votre tarification journalière si vous êtes indépendant ?

Dans le cadre d’un projet Data à forte valeur ajoutée, nous recherchons un Data Engineer / Software Engineer orienté Data afin de renforcer une équipe agile SAFe. Le consultant interviendra sur la conception, le développement et l’industrialisation de pipelines Data et Machine Learning dans un environnement cloud Azure. Il participera à la transformation de solutions analytiques et prototypes Data Science en solutions robustes, scalables et industrialisées. Missions principales Data Engineering / Pipelines Data & ML Conception et développement de pipelines batch sur Azure Databricks Traitement et transformation de données avec PySpark Mise en place de workflows Data industrialisés Utilisation de Delta Lake pour la gestion des données Intégration de modèles ML en collaboration avec les Data Scientists 2. Industrialisation & performance Optimisation des performances Spark : partitionnement gestion mémoire optimisation des jobs Mise en place de mécanismes de : reprise sur erreur traçabilité des traitements monitoring des pipelines Software Engineering / Développement Développement de packages Python industrialisés Conception d’API (Azure Functions / Container Apps) Respect des standards de développement : tests unitaires qualité du code documentation CI/CD Contribution projet & Agile Participation aux phases projet : étude de faisabilité conception développement mise en production (MEP) Participation aux activités RUN et amélioration continue Contribution active aux cérémonies Agile SAFe

Hello, Pour le compte de l'un de mes clients Lyonnais, je suis à la recherche d'un développeur confirmé Databricks. QUALITES RECHERCHEES : • Connaissances avancées fonctionnelles des technologies suivantes : Postgres, PowerBI, Databreaks, Angular/React en mode Cloud et On Primise au possible • Pilotage / Supervision technique haut niveau de l’équipe en fonction des besoins • Expérience significative dans la mise en oeuvre de besoin impliquant plusieurs SI • Force de proposition sur l’amélioration de la surveillance de l’application et sur les évolutions techniques de l’application • Capacité à prendre du recul et à avoir une vision globale sur les technologies utilisées • Capacité à gérer les contraintes de délai et les périodes de stress inhérentes au projet • Expérience dans l’analyse des besoins techniques et dans l’animation d’ateliers techniques • Bonne communication et bonne capacité à s’adapter à ses interlocuteurs • Une expérience dans l'énergie serait un plus

Contexte et Mission Le secteur du e-commerce entre dans une nouvelle phase : l’ Agentic Commerce , où des agents pilotés par l’IA effectuent de manière autonome des recherches et des achats pour les utilisateurs. Dans ce cadre, vous rejoignez une équipe Data de plus de 60 personnes pour prototyper et intégrer ces systèmes d'agents au sein d'un écosystème utilisé par les plus grands retailers mondiaux. Responsabilités principales Conception & Architecture : Développer et optimiser des agents IA via des frameworks comme LangChain, LangGraph ou LangFlow. Ingénierie LLM : Exploiter les modèles de langage de pointe et les techniques de type RAG (Retrieval-Augmented Generation). Cycle de vie produit : Piloter les projets de la phase de design initial jusqu'à la mise en production et aux itérations successives. Industrialisation : Mettre en place des outils réutilisables pour assurer la scalabilité, le monitoring et les tests des solutions déployées. Innovation & Veille : Explorer les nouveaux paradigmes de l'IA et évaluer les technologies émergentes pour maintenir l'avance technologique de la plateforme.

📢 Data Engineer Scala Spark – Environnement Cloud (H/F) 🧩 Contexte Dans le cadre du renforcement d’une équipe Data, nous recherchons un(e) Data Engineer expérimenté(e) afin d’intervenir sur des sujets à forte volumétrie, autour de pipelines de données complexes et d’optimisation des traitements. Vous évoluerez dans un environnement technique exigeant, avec des enjeux de performance, scalabilité et qualité de la donnée. 🚀 Missions principales Développement de pipelines data en Scala / Spark (batch principalement) Optimisation des traitements et gestion de volumétries importantes Mise en place et amélioration des bonnes pratiques de développement Participation à l’architecture et aux choix techniques Collaboration avec les équipes métiers et techniques Contribution au mentoring et partage de connaissances 🧰 Stack technique Scala / Spark Maven Environnement Cloud (AWS ou Azure) Databricks (selon contexte) API HTTP Stack ELK (optionnel) ✅ Must have Solide expérience en Scala / Spark (batch) Maîtrise des optimisations Spark Expérience sur fortes volumétries de données Bonnes pratiques de développement (clean code, build, versioning) Expérience en environnement Cloud (AWS ou Azure) Minimum 5 ans d’expérience en Data Engineering ➕ Nice to have Expérience avec Databricks Développement d’ API HTTP Connaissance de la stack ELK Expérience en environnement multi-projets 🤝 Soft skills Esprit d’analyse et rigueur Autonomie et force de proposition Bon relationnel et esprit d’équipe Capacité à comprendre les enjeux métiers Sens des priorités et gestion des délais 🎓 Profil Formation Bac+3 à Bac+5 en informatique Anglais technique requis 8 ans d'expériences MINIMUM ! 📍 Modalités Télétravail partiel (jusqu’à 3 jours / semaine) Mission longue Démarrage : ASAP

Nous recherchons un expert Collibra technico-fonctionnel avec plus de 15 ans d'expérience dans le cadre d'une mission au forfait avec engagement de résultat sur une période de 5 mois. Dans un contexte groupe avec un socle Data existant, une dizaine de direction métiers et un outil Collibra mise en place. Certifications requises Certification Collibra Certification Agile / Scrum Certification RGPD / CNIL Profil recherché Expérience (15 ans d'expériences minimum) Minimum 10 ans d’expérience data Minimum 4 ans en Data Governance Expérience significative sur Collibra (implémentation et exploitation) Mise en place de workflows automatisés (au moins 2) Expérience d’intégration avec des SI (connecteurs, APIs…) Compétences techniques Collibra (configuration, workflows, administration) Data Governance & Data Catalog Data Engineering / BI / Data Management Environnements : Databricks, AWS, outils de metadata (Collate…) Méthodologies Agile (Scrum) Certifications requises Certification Collibra Certification Agile / Scrum Certification RGPD / CNIL Soft skills Autonomie et rigueur Capacité d’analyse et de proposition Excellentes compétences en communication Capacité à interagir avec des profils techniques et métiers Organisation & environnement Encadrement : Product Owner Data Catalog Interaction avec équipes Data (DSI, Data Factory) Mode de travail hybride : Non négociable 3 jours/semaine sur site (Paris) 2 jours/semaine en télétravail Entretien technique en présentiel à Paris Modalités Mission au forfait avec engagement de résultat Suivi mensuel via livrables et compte-rendu d’activité Validation régulière en COPIL

Organisée autour des outils de stockage et de catalogage, l'équipe Datalake est chargée de mettre à disposition le stockage (S3) pour l'ensemble de la data platform et de garantir robustesse et scalabilité. L'équipe Datalake assure la gouvernance technique du patrimoine de donnée et la gestion des métadonnées au travers des data contract. Nous hébergeons et maintenons le repository central de ces derniers. Nous permettons grâce à cela de construire une observabilité de plateforme au travers de l’usage, du lineage etc. Nous avons le besoin de sensibiliser les utilisateurs aux bonnes pratiques que l'équipe met en place sur une modern data stack. Ceci afin d'accompagner au mieux le développement des use cases métiers sur la plateforme. Une appétence data et avoir déjà manipulé des outils tels que databricks est un réel plus. Ta mission sera de Garantir la robustesse du data contract registry (Aurora + Python fastAPI) Monitorer et prendre des actions proactives de management Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry) Restituer dans le datalake les metadonnées de nos produits Accompagner et former Définir et promouvoir les bonnes pratiques proposées au sein de l'équipe Participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Gouvernance automatisée (Data contract registry, access management, metadata management) Etroite collaboration avec les staff engineer de la plateforme pour le développement de nouvelle features (ADR)

Tâches à réaliser : Intégrer et faire évoluer la partie Active Directory on-premise et cloud (Azure AD) Récupérer et exploiter les données d'Active Directory via PowerShell, scripts, et outils d'automatisation Scanner et analyser différents composants Azure AD pour assurer une cohérence et une sécurité optimale Développer et maintenir des scripts PowerShell pour la gestion d'AD Moderniser et réintégrer du code existant, en utilisant des techniques modernes (PowerShell avancé) Automatiser la récupération, le traitement et l'intégration des données dans la plateforme Récupérer les outputs générés par DataBricks ou autres outils, et les intégrer dans la plateforme interne Assurer la cohérence et la mise à jour des données, notamment via des scripts et automatisations Participer à la génération de rapports (ex : Power BI) à partir des fichiers et données intégrés Transférer, maîtriser et faire évoluer l'architecture AD Résoudre des problématiques complexes (droit, arborescence, tokens) Assurer la sécurité, la conformité et la performance de l'Active Directory

Nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark et SQL. - Analyse des traitements existants dans le cadre de projets de migration - Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake - Développement de notebooks Databricks pour des traitements avancés de données - Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) - Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) - Réalisation de revues de code dans une logique de qualité et de bonnes pratiques - Conception et exécution de tests unitaires - Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés

Nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark et SQL. · Analyse des traitements existants dans le cadre de projets de migration · Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake · Développement de notebooks Databricks pour des traitements avancés de données · Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) · Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) · Réalisation de revues de code dans une logique de qualité et de bonnes pratiques · Conception et exécution de tests unitaires · Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés 3 - Compétences techniques requises · Expérience Data minimum 5 ans · Azure minimum 3 ans · Databricks minimum 5 ans · Spark minimum 5 ans · Python minimum 5 ans · SQL minimum 5 ans · Maitrise de CI/CD, Azure DevOps minimum 3 ans · Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an

Tâches à réaliser : Intégrer et faire évoluer la partie Active Directory on-premise et cloud (Azure AD) Récupérer et exploiter les données d'Active Directory via PowerShell, scripts, et outils d'automatisation Scanner et analyser différents composants Azure AD pour assurer une cohérence et une sécurité optimale Développer et maintenir des scripts PowerShell pour la gestion d'AD Moderniser et réintégrer du code existant, en utilisant des techniques modernes (PowerShell avancé) Automatiser la récupération, le traitement et l'intégration des données dans la plateforme Récupérer les outputs générés par DataBricks ou autres outils, et les intégrer dans la plateforme interne Assurer la cohérence et la mise à jour des données, notamment via des scripts et automatisations Participer à la génération de rapports (ex : Power BI) à partir des fichiers et données intégrés Transférer, maîtriser et faire évoluer l'architecture AD Résoudre des problématiques complexes (droit, arborescence, tokens) Assurer la sécurité, la conformité et la performance de l'Active Directory

🎯 Objectif de la mission Dans un contexte de transformation data à l’échelle européenne, vous intervenez en tant qu’ Architecte / Consultant Senior Data pour structurer, rationaliser et industrialiser la plateforme data du groupe. Vous accompagnez la définition de la stratégie cible, la gouvernance et la trajectoire de migration vers une plateforme data unifiée, scalable et conforme aux contraintes réglementaires (RGPD, localisation des données, sécurité). 🧩 Missions principales🔎 1. Diagnostic des plateformes data existantes Réaliser une cartographie complète des plateformes data existantes Analyser les architectures de bout en bout (de l’ingestion à l’usage métier) Étudier l’organisation, les rôles et responsabilités Identifier les dépendances techniques et fonctionnelles Recenser et prioriser les cas d’usage Data, BI et IA Intégrer les contraintes réglementaires (RGPD, souveraineté des données) 🏗️ 2. Définition de la stratégie data cible Concevoir une architecture cible de plateforme data pan-européenne Travailler avec les équipes d’architecture groupe Recommander les choix technologiques (cloud, data platforms, outils) Définir un modèle de gouvernance data transverse (business lines) Fixer les principes de scalabilité, industrialisation et performance 🔁 3. Stratégie de migration & roadmap Construire une roadmap de transformation et migration vers la cible Définir les étapes de migration des données et des usages Organiser et animer les ateliers avec les équipes IT et métiers Préparer et suivre les comités de pilotage IT Coordonner les phases de tests, recette et non-régression 🚀 4. Accompagnement des premières phases de delivery Accompagner le démarrage des premières implémentations Garantir la cohérence entre architecture cible et réalisation Assurer un rôle de référent auprès des équipes de delivery

Ta mission sera de Garantir la robustesse de la platforme Monitorer et prendre des actions proactive de management de la plateforme de compute Assurer le support et l'accompagnement d'équipes sur Spark, Databricks et EMR Travailler sur les optimisations des traitements Athena/Pyspark Accompagner et former Définir et promouvoir les bonnes pratiques de software engineering et de data engineering sur les technologies proposées au sein de l'équipe participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Travailler sur le concept d'accessibilité et de gouvernance de la donnée Tester de nouveaux outils / features intéressants à intégrer dans notre stack