Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Testeur confirmé avec compétences Data Analyste Compétences techniques Méthodologie de tests - Confirmé - Important Test technico fonctionnels/tests d'intégration - Confirmé - Important DataBricks - Confirmé - Important Environnement azure microsoft - Confirmé - Important Description détaillée Au sein de la Direction des Systèmes d’Informations Mutualisés, vous rejoindrez le Train DATA, en charge des projets BI et Data. En tant que QA doté de compétences en analyse de données, vous intégrerez le pôle Qualité Data . Votre rôle consistera à préparer et exécuter les cas de tests, constituer les jeux de données nécessaires, assurer le suivi des défauts identifiés et contribuer à l’amélioration continue de la qualité des données. Le Data Lab fonctionne en organisation agile et réunit des équipes pluridisciplinaires favorisant la collaboration et l’autonomie. Vous travaillerez avec des rituels agiles, cadrés, trimestriels et des cycles de réalisation de 3 semaines (sprint planning, affinage, sprint review et daily meeting). Vos missions : - Participer aux ateliers/rituels agiles - Réaliser la stratégie de test - Identifier et réceptionner les environnements de test - Analyser et évaluer les cas d'usage/User Story - Rédiger les plans de test, identifier les prérequis et spécifier les jeux de données - Exécuter les cas de tests - Créer et suivre les défauts avec les différentes parties prenantes - Maintien du référentiel de test - Réaliser le PV de recette - Présentation des sujets en CAB pour passage en production - Une expérience/compétence dans le retail serait un plus. En plus du test fonctionnel, vous serez amené à effectuer des tests d’intégration 2 à 2, des tests de bout en bout ainsi que des tests de surface dans un contexte Data. J’accorde une importance particulière à l’amélioration continue, un principe clé de l’agilité, afin de progresser en permanence et de gagner en efficacité.

Missions Conception, développement et maintenance des pipelines de données Cadrage technique Garant de la mise en production des traitements au sein de la plateforme Optimisation du code pour chaque traitement, maîtrise de l'usage Databricks au regard des coûts Maîtrise de l'architecture médaillon de Databricks, des problématiques de qualité de données, du DevOps Développement sous Databricks (Python / SQL / Spark) Force de propositions techniques Capacité à encadrer / coacher des data engineers juniors, challenger la solution et assurer un rôle de tech lead dans l'équipe Compétences Anglais de bon niveau Connaissance Cloud AWS (confirmé, 3 à 5 ans) Expérience Data Engineer sur pipeline données (senior, 8 à 10 ans) Expérience Tech Lead (confirmé, 3 à 5 ans) Maîtrise Databricks prérequise (confirmé, 3 à 5 ans) Python + SQL + Spark (senior, 8 à 10 ans)

Introduction & Résumé : Emagine recherche un Développeur Databricks / Python capable d'accompagner des équipes dans des projets à forte valeur ajoutée autour des données. Le candidat idéal disposera d'une expertise avancée en développement sur Databricks et Python, et aura un rôle clé dans la conception et la maintenabilité des solutions techniques. Principales responsabilités : Accompagner les équipes sur des projets data. Concevoir et maintenir des solutions robustes sur Databricks. Intégration de données Développer des notebooks Python (PySpark)/SQL/R. Documenter les développements pour assurer la maintenabilité. Industrialiser les notebooks (jobs, workflows, automatisation). Exigences clés : Minimum 5 ans d'expérience. Expertise avancée sur Databricks/Python. Anglais courant, méthodologie agile Excellent relationnel, travail en équipe Présence obligatoire de 2 jours sur site. Atouts : Expérience dans des projets similaires. Compétences en gestion de projet.

Vous intégrerez une équipe, responsable de la migration de traitements existants depuis une plateforme on premise vers une plateforme Data Cloud basée sur Azure et Databricks. Dans ce contexte, vous interviendrez sur la conception et la structuration des traitements data. Votre rôle Conception et développement de solutions data · Concevoir les architectures techniques nécessaires pour la valorisation des données · Concevoir les solutions permettant le traitement des données · Réaliser les croisements de données nécessaires ainsi que les opérations de validation, correction et contrôle qualité · Apporter une expertise technique pour développer les solutions data appropriées aux différents cas d'usage Gouvernance et gestion de la donnée · Structurer les données en intégrant les enjeux de cycle de vie · Identifier et qualifier les sources de données pertinentes · Garantir la cohérence et la qualité de l'intégration des données · Veiller au respect des exigences de traitement et de sécurité sur les données · Suivre et référencer l’usage des données Documentation et collaboration · Documenter et maintenir à jour les référentiels et catalogues de données · Travailler en collaboration avec les Architectes d'Entreprise Data

Bonjour, Pour le compte de l'un de mes clients parisiens, je suis à la recherche d'un développeur AAzure Databricks en pré-embauche. La mission : En tant que Développeur / Data Engineer Azure Databricks, vous intervenez au cœur de la Data Factory Entegra pour concevoir, développer et industrialiser les pipelines de données critiques du groupe. Vous travaillez en étroite collaboration avec : Le Head of Data, le Tech Lead Data, les équipes métiers et IT locales (France, UK, IT, ES, NL…), & les équipes partenaires. Responsabilités principales : Concevoir et développer des pipelines de données robustes et scalables sur Azure Databricks (PySpark, Delta Lake) Mettre en œuvre les chaînes d’ingestion, transformation et exposition des données (Bronze / Silver / Gold) Participer à l’industrialisation des traitements data (qualité, monitoring, performance, reprise sur incident) Contribuer à la structuration du socle Data Factory et aux bonnes pratiques de développement Documenter les développements et garantir la qualité du code et la maintenabilité. Travailler avec les équipes régionales pour : Comprendre les besoins fonctionnels, Accompagner la montée en compétences, Assurer le transfert de connaissances, Intervenir dans un contexte international, avec une forte dimension métier et “customer facing”.

Astrelya est un cabinet de conseil franco‑suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre mission : En tant que Data Engineer Databricks vous participez à la définition de l’architecture de la data platform et du Datawarehouse/Data Lake. Concevoir et développer des nouvelles fonctionnalités sur des applications hébergées par les plateformes Data. Développer et maintenir des pipelines de données performants (batch & streaming) et participer à toutes les étapes de traitement des données du niveau bronze au niveau gold. Garantir la sécurité, la robustesse et la fiabilité des pipeline de données en veillant aux enjeux de performance, d’accessibilité et d’intégrité des données. Contribuer à l’implémentation d’un Data Lab pour accélérer les usages Data & IA. Mettre en place et industrialiser des chaines CI/CD. Participer aux mises en production et au support en cas d’incident majeur. Travailler aux côtés de Data Product Owner, Data Architect et de BI & Analytics Engineer. Participer aux cérémonies agiles organisées par la squad : daily, sprint planning, sprint review, sprint rétrospective Effectuer une veille technologique continue sur de nouvelles solutions et tendances Data.

Contexte Une équipe centralisée gère la plateforme mais de nombreuses équipes (Feature Team organisées par domaine de données) travaillent sur la Data Platform . Toutes les équipes fonctionnent en mode agile. Un Tech Lead est recherché pour une Feature Team du client . La maîtrise de l'outil DATABRICKS est un prérequis. Missions Conception, développement et maintenance des pipelines de données Cadrage technique Garant de la mise en production des traitements au sein de la plateforme Optimisation du code pour chaque traitement, maîtrise de l'usage Databricks au regard des coûts Maîtrise de l'architecture médaillon de Databricks, des problématiques de qualité de données, du DevOps Développement sous Databricks (Python / SQL / Spark) Force de propositions techniques Capacité à encadrer / coacher des data engineers juniors, challenger la solution et assurer un rôle de tech lead dans l'équipe

Bonjour à tous 😀 🎯 Contexte : Dans le cadre du développement de ses capacités en Intelligence Artificielle Générative , nous recherchons un Data Engineer spécialisé sur Databricks pour intervenir sur des cas d’usage innovants à forte valeur ajoutée. Le poste combine des enjeux de data engineering, machine learning et mise en production dans un environnement moderne. 🛠️ Missions principales Concevoir et développer des modèles de Machine Learning (GenAI) Collecter, préparer et exploiter les données Développer des pipelines d’ingestion et de transformation Assurer la mise en production et le monitoring des modèles (MLOps) Intervenir sur des sujets d’architecture RAG et fine-tuning Conseiller sur les choix techniques et les cas d’usage 🧩 Environnement technique Python / SQL / Pandas Databricks Machine Learning / Deep Learning (LLM, Transformers) Architectures GenAI (RAG, fine-tuning) Cloud AWS MLOps

Contexte Rejoignez une équipe agile SAFe pour concevoir et industrialiser des pipelines Data et ML robustes sur un environnement Azure moderne. Vous serez au cœur de la transformation des prototypes data scientists en solutions de production. Vos missions Pipelines Data & ML Développement de pipelines Batch sous Azure Databricks Utilisation avancée de PySpark, Delta Lake, MLFlow, Workflows Optimisation des performances : partitionnement, gestion mémoire, exploitation GPU Mise en place de mécanismes de reprise d'erreur, de traçabilité et de monitoring Collaboration avec les data scientists pour industrialiser leurs modèles Développement logiciel Conception de packages Python robustes et maintenables Respect des standards : qualité de code, tests unitaires, CI/CD, documentation Développement d'APIs via Azure Functions et/ou Azure Container Apps Contribution projet & RUN Participation aux phases projet : faisabilité, architecture, conception, réalisation, MEP Activités d'amélioration continue et participation aux rituels agiles

Contexte de la mission Dans le cadre de la modernisation de sa plateforme Data & Intelligence Artificielle, un grand groupe du secteur assurance / services financiers recherche un Architecte Data & IA Senior afin d’accompagner la transformation de son socle technologique vers une plateforme unifiée, gouvernée et prête pour les usages IA avancés. L’objectif est de renforcer les fondations techniques permettant : L’industrialisation rapide des cas d’usage IA / Machine Learning La cohérence des environnements MLOps / LLMOps La montée en maturité des équipes DataOps, Delivery et Engineering L’intégration future de solutions Agentic AI Missions principalesArchitecture & Gouvernance Technique Définir les architectures cibles Data & IA pour les usages analytiques, ML et GenAI Faire évoluer l’offre de services de la plateforme Data & IA Superviser la mise en place d’un catalogue de données unifié (gouvernance, sécurité, lineage, partage, FinOps) Structurer le cadre d’architecture : sécurité, traçabilité, observabilité, conformité Garantir la cohérence technique entre les environnements Data, IA et systèmes métiers Accompagnement des équipes Encadrer les équipes DataOps / MLOps sur les bonnes pratiques CI/CD, automatisation et monitoring Accompagner la montée en compétence sur les technologies cloud & data platform Collaborer avec les équipes Delivery pour fiabiliser les pipelines de production Participer au transfert de connaissances et à la documentation des standards Innovation & Modernisation Préparer la plateforme à l’exposition de Data Products fédérés Définir une approche AI by Design intégrant conformité et gouvernance Concevoir les architectures d’intégration de LLM internes ou hybrides Piloter des initiatives autour de : IA Observability AI FinOps / Cost Control Temps réel / streaming data Automatisation intelligente

ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d’une équipe dynamique Participer à des projets innovants d’envergure Relever des défis liés à l’ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’un acteur majeur du secteur du retail, tu participeras à la conception, à la mise en place et à l’optimisation d’architectures data robustes et évolutives au service de la valorisation de la donnée : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L’intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d’une expérience de 8 ans minimum en ingénierie de la donnée ou en développement data Expert(e) en AZURE, DATABRICKS, SPARK, PYTHON, SQL Habile avec les outils CI/CD, AZURE DEVOPS, AGILE, JIRA AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n’aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l’essentiel Capacité d’adaptation : tu es un vrai caméléon Sens de la communication : les mots n’ont pas de secret pour toi Force de proposition : tu es l’Aladdin de l’informatique Esprit d’équipe : un pour tous et tous pour un !

Bonjour à tous 😀 🚀 Contexte de mission Nous recherchons un Data ingénieur - Référent technique Nifi et Data , vous intervenez au sein d’une équipe Data & IA sur des environnements critiques à forte volumétrie. L’objectif : concevoir, optimiser et sécuriser les flux de données dans un contexte de production exigeant, avec des enjeux forts de continuité de service . 🎯 Vos missions Développer et maintenir des pipelines de données (Apache NIFI / Databricks) Optimiser les flux existants (performance, fiabilité, scalabilité) Assurer le RUN et le support (HNO / 24-7) Mettre en place et améliorer les processus CI/CD Superviser les traitements (monitoring, alerting) Participer aux études techniques et POC Produire la documentation et les reportings d’incidents Être force de proposition sur l’ amélioration de l’architecture data ✅ Must Have Expertise Apache NIFI Très bonne maîtrise de Databricks Expérience solide sur Azure Bon niveau en Python & Spark Expérience en environnement de production critique (RUN / incidents) Connaissance CI/CD (Git / GitLab) Expérience en monitoring (type DataDog) Bonne maîtrise des bases de données (PostgreSQL) Expérience en Agile / Scrum ➕ Nice to Have Connaissance AKS (Kubernetes) Expérience avec Zookeeper Background sur des projets data à forte volumétrie Culture DevOps / automatisation avancée

Périmètre et responsabilités : 1. Mise en place de l’infrastructure Azure Databricks: - Contribuer à la définition de l’architecture cible de la plateforme Data Cloud - Déployer et configurer Azure Databricks (workspaces, clusters, environnements) - Mettre en oeuvre les intégrations avec les services Azure (Storage, Azure AD, Key Vault, réseau) - Gérer la séparation des environnements (dev / test / prod) 2. Infrastructure as Code et automatisation: - Concevoir et maintenir les scripts Infrastructure as Code (Terraform ) - Automatiser le provisioning et l’évolution de la plateforme - Participer à la mise en place et à l’amélioration des pipelines CI/CD infrastructure - Garantir la cohérence, la reproductibilité et la traçabilité des déploiements 3. Sécurité et gouvernance Cloud: - Implémenter les standards de sécurité Azure : - Gestion des identités et des accès (Azure AD, RBAC) - Sécurité réseau (VNet, Private Endpoints, règles de flux) - Gestion des secrets via Azure Key Vault - Contribuer aux règles de gouvernance de la plateforme data - Veiller à l’alignement avec les standards cloud et sécurité de l’entreprise 4. Exploitation et support plateforme: - Assurer le maintien en conditions opérationnelles du socle Databricks - Analyser et résoudre les incidents liés à l’infrastructure - Optimiser les performances et les coûts de la plateforme - Rédiger la documentation technique et les bonnes pratiques à destination des équipes métiers 5. Fonctionnement en équipe agile: - Intégrer une équipe agile (Scrum / Kanban) - Participer aux rituels agiles (daily, planning, review, rétrospective) - Travailler en collaboration avec les profils data, cloud et sécurité - Être force de proposition sur les choix techniques et organisationnels Environnement technique: - Cloud : Microsoft Azure - Data Platform : Azure Databricks - Infrastructure : Terraform - Sécurité : Azure AD, Key Vault, VNet - Outillage : Git, Azure DevOps - Méthodologie : Agile

🚀 Et si votre prochain projet faisait grandir vos compétences autant que votre carrière ? Chez K-LAGAN , nous faisons vivre chaque projet grâce aux talents qui le portent, en alliant expertise technique, innovation et accompagnement personnalisé. Aujourd’hui, nous recherchons un·e Data Engineer (F/H) pour rejoindre l’un de nos clients sur un projet stratégique autour de la data temps réel et des architectures Cloud , basé à Nantes . 🎯 Contexte Vous interviendrez sur le développement et l’optimisation de pipelines de données temps réel, dans un environnement moderne orienté Cloud et industrialisation. L’objectif : concevoir des solutions robustes, automatisées et performantes pour garantir la fiabilité et la scalabilité des flux de données. 📍 Les modalités Localisation : Nantes Contrat : CDI ou Freelance Démarrage : ASAP Conditions et rémunération ouvertes à négociation selon profil et expertise

En tant qu’AI Engineer, vous intervenez sur la conception, le développement et l’industrialisation de solutions d’Intelligence Artificielle, allant du Machine Learning classique aux cas d’usage de GenAI. Vous travaillez au cœur des plateformes Data et ML afin de garantir la robustesse, la performance, la scalabilité et la maintenabilité des modèles et services IA mis en production, au service des équipes métiers et produits. Expérience attendue : 3+ ans en ingénierie IA / ML / Data, avec une forte orientation production. Vous correspondez au/à la AI Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique , de rigueur et de pragmatisme Vous êtes autonome, proactif et doté d’un solide sens des responsabilités Vous savez communiquer clairement avec des interlocuteurs techniques et non techniques, et vulgariser des sujets complexes Vous savez prioriser vos tâches , gérer les contraintes (qualité, délais, coûts) et respecter vos engagements Vous disposez d’un solide bagage en software engineering , vous permettant de développer des solutions IA robustes, lisibles, maintenables et testables , principalement en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes à l’aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous avez déjà travaillé sur des plateformes Data / ML Cloud (ex. Databricks ou équivalent) Vous comprenez les enjeux de préparation des données , de feature engineering et de qualité des datasets pour les usages ML / AI Vous avez une experience dans l’ industrialisation des modèles ML , incluant entraînement, validation, versioning et déploiement Vous êtes sensibilisé aux pratiques MLOps (gestion du cycle de vie des modèles, reproductibilité, monitoring) Vous avez une appétence pour les cas d’usage GenAI (LLM, RAG, embeddings, agents) et savez concevoir et mettre en œuvre de frameworks d’évaluation pour les systèmes GenAI incluant : évaluation de la qualité des réponses (relevance, faithfulness, completeness), validation des chaînes de retrieval et d’embeddings, comparaison de prompts, modèles ou configurations

Dans le cadre de notre besoin, nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark, SQL et Python. Vous intégrerez l’une de nos squads, responsable de la migration de traitements existants depuis une plateforme on premise vers notre plateforme Data Cloud Azure / Databricks. Le profil recherché devra impérativement démontrer une forte motivation pour intervenir sur des projets de migration et être force de proposition, notamment pour identifier et mettre en œuvre des leviers d’accélération afin d’optimiser le delivery. Mission : • Analyse des traitements existants dans le cadre de projets de migration • Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake • Développement de notebooks Databricks pour des traitements avancés de données • Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) • Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) • Réalisation de revues de code dans une logique de qualité et de bonnes pratiques • Conception et exécution de tests unitaires • Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés Compétences techniques requises • Expérience Data minimum 5 ans • Azure minimum 3 ans • Databricks minimum 5 ans • Spark minimum 5 ans • Python minimum 5 ans • SQL minimum 5 ans • Maitrise de CI/CD, Azure DevOps Minimum 3 ans • Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an Aptitudes personnelles • Force de proposition, rigueur, réactivité, bon relationnel. Test technique • Un test technique sera réalisé lors de l’entretien