Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

ContexteDans le cadre du renforcement d'une équipe technique transverse intervenant sur un périmètre d'une quinzaine d'applications Data, nous recherchons 4 Data Engineers Séniors, capables d'intervenir principalement sur des activités de RUN, tout en pouvant ponctuellement contribuer aux activités BUILD. L'objectif est de renforcer la fiabilité et l'exploitation des applications Data tout en assurant une continuité forte entre développement, mise en production et RUN. Nous recherchons avant tout des Data Engineers expérimentés, avec une réelle culture de la production et du DevOps, et non des profils DevOps infrastructure purs. MissionsRUN & support techniqueAnalyser et résoudre les incidents de production. Diagnostiquer les anomalies sur les traitements, jobs et pipelines Data. Identifier et traiter les problèmes récurrents. Participer à la fiabilisation des applications et traitements Data. DevOps & automatisationAméliorer les processus de déploiement et de mise en production. Industrialiser et automatiser les tâches d'exploitation. Contribuer à la fiabilisation des déploiements et traitements Data. Participer à l'amélioration continue des pratiques RUN/BUILD. Supervision & monitoringAméliorer les mécanismes de supervision et d'alerting. Intégrer les dispositifs de contrôle directement dans les jobs et pipelines Data. Faciliter la détection, l'analyse et le diagnostic des anomalies. Maintien en conditions opérationnellesGérer les changements techniques. Participer à la sécurisation des environnements. Assurer la gestion des secrets applicatifs. Maintenir et améliorer la documentation d'exploitation. Renfort BUILDIntervenir ponctuellement sur les développements Data Engineering. Apporter une expertise technique aux équipes projets. Contribuer aux développements et à la sécurisation des livraisons lors des pics de charge.

Nous recherchons actuellement un Administrateur dataplateforme/Workspace/ Expert databricks pour une mission longue dans le secteur de l'énergie ! Missions & Stack technique : Administration Databricks & Workspaces : Administrer les workspaces et ressources de calcul, gérer les habilitations, appliquer les politiques de sécurité, suivre les coûts et assurer le support opérationnel (RUN). Gouvernance Data (Unity Catalog) : Structurer et déployer Unity Catalog, organiser les catalogues/schémas, définir les règles d'accès, les conventions de nommage et garantir la qualité des données. Migration Data Lake Legacy : Analyser l'existant, concevoir l'architecture cible, définir la stratégie de migration par vagues et coordonner les bascules sans interruption de service. Industrialisation & DataOps : Mettre en place et maintenir des pipelines CI/CD avec Git et Databricks Asset Bundles, et automatiser les déploiements (Dev, Test, Prod). Développement & Qualité : Industrialiser les pipelines de données avec Python et Apache Spark, et optimiser la modélisation et la fiabilité des flux. Accompagnement & Documentation : Rédiger la documentation technique (guides, blueprints) et accompagner la montée en compétences des Data Engineers et profils métiers (Data Citizens). (Compétences appréciées : Terraform avec provider Databricks, Cloud AWS/Azure, briques IA / GenAI intégrées).

Bonjour à tous 😀 Nous recherchons un Architecte Data Senior – Databricks / Unity Catalog (H/F) Dans le cadre d'une potentielle mission chez l'un de nos clients, nous recherchons un Architecte Data Senior pour intervenir au sein du pôle Big Data de la DSI. 📌 Contexte de la mission : Vous interviendrez sur des projets Big Data intégrant différents cas d'usage autour de l'ingestion, du traitement et de l'exposition des données, ainsi que sur l'administration et la gestion des environnements de production. 🔎 Profil recherché : Expérience confirmée en architecture Data et environnements Big Data. Minimum 8 ans d'expériences. Maîtrise indispensable de Databricks en environnement de production. Maîtrise avancée d'Unity Catalog, notamment sur l'administration du metastore. Expérience en administration de workspace Databricks en production. Bonne connaissance de SQL, XML et JSON. Connaissance de Jira et de la suite Office 365, notamment Excel et Power BI. Une expérience sur Azure, Azure Blob Storage, Power Automate ou Power Apps serait un plus. 📍 Modalités : Démarrage prévisionnel : début décembre 2026. Mission longue durée. Temps plein. 2 jours de TT/Semaine Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé ou à partager cette annonce autour de vous !

Au sein d'une équipe Master Data Management (MDM), vous participerez à la conception et au développement de solutions de connectivité entre les applications de référentiels et les plateformes de distribution de données, notamment Snowflake et Databricks, en limitant les dépendances technologiques. Vous interviendrez sur l'analyse des besoins métiers, les études de faisabilité, la rédaction des spécifications, l'implémentation des solutions, les recettes et la maintenance corrective et évolutive. Référent sur les projets transverses du périmètre MDM, vous contribuerez aux choix d'architecture, coordonnerez les travaux et les plannings, animerez les comités de suivi et assurerez le reporting ainsi que la documentation et le support aux utilisateurs, dans un environnement international lié à la gestion d'actifs et aux référentiels financiers.

Le Directeur de Projet aura pour mission principale de conduire et coordonner l'ensemble des projets du périmètre. Il devra définir la faisabilité des projets en identifiant les risques potentiels, afin d'éviter les dérives et de les anticiper. Il sera responsable du respect des délais et des coûts, en établissant et en gérant un planning d'avancement détaillé. Son rôle inclura également l'arbitrage des choix en fonction des risques et des résultats attendus, tout en garantissant une cohérence fonctionnelle entre les différentes composantes du projet. Les livrables attendus incluent : La documentation des activités réalisées (spécifications technico-fonctionnelles, règles de gestion, traitement des rejets). La rédaction des User Stories pour formaliser les besoins métiers. La mise à jour des documents existants et la construction de plannings. La création d'indicateurs pour évaluer la performance et le suivi du projet.

La fonction FP&A d'un client se transforme avec la mise en place d'agents et de solutions d'automatisation au service du contrôle de gestion de l'activité logistique. L'Analytics Engineer intégrera l'équipe sous la responsabilité du finance data & AI leader. Mission longue basée à Lille (hybride). L'Analytics Engineer sera responsable de la réadaptation d'un projet existant sur un outil en phase de décommissionnement, de l'analyse et la compréhension de l'architecture et des modèles, de la collaboration étroite avec le staff engineer, le software engineer et le leadership pour réadapter la solution sur la stack data cible. Il/elle conduira l'étude et la migration des sources de données vers la zone datalake cible, documentera les données et les règles de transformation existantes, concevra et développera des pipelines de données robustes et évolutifs, mettra en œuvre des règles de transformation complexes et s'assurera de la mise à disposition des données avec contrôles qualité et tests (unitaires, UAT). Compétences techniques demandées : expérience significative dans la mise en œuvre de pipeline de transformation de données avec dbt, SQL ; maîtrise des environnements de développement sur le Cloud (ex : AWS S3, DataBricks, etc.) ; maîtrise des outils de développement Git, Github, CI/CD ; data quality testing (Unit/Integration/Function/non regression, UAT). Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières

Notre client dans le secteur Banque et finance recherche un/une Senior Data Engineer H/F Description de la mission : ContexteNotre client recherche un Senior Data Engineer pour accompagner sa transformation Data, développer de nouveaux pipelines et industrialiser les flux existants sur un environnement Azure / Databricks. Missions :Concevoir, développer et déployer des pipelines Data pour le reporting et l'analytics Auditer, refondre et optimiser les pipelines existants Accompagner l'intégration des flux sur la plateforme Data Groupe Garantir la fiabilité, la performance et la maintenance des pipelines en production Mettre en œuvre les bonnes pratiques DataOps, CI/CD, monitoring et SRE Diagnostiquer les incidents et assurer leur résolution Collaborer avec les équipes Data, Architecture et Produit Documenter les solutions et accompagner la montée en compétences des équipes Compétences requises :Azure et Databricks : expertise confirmée Certification Databricks PRO obligatoire Python et SQL : niveau avancé Data Engineering : pipelines, architecture Lakehouse, Medallion et modélisation dimensionnelle Kafka : traitement de données événementielles DataOps / SRE : CI/CD, tests automatisés, monitoring et gestion des incidents Anglais courant obligatoire Compétences / Qualités indispensables : Azure, Databricks, Certification Databricks PRO, Python, SQL, Data Engineering, Kafka, DataOps / SRE , Anglais Compétences / Qualités qui seraient un + : /Informations concernant le télétravail : Oui — 2 jours/semaine

Contexte Dans le cadre de la migration de sa plateforme Data vers Databricks, notre client, un grand compte du secteur de l'énergie, souhaite disposer d'une vision complète des usages métiers de sa plateforme actuelle avant de lancer la bascule. Votre mission Recenser et documenter l'ensemble des cas d'usage data exploités par les équipes métier sur la plateforme existante (environ 50 cas d'usage identifiés) Mener les entretiens avec les utilisateurs et référents métier (au moins 50 rendez-vous) pour comprendre ce qu'ils font réellement avec la donnée : sources, traitements, fréquence, livrables produits, criticité, dépendances Faire le lien entre besoins métier et réalité technique (flux, jobs, tables, outils de restitution) Structurer et rédiger le livrable final : un document Word de recensement des cas d'usage, clair et exploitable pour préparer la migration Remonter les points d'attention et premiers éléments de priorisation

Qui sommes-nous ?Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery. Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en œuvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub Kubernetes / Azure AKS Helm Oozie CI/CD Développement Java Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données

La prestation demandée est une mission d'Ingénierie DevOps Data Platform au sein de l'équipe Socle Data Cloud, ayant pour objectif d'administrer, industrialiser et faire évoluer les plateformes Data de l'entreprise dans un environnement hybride On-Premise / Azure Cloud. L'enjeu principal est de faire d'Azure Databricks la plateforme centrale du Socle Data Cloud, en assurant son intégration avec les solutions existantes (Dataiku DSS, Dremio, Tableau Server, Cloudera/Hadoop, Power BI) et en garantissant des flux de données sécurisés et performants entre les environnements On-Premise et Azure. Gestion des obsolescences Suivi des cycles de vie des composants Data et Big Data. Réalisation des upgrades et migrations des plateformes. Intégration des évolutions Azure et Azure Databricks. Mise en conformité avec les standards de sécurité et de gouvernance. Livrables / Résultats attendus Contribution à l'évolution de l'architecture du Socle Data Cloud Azure. Déploiement et administration des environnements Azure Databricks. Mise en place et maintien des connexions entre les plateformes On-Premise (Dataiku, Dremio, Tableau, Cloudera/Hadoop) et Azure Databricks. Développement et maintenance des infrastructures automatisées via Terraform, Ansible et Azure DevOps. Industrialisation des déploiements et des pipelines CI/CD. Automatisation des tâches d'exploitation en Python et Bash. Mise en œuvre des mécanismes de sécurité Azure (Entra ID, Key Vault, gestion des accès). Supervision et observabilité des plateformes (Grafana, Prometheus, ELK/OpenSearch). Support N3 et optimisation des performances des environnements Data et Big Data. Production de la documentation technique et des bonnes pratiques d'exploitation et de gouvernance.

L'équipe est chargée de la gestion transversale et globale des outils dédiés aux filières éolienne, solaire et hydraulique, en étroite collaboration avec Engie Digital et les systèmes d'information (SI) des différentes zones géographiques ; elle recherche actuellement un ingénieur plateforme de données (Data Platform Engineer). La mission s'effectuera au sein de l'équipe « Digital Delivery » ; elle consistera à soutenir la gouvernance des données ainsi que la gestion de la plateforme Databricks, et à piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks. Les objectifs de la mission sont les suivants : - Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle) - Déployer et faire respecter la gouvernance des données appliquée à Databricks ainsi que les bonnes pratiques associées (structure du catalogue, organisation par domaines, règles d'accès et d'utilisation) - Piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks - Accompagner et soutenir les ingénieurs de données (data engineers) et les utilisateurs métiers (data citizens) dans l'utilisation de la plateforme - Intégrer les impératifs de cybersécurité, de conformité et de maîtrise des coûts dès la conception (« by design ») - Contribuer à la communauté informatique (échanges sur les bonnes pratiques, retours d'expérience, etc.) Activités principales : - Administration de la plateforme Databricks : administrer, surveiller et maintenir les espaces de travail (workspaces) Databricks (gestion technique et opérationnelle : espaces de travail, ressources de calcul, accès, coûts, sécurité, gestion des incidents) - Gouvernance des données sur Databricks : mettre en œuvre et faire évoluer le cadre de gouvernance des données sur la plateforme Databricks (structure du catalogue, organisation par domaines, règles d'accès, normes de nommage et de qualité) et garantir la conformité avec les politiques du Groupe - Migration depuis l'ancien « data lake » : piloter la migration des données de l'ancien « data lake » d'entreprise vers Databricks : évaluer le périmètre existant, définir l'architecture cible et la feuille de route, planifier et coordonner les vagues de migration avec les équipes « data », et sécuriser le basculement - Accompagnement et support des utilisateurs : accueillir et soutenir les nouveaux utilisateurs — des ingénieurs de données aux utilisateurs métiers — dans l'adoption de Databricks et l'application des bonnes pratiques ; Fournir de la documentation, du coaching et de la formation - DataOps sur Databricks : Concevoir et mettre en œuvre les pipelines permettant de promouvoir les actifs de données et le code entre les environnements Databricks (développement, test, production) et les catalogues, en utilisant l'intégration et le déploiement continus (CI/CD) basés sur Git ainsi que les outils natifs de Databricks (ex. : Databricks Asset Bundles), tout en encourageant l'adoption des pratiques DataOps au sein des équipes. - Veille technologique : Tester et évaluer les nouvelles fonctionnalités de Databricks (y compris les capacités d'IA) ainsi que les outils complémentaires, et recommander leur adoption. - Reporting et communication : Rendre compte de l'avancement de la plateforme et de la migration, et partager les meilleures pratiques ainsi que les retours d'expérience avec la communauté informatique. Principaux défis : • Adoption de la gouvernance : Amener les entités et les utilisateurs à adopter les normes définies en matière de catalogues, de domaines et d'accès, tout en garantissant une plateforme simple d'utilisation pour les utilisateurs métiers (« data citizens »). • Complexité de la migration : Migrer les données et les consommateurs de l'ancien « data lake » vers Databricks sans perturber les activités en cours, tout en préservant la qualité et la traçabilité (lignage) des données. • Équilibre entre exploitation (Run) et développement (Build) : Assurer la stabilité, la sécurité et la maîtrise des coûts de la plateforme tout en menant à bien la migration et en prenant en charge de nouveaux cas d'usage. Livrables attendus : ? Documentation sur la gouvernance et le modèle opérationnel : Structure des catalogues et des domaines, modèle d'accès, conventions de nommage et normes d'utilisation alignés sur les standards internes relatifs aux données et à l'IA. ? Plan de migration (de l'ancien data lake vers Databricks) et rapports d'avancement : Périmètre, priorisation, calendrier, risques et points de situation réguliers auprès des comités de pilotage. ? Supports d'intégration et de bonnes pratiques : Guides, modèles, architectures de référence (blueprints) et sessions de formation destinés aux ingénieurs de données et aux utilisateurs métiers. ? Rapports d'exploitation de la plateforme : Indicateurs de suivi, de coûts, de sécurité et de conformité de la plateforme Databricks.

Analytics Engineer Digital In Store 430 e par jour 3 ans minimum en Analytics/Data Engineering ou 5 ans en Data Analyse avec expérience Data Engineering. dbt, Airflow, Databricks, Python et SQL. Avoir une expérience significative dans des grands comptes, rigoureux Bonnes expériences en data Python SQL Bonne capacité d'adaptation excellente expression orale et ecrite. Mission en région Parisienne , avec des dlacements en provinces une fois par semaine exceptionnellement Analytics/Data Engineering ou 5 ans en Data Analyse avec expérience Data Engineering. dbt, Airflow, Databricks, Python et SQL. 430 e par jour

Mission : Full Stack Analytics (f/m/d) en prestation de service, basé·e à Lille (hybride), mission longue. Le·la consultant·e accompagnera une équipe en charge de la traçabilité produit pour identifier les opportunités d'impact business, quantifier les résultats et participer à la planification de la stratégie Analytics. Les activités principales comprennent la modélisation et l'industrialisation de pipelines de données (Analytics Engineering), la conception et la maintenance de modèles de données dans un data lakehouse, la production de tableaux de bord BI self-service et d'applications analytiques, la réalisation d'analyses d'impact et la définition de KPIs pertinents, ainsi que la mise en place de tests et du monitoring de la qualité et de la fraîcheur des données. Le rôle implique également la contribution au déploiement d'outils de Generative AI au sein des équipes métiers en coordination avec les équipes centrales et la proposition de solutions concrètes. Le·la titulaire devra faire le lien entre les parties prenantes métiers, produit et data, et accompagner l'upskilling des interlocuteurs métier. Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières

Contexte Nous recherchons pour notre client, une grande Maison internationale du secteur du luxe, un(e) Product Manager à dominante data. Il ou elle rejoindra l'équipe Data, qui développe des produits data au service des métiers. Vous serez le lien entre les équipes data et les directions Finance, Retail et Logistique, avec une vraie culture produit et une forte orientation valeur. Vos missions Définir la vision et la roadmap des produits data : dashboards, modèles de données, indicateurs de pilotage. Recueillir et prioriser les besoins des équipes Finance, Retail et Logistique, puis les traduire en user stories exploitables. Piloter le backlog et animer les cérémonies agiles avec les Data Engineers et Data Analysts. Définir et suivre les indicateurs de valeur et d'adoption des produits livrés. Garantir la cohérence des définitions et des KPI entre les différentes directions. Accompagner les utilisateurs métiers : adoption, formation, recueil des retours. Contribuer à l'identification de cas d'usage IA à valeur ajoutée, en appui des équipes dédiées.