Find your next tech and IT Job or contract Databricks

Notre client dans le secteur Banque et finance recherche un/une Senior Data Engineer H/F Description de la mission : ContexteNotre client recherche un Senior Data Engineer pour accompagner sa transformation Data, développer de nouveaux pipelines et industrialiser les flux existants sur un environnement Azure / Databricks. Missions :Concevoir, développer et déployer des pipelines Data pour le reporting et l'analytics Auditer, refondre et optimiser les pipelines existants Accompagner l'intégration des flux sur la plateforme Data Groupe Garantir la fiabilité, la performance et la maintenance des pipelines en production Mettre en œuvre les bonnes pratiques DataOps, CI/CD, monitoring et SRE Diagnostiquer les incidents et assurer leur résolution Collaborer avec les équipes Data, Architecture et Produit Documenter les solutions et accompagner la montée en compétences des équipes Compétences requises :Azure et Databricks : expertise confirmée Certification Databricks PRO obligatoire Python et SQL : niveau avancé Data Engineering : pipelines, architecture Lakehouse, Medallion et modélisation dimensionnelle Kafka : traitement de données événementielles DataOps / SRE : CI/CD, tests automatisés, monitoring et gestion des incidents Anglais courant obligatoire Compétences / Qualités indispensables : Azure, Databricks, Certification Databricks PRO, Python, SQL, Data Engineering, Kafka, DataOps / SRE , Anglais Compétences / Qualités qui seraient un + : /Informations concernant le télétravail : Oui — 2 jours/semaine

Nous recherchons un(e) Expert Databricks / Power BI H/F capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : d11rpyujmh

Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineering disposant d'une expertise avancée sur Databricks, PySpark et Unity Catalog. Le consultant interviendra comme référent technique pour accompagner les équipes dans la conception, le développement et l'industrialisation des solutions Data. MissionsPiloter les choix techniques et accompagner la conception des architectures Data sur Databricks. Concevoir, développer et optimiser les pipelines de traitement de données avec PySpark et Spark SQL. Mettre en œuvre et administrer Unity Catalog pour structurer la gouvernance, la gestion des accès et la traçabilité des données. Garantir la qualité, la performance et la fiabilité des traitements Data, notamment sur les environnements Delta Lake. Encadrer techniquement les Data Engineers, réaliser les revues de code et diffuser les bonnes pratiques de développement. Accompagner l'industrialisation des pipelines, l'automatisation des déploiements et l'intégration des pratiques CI/CD.

Contexte Dans le cadre de notre croissance, Hexateam recrute deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Nous recherchons un Data Engineer Databricks / Dev Python pour rejoindre notre équipe dynamique. Résumé du poste : Ce rôle est essentiel pour accompagner les équipes sur des projets à forte valeur ajoutée autour de la data. Le candidat idéal aura une expérience significative en Databricks et Python, et sera capable de concevoir des solutions robustes tout en formant les utilisateurs. Principales responsabilités : Accompagner les équipes sur des projets à forte valeur ajoutée autour de la data. Intervenir au cœur de l'écosystème data pour concevoir, développer et maintenir des solutions robustes sur Databricks. Développer des notebooks Python (PySpark), SQL et R. Documenter les développements pour assurer leur maintenabilité. Industrialiser les notebooks incluant jobs, workflows et automatisation. Exigences clés : Minimum 5 ans d'expérience dans un rôle similaire. Expertise avancée sur Databricks et Python. Anglais courant requis. Capacité à travailler dans un environnement technique dynamique. Disponibilité pour travailler 2 jours sur site obligatoire. Qualifications complémentaires : Connaissance de l'environnement Cloud. Expérience avec les outils de visualisation de données. Détails supplémentaires : Ce poste est basé sur site 2 jours par semaine et nécessite une collaboration étroite avec différentes équipes pour garantir des livrables de qualité sur des projets complexes.

La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks. Le consultant sera notamment chargé de : Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions

Au sein d'une équipe Master Data Management (MDM), vous participerez à la conception et au développement de solutions de connectivité entre les applications de référentiels et les plateformes de distribution de données, notamment Snowflake et Databricks, en limitant les dépendances technologiques. Vous interviendrez sur l'analyse des besoins métiers, les études de faisabilité, la rédaction des spécifications, l'implémentation des solutions, les recettes et la maintenance corrective et évolutive. Référent sur les projets transverses du périmètre MDM, vous contribuerez aux choix d'architecture, coordonnerez les travaux et les plannings, animerez les comités de suivi et assurerez le reporting ainsi que la documentation et le support aux utilisateurs, dans un environnement international lié à la gestion d'actifs et aux référentiels financiers.

Bonjour à tous 😀 Nous recherchons un Architecte Data Senior – Databricks / Unity Catalog (H/F) Dans le cadre d'une potentielle mission chez l'un de nos clients, nous recherchons un Architecte Data Senior pour intervenir au sein du pôle Big Data de la DSI. 📌 Contexte de la mission : Vous interviendrez sur des projets Big Data intégrant différents cas d'usage autour de l'ingestion, du traitement et de l'exposition des données, ainsi que sur l'administration et la gestion des environnements de production. 🔎 Profil recherché : Expérience confirmée en architecture Data et environnements Big Data. Minimum 8 ans d'expériences. Maîtrise indispensable de Databricks en environnement de production. Maîtrise avancée d'Unity Catalog, notamment sur l'administration du metastore. Expérience en administration de workspace Databricks en production. Bonne connaissance de SQL, XML et JSON. Connaissance de Jira et de la suite Office 365, notamment Excel et Power BI. Une expérience sur Azure, Azure Blob Storage, Power Automate ou Power Apps serait un plus. 📍 Modalités : Démarrage prévisionnel : début décembre 2026. Mission longue durée. Temps plein. 2 jours de TT/Semaine Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé ou à partager cette annonce autour de vous !

Description des Besoins Enjeux et objectifs Un profil avec des connaissances sur les technologies Microsoft BI (SSIS, SSRS et SSAS) ainsi que la maitrise du SQL, doté d'un bon relationnel et ayant la volonté de travailler en équipe. Le profil devra avoir une capacité et une volonté de montée en charge et disposer d'un sens logique avancé. Par ailleurs il devra maitriser les composantes suivantes : · DataViz : rapports dynamiques et Power BI · Datawarehouse : conception et modélisation (DataBricks ) · Base de Données : SQL Server · ETL/ELT: SSIS Description des prestations et résultats attendus Description détaillée des tâches o Migration entrepôt legacy BDD o Migration Datahub BDD o Migration des ETL SSIS o Migration de procédures stockées o Migration DataViz SSRS, SSAS et power bi

Contexte de la mission Le client recherche un Business Analyst expérimenté en marchés de capitaux pour renforcer son équipe IT et participer au développement et au maintien de sa plateforme Capital Market Strategies (CMS). Le consultant interviendra à l'interface entre les équipes métiers et les équipes IT. Il collaborera notamment avec les équipes Front Office, Opérations, Risques, Conformité, Data Management et ESG, ainsi qu'avec des partenaires externes. Il sera rattaché au responsable IT CMS. Missions principales 1. Analyse métier et gestion de projets - Recueillir et analyser les besoins métiers. - Traduire les besoins en exigences fonctionnelles. - Proposer des solutions techniques en coordination avec les équipes IT. - Rédiger les spécifications fonctionnelles. - Accompagner les phases de tests et de recette. - Piloter les projets de la conception jusqu'à la mise en production. - Suivre les délais, le budget, la qualité, le périmètre et les dépendances. - Assurer le suivi de l'avancement et communiquer régulièrement avec les parties prenantes. 2. Coordination et gestion des connaissances - Collaborer avec les différentes équipes et les interlocuteurs situés sur plusieurs sites. - Assurer la transmission et la documentation des connaissances fonctionnelles et techniques. - Faire le lien entre les utilisateurs métiers, les équipes techniques et les prestataires externes. - Contribuer à la pérennité et à l'évolution de la plateforme. 3. Gouvernance et communication - Préparer les reportings d'activité à destination des équipes internes et du management. - Organiser et animer les comités de pilotage. - Préparer et animer des ateliers avec les équipes métiers. - Faciliter la communication entre les différentes parties prenantes tout au long du projet. Compétences techniques et fonctionnelles Compétences indispensables : - Bonne maîtrise des marchés de capitaux (Capital Markets). - Bonne connaissance des instruments financiers, notamment des produits de taux (Fixed Income). - Expérience confirmée dans le secteur de la gestion d'actifs (Asset Management). - Bonne compréhension du cycle de vie applicatif : recueil des besoins, conception, développement, livraison et support. - Expérience en interrogation de bases de données, transformation de données et automatisation. - Connaissance des environnements Data Hub. Applications et outils concernés : - Fusion Invest - Seismic - Bloomberg PORT - Adjuto - DataHub - Databricks - Applications internes du client

ContexteDans le cadre du renforcement d'une équipe technique transverse intervenant sur un périmètre d'une quinzaine d'applications Data, nous recherchons 4 Data Engineers Séniors, capables d'intervenir principalement sur des activités de RUN, tout en pouvant ponctuellement contribuer aux activités BUILD. L'objectif est de renforcer la fiabilité et l'exploitation des applications Data tout en assurant une continuité forte entre développement, mise en production et RUN. Nous recherchons avant tout des Data Engineers expérimentés, avec une réelle culture de la production et du DevOps, et non des profils DevOps infrastructure purs. MissionsRUN & support techniqueAnalyser et résoudre les incidents de production. Diagnostiquer les anomalies sur les traitements, jobs et pipelines Data. Identifier et traiter les problèmes récurrents. Participer à la fiabilisation des applications et traitements Data. DevOps & automatisationAméliorer les processus de déploiement et de mise en production. Industrialiser et automatiser les tâches d'exploitation. Contribuer à la fiabilisation des déploiements et traitements Data. Participer à l'amélioration continue des pratiques RUN/BUILD. Supervision & monitoringAméliorer les mécanismes de supervision et d'alerting. Intégrer les dispositifs de contrôle directement dans les jobs et pipelines Data. Faciliter la détection, l'analyse et le diagnostic des anomalies. Maintien en conditions opérationnellesGérer les changements techniques. Participer à la sécurisation des environnements. Assurer la gestion des secrets applicatifs. Maintenir et améliorer la documentation d'exploitation. Renfort BUILDIntervenir ponctuellement sur les développements Data Engineering. Apporter une expertise technique aux équipes projets. Contribuer aux développements et à la sécurisation des livraisons lors des pics de charge.

Nous recherchons actuellement un Administrateur dataplateforme/Workspace/ Expert databricks pour une mission longue dans le secteur de l'énergie ! Missions & Stack technique : Administration Databricks & Workspaces : Administrer les workspaces et ressources de calcul, gérer les habilitations, appliquer les politiques de sécurité, suivre les coûts et assurer le support opérationnel (RUN). Gouvernance Data (Unity Catalog) : Structurer et déployer Unity Catalog, organiser les catalogues/schémas, définir les règles d'accès, les conventions de nommage et garantir la qualité des données. Migration Data Lake Legacy : Analyser l'existant, concevoir l'architecture cible, définir la stratégie de migration par vagues et coordonner les bascules sans interruption de service. Industrialisation & DataOps : Mettre en place et maintenir des pipelines CI/CD avec Git et Databricks Asset Bundles, et automatiser les déploiements (Dev, Test, Prod). Développement & Qualité : Industrialiser les pipelines de données avec Python et Apache Spark, et optimiser la modélisation et la fiabilité des flux. Accompagnement & Documentation : Rédiger la documentation technique (guides, blueprints) et accompagner la montée en compétences des Data Engineers et profils métiers (Data Citizens). (Compétences appréciées : Terraform avec provider Databricks, Cloud AWS/Azure, briques IA / GenAI intégrées).

La prestation demandée est une mission d'Ingénierie DevOps Data Platform au sein de l'équipe Socle Data Cloud, ayant pour objectif d'administrer, industrialiser et faire évoluer les plateformes Data de l'entreprise dans un environnement hybride On-Premise / Azure Cloud. L'enjeu principal est de faire d'Azure Databricks la plateforme centrale du Socle Data Cloud, en assurant son intégration avec les solutions existantes (Dataiku DSS, Dremio, Tableau Server, Cloudera/Hadoop, Power BI) et en garantissant des flux de données sécurisés et performants entre les environnements On-Premise et Azure. Gestion des obsolescences Suivi des cycles de vie des composants Data et Big Data. Réalisation des upgrades et migrations des plateformes. Intégration des évolutions Azure et Azure Databricks. Mise en conformité avec les standards de sécurité et de gouvernance. Livrables / Résultats attendus Contribution à l'évolution de l'architecture du Socle Data Cloud Azure. Déploiement et administration des environnements Azure Databricks. Mise en place et maintien des connexions entre les plateformes On-Premise (Dataiku, Dremio, Tableau, Cloudera/Hadoop) et Azure Databricks. Développement et maintenance des infrastructures automatisées via Terraform, Ansible et Azure DevOps. Industrialisation des déploiements et des pipelines CI/CD. Automatisation des tâches d'exploitation en Python et Bash. Mise en œuvre des mécanismes de sécurité Azure (Entra ID, Key Vault, gestion des accès). Supervision et observabilité des plateformes (Grafana, Prometheus, ELK/OpenSearch). Support N3 et optimisation des performances des environnements Data et Big Data. Production de la documentation technique et des bonnes pratiques d'exploitation et de gouvernance.

Recherche : Data Engineer. Mission longue, localisation : Lille (hybride). Dans ce rôle, vous implémenterez des solutions à partir des règles fonctionnelles établies par le Product Manager / Data Owner. Vous documenterez les règles de qualité décrites dans Collibra pour valider les datasets. Vous partirez des templates génériques pour construire des pipelines scalables de données structurées et transformerez la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform. Vous répondrez aux questions des utilisateurs ainsi qu'à l'équipe de datavisualisation sur les données mises à disposition, serez capable d'intervenir sur l'ensemble des flux de l'équipe, documenterez les flux implémentés et contribuerez à l'amélioration des bonnes pratiques de développement au sein de l'équipe (Mob programming, Test Driven Development, ...). Vous contribuerez également à la communauté de data engineers. Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières