Find your next tech and IT Job or contract Databricks

Vous serez développeur senior python au sein du pôle data d'une grande banque. Votre DSI sera en charge de tous les projets informatiques des filières ALM, risque de crédit et solvabilité. L'entité dont vous ferez partie est responsable de la maîtrise d'oeuvre et de la maîtrise d'ouvrage fonctionnelle des applications de la filière Risque relatives au calcul de risque de crédit (RWA Bâle II/III, ECL IFRS 9, ESG), au suivi des dossiers de crédit et à la consolidation des provisions. Le bénéficiaire souhaite mettre en oeuvre son socle technique ainsi qu'une nouvelle plateforme de calcul de métriques à disposition des métiers des directions centrales dans le cadre du programme ESG. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de conception et développement Dans ce cadre la prestation consiste à contribuer à/au(x) : - Développement (codes source et tests) en appliquant les pratiques craft (DDD, BDD, ATDD et TDD). - La mise en oeuvre de développements Backend Python. - La mise en place et le monitoring des environnements. - Livraisons et suivi de la production. - Support

L'équipe est chargée de la gestion transversale et globale des outils dédiés aux filières éolienne, solaire et hydraulique, en étroite collaboration avec Engie Digital et les systèmes d'information (SI) des différentes zones géographiques ; elle recherche actuellement un ingénieur plateforme de données (Data Platform Engineer). La mission s'effectuera au sein de l'équipe « Digital Delivery » ; elle consistera à soutenir la gouvernance des données ainsi que la gestion de la plateforme Databricks, et à piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks. Les objectifs de la mission sont les suivants : - Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle) - Déployer et faire respecter la gouvernance des données appliquée à Databricks ainsi que les bonnes pratiques associées (structure du catalogue, organisation par domaines, règles d'accès et d'utilisation) - Piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks - Accompagner et soutenir les ingénieurs de données (data engineers) et les utilisateurs métiers (data citizens) dans l'utilisation de la plateforme - Intégrer les impératifs de cybersécurité, de conformité et de maîtrise des coûts dès la conception (« by design ») - Contribuer à la communauté informatique (échanges sur les bonnes pratiques, retours d'expérience, etc.) Activités principales : - Administration de la plateforme Databricks : administrer, surveiller et maintenir les espaces de travail (workspaces) Databricks (gestion technique et opérationnelle : espaces de travail, ressources de calcul, accès, coûts, sécurité, gestion des incidents) - Gouvernance des données sur Databricks : mettre en œuvre et faire évoluer le cadre de gouvernance des données sur la plateforme Databricks (structure du catalogue, organisation par domaines, règles d'accès, normes de nommage et de qualité) et garantir la conformité avec les politiques du Groupe - Migration depuis l'ancien « data lake » : piloter la migration des données de l'ancien « data lake » d'entreprise vers Databricks : évaluer le périmètre existant, définir l'architecture cible et la feuille de route, planifier et coordonner les vagues de migration avec les équipes « data », et sécuriser le basculement - Accompagnement et support des utilisateurs : accueillir et soutenir les nouveaux utilisateurs — des ingénieurs de données aux utilisateurs métiers — dans l'adoption de Databricks et l'application des bonnes pratiques ; Fournir de la documentation, du coaching et de la formation - DataOps sur Databricks : Concevoir et mettre en œuvre les pipelines permettant de promouvoir les actifs de données et le code entre les environnements Databricks (développement, test, production) et les catalogues, en utilisant l'intégration et le déploiement continus (CI/CD) basés sur Git ainsi que les outils natifs de Databricks (ex. : Databricks Asset Bundles), tout en encourageant l'adoption des pratiques DataOps au sein des équipes. - Veille technologique : Tester et évaluer les nouvelles fonctionnalités de Databricks (y compris les capacités d'IA) ainsi que les outils complémentaires, et recommander leur adoption. - Reporting et communication : Rendre compte de l'avancement de la plateforme et de la migration, et partager les meilleures pratiques ainsi que les retours d'expérience avec la communauté informatique. Principaux défis : • Adoption de la gouvernance : Amener les entités et les utilisateurs à adopter les normes définies en matière de catalogues, de domaines et d'accès, tout en garantissant une plateforme simple d'utilisation pour les utilisateurs métiers (« data citizens »). • Complexité de la migration : Migrer les données et les consommateurs de l'ancien « data lake » vers Databricks sans perturber les activités en cours, tout en préservant la qualité et la traçabilité (lignage) des données. • Équilibre entre exploitation (Run) et développement (Build) : Assurer la stabilité, la sécurité et la maîtrise des coûts de la plateforme tout en menant à bien la migration et en prenant en charge de nouveaux cas d'usage. Livrables attendus : ? Documentation sur la gouvernance et le modèle opérationnel : Structure des catalogues et des domaines, modèle d'accès, conventions de nommage et normes d'utilisation alignés sur les standards internes relatifs aux données et à l'IA. ? Plan de migration (de l'ancien data lake vers Databricks) et rapports d'avancement : Périmètre, priorisation, calendrier, risques et points de situation réguliers auprès des comités de pilotage. ? Supports d'intégration et de bonnes pratiques : Guides, modèles, architectures de référence (blueprints) et sessions de formation destinés aux ingénieurs de données et aux utilisateurs métiers. ? Rapports d'exploitation de la plateforme : Indicateurs de suivi, de coûts, de sécurité et de conformité de la plateforme Databricks.

Data Engineer Senior — Databricks — Descriptif du poste Dans le cadre du développement de nos activités data, nous recrutons un Data Engineer Senior spécialisé sur la plateforme Databricks. Vous intervenez sur la conception et l'industrialisation de plateformes de données lakehouse : vous cadrez les besoins avec les équipes métiers, vous définissez les architectures cibles, vous construisez les pipelines d'ingestion et de transformation, et vous assurez leur mise en production ainsi que leur optimisation en coût et en performance. Vous êtes l'interlocuteur technique direct des équipes métiers sur votre périmètre et vous accompagnez la montée en compétences des profils plus juniors. — Parmi vos missions 🛠 Concevoir et industrialiser les plateformes de données sur Databricks Concevoir des architectures lakehouse en couches (bronze / silver / gold) sur Delta Lake Développer et optimiser les pipelines d'ingestion et de transformation en PySpark et en SQL Industrialiser les traitements avec Databricks Workflows, Delta Live Tables et une chaîne CI/CD Optimiser les coûts et les performances : dimensionnement des clusters, partitionnement, Photon, gestion du cache Mettre en place la gouvernance et la qualité des données Structurer Unity Catalog : catalogues, schémas, gestion des droits, lignage Définir les règles de qualité, les tests et le monitoring des pipelines en production Documenter les modèles de données et les contrats d'interface avec les systèmes amont et aval Cadrer les besoins avec les équipes métiers Animer les ateliers de recueil de besoins et traduire les exigences en solutions data Préconiser les architectures cibles et arbitrer les choix techniques (batch ou streaming, build ou buy) Présenter et défendre vos recommandations auprès des interlocuteurs techniques comme métiers Piloter la livraison et faire monter l'équipe en compétences Piloter un lot de bout en bout : conception, chiffrage, livraison, respect des délais Encadrer les profils juniors en revue de code et en pair programming Diffuser les bonnes pratiques d'engineering : versioning, tests, revue, documentation — Modalités pratiques Lieu : Ile de France Type de contrat : CDI Date de démarrage : A définir Télétravail : Fonction des contraintes opérationnelles (en moyenne : 2 jours)

La fonction FP&A d'un client se transforme avec la mise en place d'agents et de solutions d'automatisation au service du contrôle de gestion de l'activité logistique. L'Analytics Engineer intégrera l'équipe sous la responsabilité du finance data & AI leader. Mission longue basée à Lille (hybride). L'Analytics Engineer sera responsable de la réadaptation d'un projet existant sur un outil en phase de décommissionnement, de l'analyse et la compréhension de l'architecture et des modèles, de la collaboration étroite avec le staff engineer, le software engineer et le leadership pour réadapter la solution sur la stack data cible. Il/elle conduira l'étude et la migration des sources de données vers la zone datalake cible, documentera les données et les règles de transformation existantes, concevra et développera des pipelines de données robustes et évolutifs, mettra en œuvre des règles de transformation complexes et s'assurera de la mise à disposition des données avec contrôles qualité et tests (unitaires, UAT). Compétences techniques demandées : expérience significative dans la mise en œuvre de pipeline de transformation de données avec dbt, SQL ; maîtrise des environnements de développement sur le Cloud (ex : AWS S3, DataBricks, etc.) ; maîtrise des outils de développement Git, Github, CI/CD ; data quality testing (Unit/Integration/Function/non regression, UAT). Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières

Contexte Pour un acteur majeur disposant d'enjeux forts autour de la logistique et de la supply chain, nous recherchons un Data Architect pour concevoir et faire évoluer des solutions data complexes. Vous interviendrez dans un environnement Cloud techniquement mature pour accompagner la structuration et la scalabilité des architectures de données. Ce rôle stratégique nécessite une vision d'ensemble couplée à une solide gouvernance IT, afin d'aligner les feuilles de route technologiques sur des exigences métiers exigeantes. Vos missions Concevoir des solutions Analytics et Advanced Analytics scalables (traitements batch, event-driven, architecture Medallion). Modéliser les données aux niveaux conceptuel, logique et physique dans une approche orientée domaine (Domain-Driven). Définir les standards d'architecture, les architectures cibles et les trajectoires technologiques. Animer les revues d'architecture et garantir une gouvernance IT rigoureuse. Créer des data products, des modèles de données canoniques, des flux et des patterns d'intégration réutilisables. Sécuriser la gestion des accès, des métadonnées et le cycle de vie de l'information. Traduire les besoins métiers en décisions d'architecture pragmatiques en collaborant avec les Product Managers et les ingénieurs. Mentorer les équipes techniques pour accroître la maturité architecturale et l'alignement global des pratiques. Environnement technique Azure, Databricks, Data Lakehouse, SQL, Delta Lake, Python, Spark, API, intégration event-driven, ETL/ELT, outils d'IA (assistance au développement).

Contexte Dans le cadre de la migration de sa plateforme Data vers Databricks, notre client, un grand compte du secteur de l'énergie, souhaite disposer d'une vision complète des usages métiers de sa plateforme actuelle avant de lancer la bascule. Votre mission Recenser et documenter l'ensemble des cas d'usage data exploités par les équipes métier sur la plateforme existante (environ 50 cas d'usage identifiés) Mener les entretiens avec les utilisateurs et référents métier (au moins 50 rendez-vous) pour comprendre ce qu'ils font réellement avec la donnée : sources, traitements, fréquence, livrables produits, criticité, dépendances Faire le lien entre besoins métier et réalité technique (flux, jobs, tables, outils de restitution) Structurer et rédiger le livrable final : un document Word de recensement des cas d'usage, clair et exploitable pour préparer la migration Remonter les points d'attention et premiers éléments de priorisation

Bonjour, je recherche pour l'un de mes clients un(e) devOps / data engineer DATABRICKS. Skills : Databricks - AWS - Java Mission : -gérer l'infrastructure Cloud (AWS) -automatiser les déploiements -concevoir, développer, déployer et maintenir des pipelines de traitement de données sur la plateforme Databricks -développer et optimiser des traitements distribués avec Apache Spark afin de garantir la performance et la fiabilité des flux de données -développer et maintenir des API et des services avec Spring Boot N'hésitez pas à revenir vers moi pour des informations complémentaires.

En charge de l'expertise technique des solutions Data et IA, vous aurez la responsabilité d'assurer la cohérence de l'intégration des produits dans le respect des règles de sécurité et de l'architecture du SI. Dans le cadre des équipes OPS DATA / IA du client vous aurez un lien fonctionnel étroit avec les équipes métiers et les équipes de la filière TSI DATA et TSI IA. La mission d'expertise aura pour but d'assurer la cohérence des solutions dans l'environnement actuel et la transformation des solutions pour les maintenir up to date avec l'état de l'art du marché. Vous assurerez le support Niveau 2 du périmètre aux équipes de production. • Responsabilités : Contribuer au bon déroulement des différentes phases du projet, et dans ce cadre vous assurerez : • Contribuer aux projets informatiques sur les dimensions qui relèvent du champ d'expertise Data / IA. • Conseiller et assister dans le choix et la mise en œuvre des solutions retenues • Assurer l'exploitabilité dans le respect des règles de sécurité et d'architecture du SI. • Garantir la pertinence et la pérennité des solutions techniques et/ou fonctionnelles dont vous aurez la charge afin de permettre l'évolution et le maintien en condition opérationnelle de la solution. • Garantir que les moyens de mesure de qualité de services sont opérationnels et disponibles (Quantification/Qualimétrie de fonctionnement)

Qui sommes-nous ?Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery. Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en œuvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub Kubernetes / Azure AKS Helm Oozie CI/CD Développement Java Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données

Connaissance de la Suite Office 365, en particulier Excel et PowerBI Bonne connaissance sur power automate Maitrise de JIRA pour gérer les tickets de travaux Maitrise absolue d'Unity Catalog (Co admin du metastore France en PRODUCTION) TRES bon niveau sous databricks (co admin workspace en PRODUCTION) Connaissance de SQL, XML, JSON La mission nécessite des connaissances SI fortes. Une expérience en gestion d'application, de préférence dans un contexte BIGDATA. Il serait apprécié que le titulaire de la mission connaisse certains outils Bigdata tel que Azure, Databricks, Azure blob storage, Powerbi , PowerAutomate, PowerApp. La maitrise d'au moins un de ces éléments sera un plus. Environnement Technique Azure Power BI DATABRICKS Power Automate

Le consultant interviendra sur la gestion et la réalisation de projets IT dans le domaine des marchés de capitaux, en collaboration étroite avec les équipes Front Office, Operations, Risk, Compliance, Data Management et ESG, ainsi qu'avec les équipes IT internes et les partenaires externes. Responsabilités principales : Analyse métier et gestion de projets - Recueillir et analyser les besoins métiers - Traduire les besoins en exigences fonctionnelles - Proposer des solutions adaptées en collaboration avec les équipes IT - Rédiger les spécifications fonctionnelles - Participer aux phases de tests et de recette - Piloter les projets de la conception jusqu'à la mise en production - Suivre le périmètre, la qualité, les délais, le budget et les dépendances - Assurer le reporting et le suivi d'avancement auprès des parties prenantes Collaboration et gestion des connaissances - Collaborer avec différentes équipes métiers et techniques - Maintenir et développer la connaissance fonctionnelle et technique de la plateforme - Faire le lien entre les utilisateurs métiers, les équipes techniques et les fournisseurs externes Gouvernance et communication - Préparer les reportings d'activité - Organiser et animer les comités de pilotage et ateliers métiers - Faciliter la communication entre les différentes parties prenantes Applications concernées : Fusion Invest, Seismic, Bloomberg PORT, Adjuto, DataHub, Databricks, Applications développées en interne

Je recrute un Lead Data Engineer - Microsoft Fabric / Azure Databricks Je recherche un profil Lead Data Engineer senior (7+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Je recherche un Lead Data Engineer senior (10+ ans d'expérience) capable de combiner expertise technique, architecture Data et posture de consultant. Prérequis indispensables * Expertise hands-on Microsoft Fabric ET/OU Azure Databricks * Solide maîtrise de l'écosystème Data Microsoft / Azure * Expérience en architecture de plateformes Data modernes * Anglais courant / fluent * Excellente posture client : workshops, conseil, communication avec les stakeholders et leadership technique ⚠️ Microsoft Fabric ou Azure Databricks est indispensable. Si vous n'avez travaillé sur aucune de ces deux technologies, inutile de postuler à cette opportunité. Les sujets * Concevoir des plateformes Data greenfield * Moderniser des environnements Data & BI existants * Piloter techniquement des migrations vers le Cloud * Définir et challenger les choix d'architecture * Encadrer les équipes techniques * Intervenir comme référent Data & Analytics en avant-vente Je cherche donc quelqu'un qui ne soit pas uniquement un très bon Data Engineer : il faut pouvoir porter une architecture, challenger un client, prendre le lead techniquement et embarquer une équipe. 📍 CDI - 100 % full remote, avec une localisation obligatoire en France. 📩 Intéressé(e) ? Envoyez-moi directement votre CV en MP. #DataEngineering #MicrosoftFabric #AzureDatabricks #Azure #DataArchitecture #LeadDataEngineer #Microsoft Montreal Associates is acting as an Employment Agency in relation to this vacancy.

Analytics Engineer Digital In Store 430 e par jour 3 ans minimum en Analytics/Data Engineering ou 5 ans en Data Analyse avec expérience Data Engineering. dbt, Airflow, Databricks, Python et SQL. Avoir une expérience significative dans des grands comptes, rigoureux Bonnes expériences en data Python SQL Bonne capacité d'adaptation excellente expression orale et ecrite. Mission en région Parisienne , avec des dlacements en provinces une fois par semaine exceptionnellement Analytics/Data Engineering ou 5 ans en Data Analyse avec expérience Data Engineering. dbt, Airflow, Databricks, Python et SQL. 430 e par jour

Objectif de la mission Dans le cadre de l'évolution des systèmes d'information d'un acteur de l'Asset Management, nous recherchons un Business Analyst technico fonctionnel disposant d'une expertise opérationnelle confirmée de BlackRock Aladdin, particulièrement sur la création, la gestion et le cycle de vie des instruments financiers. La mission s'inscrit au sein d'une équipe responsable des évolutions des référentiels de données d'investissement. L'objectif est d'accompagner les besoins métiers, de sécuriser les évolutions fonctionnelles du référentiel instruments et de fiabiliser les données utilisées par les différentes applications de gestion. Le consultant interviendra également dans la montée en compétence des équipes sur Aladdin, en apportant une connaissance concrète de ses fonctionnalités, de ses objets et de ses contraintes. Aladdin représentera environ 60 % du périmètre, les autres activités concernant différentes évolutions fonctionnelles et Data. Prestations demandées 1. Gestion des instruments financiers dans Aladdin Participer à la création, à la gestion et aux modifications d'instruments financiers dans Aladdin. Comprendre et accompagner les différentes étapes du Securities Lifecycle. Identifier les écrans, les objets fonctionnels, les attributs et les données nécessaires aux opérations. Analyser les demandes d'évolution du référentiel instruments et leurs impacts fonctionnels. Identifier les contraintes de la plateforme et les solutions envisageables. 2. Business Analysis et évolutions fonctionnelles Recueillir et analyser les besoins des utilisateurs métiers. Étudier les données disponibles, les champs manquants et les évolutions nécessaires. Formaliser les règles de gestion et rédiger les spécifications fonctionnelles détaillées. Présenter les besoins aux équipes de développement et contribuer à la définition des solutions. Participer aux tests, aux recettes et au suivi des évolutions jusqu'à leur mise en production. 3. Flux de données, SQL et contrôles Analyser les flux d'alimentation d'Aladdin et identifier leurs sources. Comprendre les transformations, les enrichissements et les règles d'intégration des données. Utiliser SQL pour réaliser des extractions, des jointures, des rapprochements et des analyses d'anomalies. Contribuer à la fiabilisation des données instruments et aux contrôles de qualité. Participer à l'automatisation de certains contrôles lorsque cela est pertinent. 4. Accompagnement et expertise fonctionnelle Apporter une expertise opérationnelle d'Aladdin aux équipes métiers et techniques. Faciliter la compréhension des écrans, du vocabulaire et des fonctionnalités de l'application. Partager les bonnes pratiques et contribuer à l'autonomie progressive des collaborateurs. Intervenir sur d'autres évolutions des référentiels de données selon les priorités de l'équipe. Secteur d'activité Asset Management / Gestion d'actifs. Calendrier Démarrage souhaité : 23 novembre 2026. Durée initiale : 6 mois. Renouvellement : envisagé selon les besoins, sans garantie contractuelle. Compétences requises Secteurs : Asset Management. Métiers : Business Analyst Aladdin, Consultant fonctionnel Aladdin, Business Analyst Référentiel Instruments. Périmètre fonctionnel : instruments financiers, Security Master, créations et modifications, données de référence, Securities Lifecycle, attributs instruments, règles de gestion, flux et contrôles de qualité. Réglementation : connaissance de SFDR et des données Responsible Investment appréciée. Solution / outil : BlackRock Aladdin et SQL indispensables. FactSet, Bloomberg et Databricks appréciés.