Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.

Qui sommes-nous ?Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery. Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en œuvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub Kubernetes / Azure AKS Helm Oozie CI/CD Développement Java Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données

Nous recherchons un Business Analyst orienté DATA pour intervenir sur des projets liés à l'environnement Poste de Travail et à l'exploitation des données. Compétences techniques indispensablesAzure Data Factory (ADF) : maîtrise des pipelines d'intégration et de transformation des données. Azure Data Lake : maîtrise du stockage et de la gestion des données. Azure Databricks : connaissance approfondie du traitement et de la transformation des données. Power BI : maîtrise de la conception de tableaux de bord, du reporting et de la visualisation des données.

Un acteur majeur du secteur de la grande distribution vous propose de rejoindre sa Digital Factory Supply Chain pour piloter la transformation de son architecture data et de sa gouvernance Supply Chain. Vous intervenez sur un projet stratégique visant à centraliser, fiabiliser et valoriser l'ensemble des données d'approvisionnement, de commande en magasin à la gestion des fournisseurs, en passant par la préparation en entrepôt et le transport vers les points de vente. Dans ce contexte de modernisation technologique, vous travaillez sur un Data Lake centralisé (Phenix/Darwin) hébergé en Google Cloud Platform. L'enjeu principal consiste à structurer les flux de données, à automatiser les extractions et les diffusions aux métiers, et à délivrer des indicateurs fiables et actionnables aux décideurs. Le projet s'inscrit dans une démarche Agile, impliquant une collaboration étroite avec les équipes métier, les architectes data et les développeurs. Responsabilités : - Concevoir et optimiser des modèles sémantiques et des référentiels de données unifiés pour couvrir l'ensemble de la Supply Chain - Rédiger, tester et optimiser des requêtes SQL/BigQuery complexes pour extraire, transformer et charger les données du Data Lake - Développer des pipelines automatisés d'extraction, de transformation et de push de données vers les utilisateurs métier - Créer et maintenir des tableaux de bord interactifs et performants sous Looker Studio ou Tableau, en phase avec les besoins métier - Identifier, calculer et suivre les KPI critiques pour le pilotage opérationnel et stratégique - Documenter les flux de données migrés, les règles de gestion et les dépendances techniques - Accompagner les métiers dans l'appropriation et l'utilisation des données et des reportings - Participer aux rituels Agile et aux revues de qualité des données Télétravail : 3 jours par semaine Localisation : Massy, Lyon, Metz, Mondeville

L'équipe est chargée de la gestion transversale et globale des outils dédiés aux filières éolienne, solaire et hydraulique, en étroite collaboration avec Engie Digital et les systèmes d'information (SI) des différentes zones géographiques ; elle recherche actuellement un ingénieur plateforme de données (Data Platform Engineer). La mission s'effectuera au sein de l'équipe « Digital Delivery » ; elle consistera à soutenir la gouvernance des données ainsi que la gestion de la plateforme Databricks, et à piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks. Les objectifs de la mission sont les suivants : - Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle) - Déployer et faire respecter la gouvernance des données appliquée à Databricks ainsi que les bonnes pratiques associées (structure du catalogue, organisation par domaines, règles d'accès et d'utilisation) - Piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks - Accompagner et soutenir les ingénieurs de données (data engineers) et les utilisateurs métiers (data citizens) dans l'utilisation de la plateforme - Intégrer les impératifs de cybersécurité, de conformité et de maîtrise des coûts dès la conception (« by design ») - Contribuer à la communauté informatique (échanges sur les bonnes pratiques, retours d'expérience, etc.) Activités principales : - Administration de la plateforme Databricks : administrer, surveiller et maintenir les espaces de travail (workspaces) Databricks (gestion technique et opérationnelle : espaces de travail, ressources de calcul, accès, coûts, sécurité, gestion des incidents) - Gouvernance des données sur Databricks : mettre en œuvre et faire évoluer le cadre de gouvernance des données sur la plateforme Databricks (structure du catalogue, organisation par domaines, règles d'accès, normes de nommage et de qualité) et garantir la conformité avec les politiques du Groupe - Migration depuis l'ancien « data lake » : piloter la migration des données de l'ancien « data lake » d'entreprise vers Databricks : évaluer le périmètre existant, définir l'architecture cible et la feuille de route, planifier et coordonner les vagues de migration avec les équipes « data », et sécuriser le basculement - Accompagnement et support des utilisateurs : accueillir et soutenir les nouveaux utilisateurs — des ingénieurs de données aux utilisateurs métiers — dans l'adoption de Databricks et l'application des bonnes pratiques ; Fournir de la documentation, du coaching et de la formation - DataOps sur Databricks : Concevoir et mettre en œuvre les pipelines permettant de promouvoir les actifs de données et le code entre les environnements Databricks (développement, test, production) et les catalogues, en utilisant l'intégration et le déploiement continus (CI/CD) basés sur Git ainsi que les outils natifs de Databricks (ex. : Databricks Asset Bundles), tout en encourageant l'adoption des pratiques DataOps au sein des équipes. - Veille technologique : Tester et évaluer les nouvelles fonctionnalités de Databricks (y compris les capacités d'IA) ainsi que les outils complémentaires, et recommander leur adoption. - Reporting et communication : Rendre compte de l'avancement de la plateforme et de la migration, et partager les meilleures pratiques ainsi que les retours d'expérience avec la communauté informatique. Principaux défis : • Adoption de la gouvernance : Amener les entités et les utilisateurs à adopter les normes définies en matière de catalogues, de domaines et d'accès, tout en garantissant une plateforme simple d'utilisation pour les utilisateurs métiers (« data citizens »). • Complexité de la migration : Migrer les données et les consommateurs de l'ancien « data lake » vers Databricks sans perturber les activités en cours, tout en préservant la qualité et la traçabilité (lignage) des données. • Équilibre entre exploitation (Run) et développement (Build) : Assurer la stabilité, la sécurité et la maîtrise des coûts de la plateforme tout en menant à bien la migration et en prenant en charge de nouveaux cas d'usage. Livrables attendus : ? Documentation sur la gouvernance et le modèle opérationnel : Structure des catalogues et des domaines, modèle d'accès, conventions de nommage et normes d'utilisation alignés sur les standards internes relatifs aux données et à l'IA. ? Plan de migration (de l'ancien data lake vers Databricks) et rapports d'avancement : Périmètre, priorisation, calendrier, risques et points de situation réguliers auprès des comités de pilotage. ? Supports d'intégration et de bonnes pratiques : Guides, modèles, architectures de référence (blueprints) et sessions de formation destinés aux ingénieurs de données et aux utilisateurs métiers. ? Rapports d'exploitation de la plateforme : Indicateurs de suivi, de coûts, de sécurité et de conformité de la plateforme Databricks.

Conception, développement et maintenance de pipelines de données scalables pour l'alimentation des use case d'IA. Architecture des flux de données (batch & streaming) en garantissant la fiabilité, la traçabilité et la conformité. Collaboration avec les équipes Data Science/ML pour la transformation des modèles en services de production (MLOPS). Optimisation des performances des bases de données et des entrepôts de données (SQL, NoSQL, Data Lake). Mise en place de pratiques d'observabilité : monitoring, alerting, logging et métriques. Veille à la sécurité des flux de données et à la gouvernance (catalogue de données, lineage).

ocalisation : La Défense (92) Démarrage : ASAP Durée : Mission longue durée Contrat : Freelance, portage salarial ou ESN Expérience : 10 ans minimum en Data, dont 3 ans minimum en architecture Data Méthodologie : Agile SAFe Contexte de la missionPour le compte d'un grand acteur du secteur de l'énergie, nous recherchons un Architecte Urbaniste Data AWS Senior pour accompagner la conception, l'évolution et la gouvernance d'une Data Platform reposant sur les principes du Data Mesh. La plateforme s'appuie sur un Data Lake et un Data Warehouse AWS organisés selon une architecture médaillon (Bronze, Silver, Gold). Les enjeux portent notamment sur le passage à l'échelle, la sécurité, la gouvernance des données, la rationalisation de l'architecture et l'application des standards d'urbanisme Data. Au sein de l'équipe Architecture, vous travaillerez en étroite collaboration avec l'architecte technique Data, les équipes cybersécurité, les Product Owners, les Data Product Owners et les squads Data métiers. Missions principales1. Architecture et modélisation DataConcevoir et modéliser les données du Data Lake et du Data Warehouse selon une architecture médaillon. Traduire les besoins métier en modèles de données adaptés aux datamarts et aux Data Products. Définir les principes de modélisation décisionnelle et les architectures OLTP/OLAP. Réaliser des macro-études d'architecture pour évaluer les besoins, les impacts et les solutions à mettre en œuvre. 2. Urbanisme Data et définition des standardsDéfinir, formaliser et maintenir les standards, normes et patterns d'architecture Data. Rédiger et actualiser les dossiers d'architecture fonctionnelle, les DAT/DAG et les guides de modélisation. Élaborer et maintenir la cartographie des flux et des échanges entre la Data Platform et les autres producteurs de données du SI. Contribuer au plan d'occupation des sols Data en coordination avec les urbanistes du SI. Identifier et rationaliser les doublons fonctionnels et techniques, tout en veillant au respect des règles d'urbanisme. 3. Gouvernance et accompagnement des équipesAccompagner les Data Engineers, les squads métiers, l'infogéreur et les équipes TMA dans la mise en œuvre des architectures définies. Garantir la cohérence entre les besoins métier, les modèles de données et les choix d'architecture. Accompagner les mises en production et contribuer à la maîtrise de la dette technique. Participer aux comités d'architecture, aux instances projet et aux rituels SAFe : Coproj, Copil et Comop. Promouvoir les bonnes pratiques auprès des Product Owners, Tech Leads et Data Engineers.

Contexte de la missionDans le cadre de l'évolution de son architecture Data, nous recherchons un Consultant Starburst confirmé pour accompagner la mise en place et l'optimisation de solutions d'accès et de fédération des données. Le consultant interviendra sur des environnements Data complexes afin de faciliter l'accès, l'exploitation et la valorisation des données provenant de différentes sources. Missions principalesDéployer, configurer et administrer la plateforme Starburst. Concevoir et optimiser des requêtes SQL distribuées. Mettre en place des solutions de fédération et de virtualisation des données. Connecter différentes sources de données (bases SQL, Data Lakes, Cloud). Optimiser les performances des requêtes et des traitements. Participer à la définition et à l'évolution de l'architecture Data. Assurer la sécurité, la gouvernance et la qualité des accès aux données. Accompagner les équipes techniques dans l'utilisation de Starburst.

Contexte de la mission: Dans le cadre du développement de nos activités data et de la montée en puissance de nos plateformes analytiques, nous recherchons un Data Engineer pour concevoir, construire et optimiser les pipelines de données alimentant nos applications métiers, nos plateformes analytiques et nos modèles d'intelligence artificielle.Vous rejoindrez une équipe Data pluridisciplinaire (Data Engineers, Data Scientists, Data Analysts, Architectes) et interviendrez sur toute la chaîne de traitement de la donnée : ingestion, transformation, structuration, optimisation, industrialisation et monitoring. Vos responsabilités: Vous serez en charge de: - Concevoir, développer et maintenir des pipelines de données robustes (batch & streaming) - Industrialiser la collecte, la transformation et la mise à disposition des données (ETL/ELT) - Assurer la qualité, la fiabilité et la disponibilité des datasets critiques - Participer à la modélisation et à la structuration des données (Data Lake, Data Warehouse) - Collaborer avec Data Scientists & Analysts pour fournir des données fiables et exploitables - Contribuer aux choix techniques et à l'évolution de l'architecture data - Documenter les pipelines, les schémas et les bonnes pratiques d'exploitation

Nous recherchons un Data & AI Architect pour un grand acteur bancaire luxembourgeois. Le client déploie sa stratégie Data & IA, avec plusieurs projets de nouvelles plateformes : Data Lake, data virtualisation, Enterprise LLM Mesh, data masking, etc. L'architecture Data & AI doit être complétée par les livrables correspondants, puis présentée devant les forums d'architecture, selon la gouvernance interne. Votre mission Vous rejoindrez l'équipe en charge de la gouvernance et de l'architecture Data. Vous accompagnerez les chefs de projet et les Solution Architects Data & IA pour préparer, documenter et faire valider leurs dossiers en forum d'architecture : Recueillir le contexte du projet et ses impacts sur l'infrastructure, la sécurité et les applications Analyser les options de mise en œuvre, choisir une solution et construire l'argumentaire pour la défendre Recueillir l'avis des autres Solution Architects (Data, Sécurité, Infra, Applicatif) Accompagner le chef de projet lors de la présentation en forum d'architecture Intégrer la décision dans le dossier, l'amender et transmettre les connaissances à l'équipe projet Mettre à jour l'architecture Data & AI cible si nécessaire Expertise attendue : Architecture Data d'entreprise et urbanisation du SI Modélisation conceptuelle, logique et physique des données MDM et Golden Sources Architecture orientée événements (EDA) et streaming API Management et Data Services Architecture Data & AI : MLOps, Feature Stores, LLM Platforms, bases vectorielles Cloud et Hybrid Cloud appliqués à la Data Sécurité des données : Data Privacy, masking, chiffrement, IAM Data Lineage, Metadata Management, Data Catalog Data Mesh, Data Products, Data Contracts Résilience, continuité et haute disponibilité des plateformes Data Data Warehouse, Data Lake, Lakehouse, ETL/ELT, intégration de données Gouvernance des données et Data Quality

Véritable référent technique, vous participerez aux choix d'architecture et piloterez les développements Data afin de construire une plateforme robuste, évolutive et pérenne. Au sein des équipes Data, en collaboration étroite avec les équipes Infrastructure et les métiers, vous êtes chargé de :Définir, concevoir et faire évoluer l'architecture Data (ingestion, stockage, modélisation et exposition des données). Piloter les activités de Data Engineering et garantir l'application des bonnes pratiques de développement. Encadrer, accompagner et faire monter en compétence les équipes de développement internes et externes. Arbitrer les choix techniques et assurer la cohérence globale de l'écosystème Data. Garantir la qualité, la performance, la maintenabilité et la scalabilité des solutions déployées. Structurer la documentation technique et contribuer à l'industrialisation des développements. Participer à l'amélioration continue des méthodes de travail et des processus Agile. Collaborer avec les différentes parties prenantes afin d'aligner les solutions techniques sur les besoins métiers. Environnement techniqueTechnologies et outilsPython SQL ETL / ELT Orchestration de pipelines de données Data Lake Data Warehouse Environnements Cloud DevOps et CI/CD Méthodologies Agile

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un expert QlikView pour rejoindre une équipe BI & Analytics au service des métiers de la salle des marchés. Vous évoluez dans un environnement international et anglophone, au contact direct des équipes Front et Risk. Vos missions : - Assurer le support L1, L2 et L3 sur les applications QlikView en production. - Maintenir les documents QlikView publiés et traiter les obsolescences techniques (montées de version Windows et QlikView). - Intégrer, recetter techniquement et livrer en production les évolutions développées par les équipes locales. - Réaliser les évolutions et corrections demandées par les métiers Front et Risk, répartis dans le monde. - Structurer et optimiser des documents complexes alimentés par des sources variées : bases de données, data lake, transferts de fichiers. - Administrer le serveur Qlik et ses modules : Publisher, PDF, NPrinting. Vous rejoignez Ingéniance en CDI cadre, au sein d'une communauté d'experts de la finance de marché et de la data. Ref : O-NWADI

Contexte Dans le cadre de notre croissance, Hexateam recrute deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer expert. Vous rejoignez une plateforme de données dédiée aux activités de marché, au cœur de use cases d'intelligence artificielle. Vous travaillez au quotidien avec des équipes Data Science et ML sur des sujets à fort enjeu. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables qui alimentent des use cases d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Accompagner les équipes Data Science/ML dans la mise en production des modèles (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, Data Lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Veiller à la sécurité des flux et à la gouvernance de la donnée (catalogue, lineage). Vous êtes recruté en CDI cadre chez Ingéniance et vous rejoignez une communauté d'experts de la data et de la finance de marché. Ref : O-LWDVQ

Contexte Dans le cadre de notre croissance, nous recrutons Deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data