Contexte Le projet vise à mettre en place une solution permettant d'ingérer, agréger et exposer des données issues de sources multiples, afin de produire les rapports métiers nécessaires à la surveillance du risque de crédit. La solution est développée sur Google Cloud Platform (GCP) au sein d'une équipe expérimentée, sur un projet à forts enjeux et à forte visibilité. Une expérience dans le domaine du risque de crédit est appréciée. Missions principales Le consultant interviendra notamment sur : La conception et le développement de solutions Data sur Google Cloud Platform ; Le développement et l'intégration de traitements Python / Spark ; La mise en place et l'évolution des pipelines d'ingestion et de traitement de données ; L'ingestion, l'agrégation et l'exposition de données provenant de sources multiples ; Le développement de traitements à forte volumétrie ; La collecte, le stockage et l'exploitation des flux de données ; La supervision et l'intégration de données de différentes natures ; Le contrôle de la qualité et de la sécurité des données ; La maintenance et le suivi du RUN des applications développées ; La maintenance des infrastructures Data associées ; La documentation et la cartographie des différentes sources de données ; La contribution à l'industrialisation des traitements et modèles ; La proposition d'évolutions des infrastructures et solutions Data existantes. La mission rattache également au rôle de Data Engineer la structuration des bases, la gestion des métadonnées et référentiels, l'industrialisation des modèles ML ainsi que leur maintien en RUN.
Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,
Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API
Nous accompagnons un leader du secteur bancaire à Nantes dans la recherche de Data Engineers expérimentés, spécialisés dans l'alimentation de datamarts via des solutions ELT. Le contexte : Notre client est à la recherche de collaborateurs avec au minimum 2 à 3 ans d'expérience, capables de comprendre fonctionnellement les données pour soutenir les phases d'analyse métier, et non uniquement du développement technique. Ce besoin est crucial pour assurer la continuité et la qualité des projets, notamment dans un environnement évolutif et industriel.
ContexteDans le cadre de l'évolution et de la modernisation d'une Data Platform, nous recherchons un(e) Staff Data Platform Engineer pour contribuer à l'excellence engineering de l'écosystème data. Au sein d'une organisation Data Mesh mature, vous aurez un rôle transverse de facilitateur, d'accélérateur et de référent technique auprès des différentes équipes Data Engineering. Votre mission sera de faire le lien entre les capacités de la plateforme centrale et les besoins opérationnels des équipes produit, avec un fort enjeu autour de la Developer Experience (DevEx), de la standardisation des pratiques et de l'accélération de la mise en production des produits data. Vos missionsDeveloper Experience & Data EngineeringOptimiser le cycle de vie des pipelines Data, du développement local jusqu'à la production. Concevoir et standardiser des paved paths permettant aux équipes Data de développer et déployer plus efficacement. Développer et partager des composants, templates et outils facilitant le travail des Data Engineers. Contribuer à la mise en place de standards autour du CI/CD, des tests, de l'observabilité et de la qualité. Promouvoir les bonnes pratiques d'ingénierie logicielle au sein de la communauté Data. Innovation & IAIntégrer les outils d'IA générative et de développement assisté dans les pratiques quotidiennes des Data Engineers. Identifier et développer des cas d'usage permettant d'améliorer la productivité des équipes. Participer à la construction d'un AI Toolkit dédié aux besoins du Data Engineering. Accompagner l'évolution des pratiques vers une ingénierie Data augmentée par l'IA. Architecture & Excellence techniqueConcevoir des frameworks et patterns favorisant la qualité, la maintenabilité et la fiabilité des pipelines. Mettre en place des mécanismes de feedback loop, observabilité, data quality et data contracts. Contribuer à l'évolution de l'architecture Data et à sa modernisation progressive. Challenger les pratiques et architectures existantes afin d'identifier les axes d'amélioration. Accompagner la transition progressive vers des architectures Open Lakehouse et des modèles Data modernes. Prendre en compte les enjeux de FinOps, sécurité et RGPD by design. Gouvernance & accompagnementÊtre le représentant des besoins de la communauté Data Engineering auprès de l'équipe Platform. Faciliter l'alignement entre les pratiques locales et les standards d'ingénierie globaux. Conseiller les équipes responsables du socle technique de la plateforme. Favoriser le partage de connaissances et la mutualisation des initiatives au sein de la communauté Data. Travailler avec des équipes internationales dans un environnement matriciel. Environnement techniqueData Engineering / Data Platform Data Mesh GCP / BigQuery Data Vault / Star Schema CI/CD DataOps Data Quality Data Contracts Observabilité API / CLI tooling YAML Automatisation GenAI / Copilots / AI Engineering Open Lakehouse FinOps GDPR / Privacy by Design
Contexte du poste Nous recherchons un Analytics Engineer / Data Engineer pour participer au développement d'une plateforme Data Analytics intégrée à une suite logicielle d'analyse technico-économique. En collaboration directe avec le Product Owner, vous serez responsable de l'implémentation des cas d'usage liés à la performance et aurez une vraie responsabilité sur la conception de l'architecture analytique et la modélisation des données. Missions principales Concevoir et faire évoluer l'architecture OLAP de la plateforme Modéliser les données selon les approches Kimball / étoile / flocon Développer et optimiser les transformations SQL et les modèles analytiques Concevoir les pipelines d'ingestion et d'orchestration avec Apache Airflow Développer des DAGs Python robustes, modulaires et maintenables Intégrer les données issues de bases OLTP vers l'environnement analytique Structurer les transformations avec dbt Implémenter et maintenir la couche sémantique avec Cube.js Concevoir les dashboards et métriques métiers sous Apache Superset Optimiser les performances, le cache et la gestion des droits d'accès / RLS Participer à l'industrialisation des développements avec Git et Docker
Data Engineer SENIOR AWS / SPARK/PYTHON 500 e par jour Data Engineer Senior – Data Services Profil très orienté AWS / Spark / Python / DBT / Iceberg / Airflow, avec une bonne maîtrise des architectures Big Data / Lakehouse et de la modélisation Médaillon. REcherchent quelqu'un de t senior, avec 8 ans d'expérience minimum. Mission à temps plein, avec 3 jours de remote par semaine. AWS, Python, Spark et modélisation Médaillon. Terraform et Datadog sont également appréciés. Mission Asap 500 e par jour
OBJECTIF Dans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MISSION Responsable Discovery Data product : - développement des query API Discovery en regard des besoins production - construction des data sets dans l'outil de query engine - exposition du data product à la consommation opérationnelle - interfaçage au MCP pour alimenter l'IA Production - MCO et optimisation des query et data sets DevOps Discovery - Configuration et paramétrage de BMC Discovery : Configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. - Intégration des données de BMC Discovery : Intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. - Définition des règles de correspondance : Définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. - Mise en place de la synchronisation des données : Mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. - Gestion des erreurs et des exceptions : Gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Opérationnellement, les outils de travail: - BMC Helix Discovery( Mandatory) - Starburst (Data product, MCP, AI) - Spark / Pyspark - ServiceNow ITSM (change, incident, problem, request) - Jira / confluence Nice to have: - Tableau server / Tableau Desktop / PowerBI / Dataikku - Talend Real Time Big Data / ESB, ETL, EAI - Talend Data Catalogue - PostGreSQL / Apache Kafka / S3 storage Environnement : L'expert utilisera BMC Discovery, et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products pour alimenter des IA.
Contexte de la mission : Dans le cadre d'une mission longue chez un acteur du secteur Retail, nous recherchons un Data Engineer disposant d'une solide expérience sur Google Cloud Platform (GCP) et ayant déjà travaillé sur des problématiques d'intégration de données avec Salesforce. Vous rejoindrez un environnement Data avec des enjeux autour de la construction, de la maintenance et de la fiabilisation des pipelines de données, notamment entre Salesforce et l'écosystème GCP. Les avantages de la mission : Une mission longue avec de la visibilité Un projet au cœur des enjeux Data d'un acteur du Retail Un environnement technique associant GCP et Salesforce Des problématiques concrètes de Data Engineering et d'intégration de données Jusqu'à 3 jours de télétravail par semaine Une mission permettant de travailler sur des flux de données à fort enjeu métier
Nous recherchons un Data Engineer confirmé ou senior pour intervenir sur une plateforme data moderne reposant sur Snowflake et dbt, avec une forte exigence en modélisation Data Vault. Contexte de la mission : Vous rejoindrez une équipe Data en charge de structurer et faire évoluer une architecture analytique robuste et scalable. La mission s'inscrit dans une logique d'industrialisation, de qualité et de standardisation des flux. Missions principales Concevoir et implémenter des modèles Data Vault (obligatoire). Développer et optimiser les transformations via dbt. Modéliser et structurer les données dans Snowflake. Participer à la définition des standards d'architecture et des bonnes pratiques. Assurer la qualité, la performance et la traçabilité des données. Collaborer avec les équipes BI (notamment Power BI) et métiers.
Dans le cadre du renforcement de ses équipes Data Platform / Data Factory, recherche un Data Engineer expérimenté pour intervenir sur ses projets Data. Le consultant intégrera un environnement Data en croissance, avec des enjeux d'industrialisation, de performance, de qualité et de gouvernance de la donnée. Missions principales Concevoir, développer et maintenir des pipelines de données. Assurer l'ingestion, la transformation et la mise à disposition des données. Développer et industrialiser les traitements Data sous Databricks / Spark. Participer à l'évolution de la Data Platform Azure. Optimiser les traitements et les performances des pipelines. Travailler sur la qualité, la fiabilité et la disponibilité des données. Participer aux problématiques de traitement batch et/ou temps réel. Contribuer aux bonnes pratiques de développement et d'industrialisation Data. Collaborer avec les équipes Data Platform, Data Engineering, Data Science et les équipes métiers. Contribuer aux enjeux de gouvernance et de sécurisation des données. Avec un écosystème Data Platform comprenant également des enjeux autour de Databricks Unity Catalog, notamment pour la gouvernance, le lineage et la gestion des accès.
Bonjour RECHERCHE – DATA OPS / DATA PLATFORM ENGINEER SENIOR Je recherche un Data Ops / Data Platform Engineer Senior pour rejoindre une équipe Data Platform / Data Fabric et intervenir sur des sujets de RUN, fiabilité, industrialisation, gouvernance et évolution d'une plateforme Data. Le consultant aura un rôle clé dans la fiabilisation de la plateforme, la mise en place de services Data industrialisés et l'accompagnement des équipes dans l'adoption des standards de gouvernance et des bonnes pratiques. 🔹 Expérience : Senior / confirmée en Data Platform & Data Ops 🔹 Environnement : Cloud AWS / Lakehouse 🔹 Mission : RUN, Data Platform, Data Engineering & Gouvernance 🔹 Mission longue durée 🛠️ Compétences indispensables : ☁️ Architecture & Cloud : • Architecture Lakehouse • AWS • EKS • Terraform • Apache Iceberg • CI/CD et industrialisation des déploiements Data Platform & Gouvernance : • AWS Data Catalog • AWS Lake Formation • Data Products • Data Contracts • Data Quality • Catalogage, découvrabilité et documentation des données • Gestion des habilitations et des contrôles d'accès Data & Ingestion : • MSK • DataStream • SQS • Airflow • Starburst Développement : • Python • Bonnes pratiques de développement / Software Craftsmanship • Automatisation et industrialisation des traitements Data RUN & Observabilité : • Mise en place et suivi des SLA / SLO • Monitoring, alerting et observabilité Data • Datadog • Investigation et résolution des incidents de production • Mise en place de dashboards et indicateurs de fiabilité • Runbooks et procédures d'exploitation • Amélioration continue de la plateforme Missions principales : • Garantir la disponibilité, la performance et la sécurité de la Data Platform • Investiguer et résoudre les incidents de production • Industrialiser les déploiements via Terraform / CI/CD • Participer à la mise à disposition d'environnements self-service pour les équipes Data • Accompagner les migrations vers des architectures Lakehouse • Développer les services d'exposition et de consommation des données • Contribuer à la standardisation et à l'industrialisation des Data Products • Participer à la définition et à l'implémentation des Data Contracts • Améliorer le monitoring, l'alerting et l'observabilité • Contribuer à l'optimisation des coûts d'exploitation (FinOps) • Accompagner les équipes Data dans l'adoption des standards de gouvernance Compétences clés recherchées : Obligatoires : AWS • Terraform • Data Catalog • Observabilité Data • Starburst Très appréciées : Data Product Management • Data Contract • Data Quality • Lakehouse • Iceberg • EKS • Airflow Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.
MissionsApporter une expertise technique sur la base de données Oracle et son écosystème. Mettre en place et maintenir les outils et infrastructures adéquats à l'analyse de données. Assurer une expertise sur les technologies BI ainsi qu'une expertise pointue sur les langages SQL et Python. Veiller au déploiement des pipelines de données et à la gestion de la sécurisation technique. Être force de proposition sur les solutions techniques et leur mise en place. Automatiser les processus d'alimentation des données. Travailler sur l'architecture des données et la mise à disposition des informations pour les data analyst/scientist de l'équipe. Comprendre les données sous-jacentes liées à l'environnement CIB. La maîtrise en front end de Power BI et d'Oracle APEX est un plus.
Un projet stratégique de la filière Risques d'un grand groupe bancaire : mesurer l'impact des risques climatiques et physiques sur le risque de crédit, sur Google Cloud. Au sein du domaine Risques de la DSI, le projet ingère, agrège et expose des données de sources multiples pour produire les rapports de surveillance du risque de crédit. La solution est bâtie sur Google Cloud Platform, portée par une équipe engagée et experte du sujet. Le projet est à forte visibilité : les critères d'expertise technique sont impératifs. Vos principales missions : Développer et intégrer des solutions Python / Spark avec les services data et compute de Google Cloud Platform. Ingérer, agréger et exposer des données issues de sources multiples. Contribuer à la chaîne DevOps du projet : déploiements, infrastructure as code. Ce que la mission vous apporte : Un sujet d'actualité réglementaire et sociétale : le risque climatique en banque. Une stack GCP complète, de l'ingestion à l'exposition. Environnement technique : GCP (BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, GCS), Python, Spark, XL Deploy, Terraform, Jenkins.
Pour un client défense, nous recherchons 2 consultants data bilingues anglais de minimum 7 ans d'expérience. Contrôle élémentaire (FICE) à prévoir. PROFIL HABILITABLE OBLIGATOIRE La mission est à Malakoff, avec des déplacements à prévoir, notamment à Massy. Démarrage tout début septembre. Le programme termine le 31.07.2027. Le calendrier du process étant très serré, merci d'envoyer les profils jeudi au plus tard. Tâches : - Qlik Replicate: Replication tasks (Source: SAP, Destination: Snowflake) - Snowflake: Medallion structure (Bronze: Raw, Silver: Core, Gold: Published) - Matillion: Data transformation tasks between Snowflake layers - Other data tools (Alteryx, Tableau, SAP Business Objects): Alteryx flows reading snowflake to publish Alteryx yxdb and Tableau data sets SAP Business Objects / BW reports distributed directly to end users via email. Répartition estimée des tâches : - Snowflake: 50% - Qlik Replicate: 15% - Matillion: 25% - Other data tools: 10% Mandatory skills - Qlik, Snowflake,Matillion Desired - SAP BO Bonus - Alteryx, Tableau
L'équipe utilise au quotidien plusieurs applications d'aide à la décision et des référentiels de données (marché et fondamentales) afin de mener à bien sa mission de conseil et de support au Trading. La Mission à réaliser se déclinera notamment à travers ces activités : • Développement et évolution de la plateforme data. • Collecte, ingestion, traitement, transformation et restitution des données • Optimisation des coûts et des performances. • Conception et développement d'outils d'aide à la décision • Maintenance évolutive et support technique / accompagnement des utilisateurs
