Data Engineer SENIOR AWS / SPARK/PYTHON 500 e par jour Data Engineer Senior – Data Services Profil très orienté AWS / Spark / Python / DBT / Iceberg / Airflow, avec une bonne maîtrise des architectures Big Data / Lakehouse et de la modélisation Médaillon. REcherchent quelqu'un de t senior, avec 8 ans d'expérience minimum. Mission à temps plein, avec 3 jours de remote par semaine. AWS, Python, Spark et modélisation Médaillon. Terraform et Datadog sont également appréciés. Mission Asap 500 e par jour
Contexte de la mission : Dans le cadre d'une mission longue chez un acteur du secteur Retail, nous recherchons un Data Engineer disposant d'une solide expérience sur Google Cloud Platform (GCP) et ayant déjà travaillé sur des problématiques d'intégration de données avec Salesforce. Vous rejoindrez un environnement Data avec des enjeux autour de la construction, de la maintenance et de la fiabilisation des pipelines de données, notamment entre Salesforce et l'écosystème GCP. Les avantages de la mission : Une mission longue avec de la visibilité Un projet au cœur des enjeux Data d'un acteur du Retail Un environnement technique associant GCP et Salesforce Des problématiques concrètes de Data Engineering et d'intégration de données Jusqu'à 3 jours de télétravail par semaine Une mission permettant de travailler sur des flux de données à fort enjeu métier
Nous accompagnons un leader du secteur bancaire à Nantes dans la recherche de Data Engineers expérimentés, spécialisés dans l'alimentation de datamarts via des solutions ELT. Le contexte : Notre client est à la recherche de collaborateurs avec au minimum 2 à 3 ans d'expérience, capables de comprendre fonctionnellement les données pour soutenir les phases d'analyse métier, et non uniquement du développement technique. Ce besoin est crucial pour assurer la continuité et la qualité des projets, notamment dans un environnement évolutif et industriel.
Nous recherchons un Data Engineer confirmé ou senior pour intervenir sur une plateforme data moderne reposant sur Snowflake et dbt, avec une forte exigence en modélisation Data Vault. Contexte de la mission : Vous rejoindrez une équipe Data en charge de structurer et faire évoluer une architecture analytique robuste et scalable. La mission s'inscrit dans une logique d'industrialisation, de qualité et de standardisation des flux. Missions principales Concevoir et implémenter des modèles Data Vault (obligatoire). Développer et optimiser les transformations via dbt. Modéliser et structurer les données dans Snowflake. Participer à la définition des standards d'architecture et des bonnes pratiques. Assurer la qualité, la performance et la traçabilité des données. Collaborer avec les équipes BI (notamment Power BI) et métiers.
OBJECTIF Dans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MISSION Responsable Discovery Data product : - développement des query API Discovery en regard des besoins production - construction des data sets dans l'outil de query engine - exposition du data product à la consommation opérationnelle - interfaçage au MCP pour alimenter l'IA Production - MCO et optimisation des query et data sets DevOps Discovery - Configuration et paramétrage de BMC Discovery : Configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. - Intégration des données de BMC Discovery : Intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. - Définition des règles de correspondance : Définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. - Mise en place de la synchronisation des données : Mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. - Gestion des erreurs et des exceptions : Gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Opérationnellement, les outils de travail: - BMC Helix Discovery( Mandatory) - Starburst (Data product, MCP, AI) - Spark / Pyspark - ServiceNow ITSM (change, incident, problem, request) - Jira / confluence Nice to have: - Tableau server / Tableau Desktop / PowerBI / Dataikku - Talend Real Time Big Data / ESB, ETL, EAI - Talend Data Catalogue - PostGreSQL / Apache Kafka / S3 storage Environnement : L'expert utilisera BMC Discovery, et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products pour alimenter des IA.
Dans le cadre du renforcement de ses équipes Data Platform / Data Factory, recherche un Data Engineer expérimenté pour intervenir sur ses projets Data. Le consultant intégrera un environnement Data en croissance, avec des enjeux d'industrialisation, de performance, de qualité et de gouvernance de la donnée. Missions principales Concevoir, développer et maintenir des pipelines de données. Assurer l'ingestion, la transformation et la mise à disposition des données. Développer et industrialiser les traitements Data sous Databricks / Spark. Participer à l'évolution de la Data Platform Azure. Optimiser les traitements et les performances des pipelines. Travailler sur la qualité, la fiabilité et la disponibilité des données. Participer aux problématiques de traitement batch et/ou temps réel. Contribuer aux bonnes pratiques de développement et d'industrialisation Data. Collaborer avec les équipes Data Platform, Data Engineering, Data Science et les équipes métiers. Contribuer aux enjeux de gouvernance et de sécurisation des données. Avec un écosystème Data Platform comprenant également des enjeux autour de Databricks Unity Catalog, notamment pour la gouvernance, le lineage et la gestion des accès.
Un projet stratégique de la filière Risques d'un grand groupe bancaire : mesurer l'impact des risques climatiques et physiques sur le risque de crédit, sur Google Cloud. Au sein du domaine Risques de la DSI, le projet ingère, agrège et expose des données de sources multiples pour produire les rapports de surveillance du risque de crédit. La solution est bâtie sur Google Cloud Platform, portée par une équipe engagée et experte du sujet. Le projet est à forte visibilité : les critères d'expertise technique sont impératifs. Vos principales missions : Développer et intégrer des solutions Python / Spark avec les services data et compute de Google Cloud Platform. Ingérer, agréger et exposer des données issues de sources multiples. Contribuer à la chaîne DevOps du projet : déploiements, infrastructure as code. Ce que la mission vous apporte : Un sujet d'actualité réglementaire et sociétale : le risque climatique en banque. Une stack GCP complète, de l'ingestion à l'exposition. Environnement technique : GCP (BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, GCS), Python, Spark, XL Deploy, Terraform, Jenkins.
Bonjour RECHERCHE – DATA OPS / DATA PLATFORM ENGINEER SENIOR Je recherche un Data Ops / Data Platform Engineer Senior pour rejoindre une équipe Data Platform / Data Fabric et intervenir sur des sujets de RUN, fiabilité, industrialisation, gouvernance et évolution d'une plateforme Data. Le consultant aura un rôle clé dans la fiabilisation de la plateforme, la mise en place de services Data industrialisés et l'accompagnement des équipes dans l'adoption des standards de gouvernance et des bonnes pratiques. 🔹 Expérience : Senior / confirmée en Data Platform & Data Ops 🔹 Environnement : Cloud AWS / Lakehouse 🔹 Mission : RUN, Data Platform, Data Engineering & Gouvernance 🔹 Mission longue durée 🛠️ Compétences indispensables : ☁️ Architecture & Cloud : • Architecture Lakehouse • AWS • EKS • Terraform • Apache Iceberg • CI/CD et industrialisation des déploiements Data Platform & Gouvernance : • AWS Data Catalog • AWS Lake Formation • Data Products • Data Contracts • Data Quality • Catalogage, découvrabilité et documentation des données • Gestion des habilitations et des contrôles d'accès Data & Ingestion : • MSK • DataStream • SQS • Airflow • Starburst Développement : • Python • Bonnes pratiques de développement / Software Craftsmanship • Automatisation et industrialisation des traitements Data RUN & Observabilité : • Mise en place et suivi des SLA / SLO • Monitoring, alerting et observabilité Data • Datadog • Investigation et résolution des incidents de production • Mise en place de dashboards et indicateurs de fiabilité • Runbooks et procédures d'exploitation • Amélioration continue de la plateforme Missions principales : • Garantir la disponibilité, la performance et la sécurité de la Data Platform • Investiguer et résoudre les incidents de production • Industrialiser les déploiements via Terraform / CI/CD • Participer à la mise à disposition d'environnements self-service pour les équipes Data • Accompagner les migrations vers des architectures Lakehouse • Développer les services d'exposition et de consommation des données • Contribuer à la standardisation et à l'industrialisation des Data Products • Participer à la définition et à l'implémentation des Data Contracts • Améliorer le monitoring, l'alerting et l'observabilité • Contribuer à l'optimisation des coûts d'exploitation (FinOps) • Accompagner les équipes Data dans l'adoption des standards de gouvernance Compétences clés recherchées : Obligatoires : AWS • Terraform • Data Catalog • Observabilité Data • Starburst Très appréciées : Data Product Management • Data Contract • Data Quality • Lakehouse • Iceberg • EKS • Airflow Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.
MissionsApporter une expertise technique sur la base de données Oracle et son écosystème. Mettre en place et maintenir les outils et infrastructures adéquats à l'analyse de données. Assurer une expertise sur les technologies BI ainsi qu'une expertise pointue sur les langages SQL et Python. Veiller au déploiement des pipelines de données et à la gestion de la sécurisation technique. Être force de proposition sur les solutions techniques et leur mise en place. Automatiser les processus d'alimentation des données. Travailler sur l'architecture des données et la mise à disposition des informations pour les data analyst/scientist de l'équipe. Comprendre les données sous-jacentes liées à l'environnement CIB. La maîtrise en front end de Power BI et d'Oracle APEX est un plus.
Dans le cadre du renforcement d'une équipe Data & IA, nous recherchons un Data Scientist / Data Engineer expérimenté, spécialisé en Intelligence Artificielle Générative, afin d'assurer la continuité et l'évolution de projets stratégiques. Le consultant intégrera une équipe travaillant sur un projet d'IA agentique à fort impact métier. L'un des principaux objectifs est de développer et d'optimiser une solution capable de générer automatiquement des pré-réponses pertinentes à des e-mails utilisateurs portant sur différents types de demandes : renseignements, réclamations, opérations contractuelles, etc. La mission comporte une forte dimension LLM, NLP, RAG et industrialisation des modèles IA. Missions principales Reprendre les travaux existants et assurer la continuité du projet d'IA agentique. Concevoir, entraîner, évaluer et optimiser des Large Language Models (LLM) dédiés à la génération de texte. Améliorer la pertinence et la qualité des pré-réponses générées. Optimiser les processus de Retrieval-Augmented Generation (RAG) existants. Participer à l'intégration et au déploiement des modèles en environnement de production. Mettre en œuvre les bonnes pratiques MLOps / LLMOps : CI/CD, versioning, monitoring, déploiement et maintien en conditions opérationnelles. Analyser les performances des modèles et identifier les axes d'amélioration. Garantir la robustesse, la scalabilité et la maintenabilité des solutions développées. Réaliser une veille sur les évolutions en IA Générative, LLM, NLP et Machine Learning. Collaborer étroitement avec les équipes Data, développement, architecture, produit et métiers. Participer aux cérémonies et rituels Agile de l'équipe.
L'équipe travaille sur des données issues de scans d'infrastructure réalisés avec BMC Discovery. Ces données permettent de recenser et de cartographier les composants techniques du système d'information, notamment les serveurs, les machines virtuelles, les applications, les équipements réseau et le stockage. L'objectif est de transformer ces données brutes en produits data fiables et exploitables par différentes équipes IT, notamment les équipes de production, d'infrastructure, de sécurité et de conformité. MissionsDans le cadre de cette mission, vous interviendrez sur : La conception et le développement de produits data à partir de données d'infrastructure. La création de vues SQL, de modèles de données et de pipelines sur Starburst, basé sur Trino. La transformation de données techniques en jeux de données exploitables par les équipes IT. La mise à disposition de vues et de datasets pour des usages d'inventaire, de cartographie applicative, de suivi de parc et de conformité. L'optimisation des requêtes et des performances sur Starburst. La documentation des modèles, des règles de gestion et des produits data. Les échanges avec les équipes métiers IT afin de comprendre leurs besoins et de les traduire en solutions data. La montée en compétence sur BMC Discovery, dont la logique de collecte et de modélisation sera présentée en interne.
Pour un client défense, nous recherchons 2 consultants data bilingues anglais de minimum 7 ans d'expérience. Contrôle élémentaire (FICE) à prévoir. PROFIL HABILITABLE OBLIGATOIRE La mission est à Malakoff, avec des déplacements à prévoir, notamment à Massy. Démarrage tout début septembre. Le programme termine le 31.07.2027. Le calendrier du process étant très serré, merci d'envoyer les profils jeudi au plus tard. Tâches : - Qlik Replicate: Replication tasks (Source: SAP, Destination: Snowflake) - Snowflake: Medallion structure (Bronze: Raw, Silver: Core, Gold: Published) - Matillion: Data transformation tasks between Snowflake layers - Other data tools (Alteryx, Tableau, SAP Business Objects): Alteryx flows reading snowflake to publish Alteryx yxdb and Tableau data sets SAP Business Objects / BW reports distributed directly to end users via email. Répartition estimée des tâches : - Snowflake: 50% - Qlik Replicate: 15% - Matillion: 25% - Other data tools: 10% Mandatory skills - Qlik, Snowflake,Matillion Desired - SAP BO Bonus - Alteryx, Tableau
Dans le cadre du développement des cas d'usage IA d'un grand compte, nous recherchons un Data Engineer pour construire et industrialiser les pipelines de données qui alimentent les modèles de machine learning et les applications d'IA générative. Le consultant interviendra notamment sur : ▪ La conception et le développement de pipelines ETL/ELT depuis des sources hétérogènes (APIs, bases relationnelles, flux événementiels), en batch ou temps réel ▪ La préparation et la mise à disposition des données pour l'entraînement des modèles et les architectures RAG (ingestion documentaire, chunking, vectorisation) ▪ L'alimentation et l'administration des bases vectorielles ▪ L'industrialisation de la chaîne complète — collecte, stockage, diffusion — avec sécurité et disponibilité garanties ▪ L'optimisation des performances et des coûts des traitements ▪ La documentation des pipelines et la contribution aux standards de l'équipe
L'équipe utilise au quotidien plusieurs applications d'aide à la décision et des référentiels de données (marché et fondamentales) afin de mener à bien sa mission de conseil et de support au Trading. La Mission à réaliser se déclinera notamment à travers ces activités : • Développement et évolution de la plateforme data. • Collecte, ingestion, traitement, transformation et restitution des données • Optimisation des coûts et des performances. • Conception et développement d'outils d'aide à la décision • Maintenance évolutive et support technique / accompagnement des utilisateurs
ContexteLe présent appel d'offre a pour objet la sélection d'un Data OPS/Data platform Engineer Senior afin d'accompagner le pôle Data Fabric d'une grande entreprise du secteur ferroviaire. MissionsRUN et fiabilité de la plateforme Garantir la disponibilité, la performance et la sécurité de la Data Platform. Investiguer et résoudre les incidents de production. Améliorer l'observabilité, le monitoring et l'alerting. Participer à l'amélioration continue de l'exploitation. Construction et évolution du socle Data Développer et maintenir les services de la plateforme. Participer à la mise à disposition d'environnements self-service pour les équipes Data. Industrialiser les déploiements via Infrastructure as Code et CI/CD. Contribuer à l'amélioration de l'expérience développeur. Modernisation et migration Participer à la migration du patrimoine historique vers les nouvelles architectures Lakehouse. Accompagner la transition des usages existants. Optimiser les coûts d'exploitation des solutions Data. Services Data et consommation Développer les services d'exposition et de consommation des données. Contribuer aux sujets de gouvernance, catalogage et partage de données. Participer à l'ouverture multi-client des services Data. Gouvernance et services Data Platform Contribuer à la standardisation et à l'industrialisation des Data Products afin de garantir leur réutilisabilité, leur qualité et leur maintenabilité. Participer à la définition, à l'implémentation et au suivi des Data Contracts entre producteurs et consommateurs de données. Mettre à disposition et faire évoluer les services de la plateforme liés au catalogage, à la découvrabilité et à la documentation des données. Implémenter et automatiser les mécanismes d'habilitation et de contrôle des accès afin de garantir la sécurité et la conformité des usages. Accompagner les équipes Data dans l'adoption des standards de gouvernance et des bonnes pratiques de publication des Data Products.
CDI - 2 jours de télétravail / semaine - Nantes - Expérience de 6 ans minimum Nous poursuivons notre développement et recherchons actuellement un(e) Ingénieur Data pour intervenir chez un de nos clients dans le secteur bancaire. Contexte : Vous rejoignez une équipe dédiée à délivrer les socles techniques permettant aux équipes Data Sciences de concevoir, expérimenter et industrialiser leurs modèles sur GCP. Vos principales missions : Déploiement & architecture Industrialiser les pipelines de données sur l'écosystème GCP Gérer les montées de version des services managés Concevoir des environnements fiables et performants pour les usages ML Développement & data engineering Développer et maintenir des pipelines de données (Python / SQL) Administrer et optimiser les environnements BigQuery Mettre en place les pratiques CI/CD et MLOps Sécurité & gouvernance Gérer les accès et les permissions (IAM) Veiller à la conformité et à la sécurisation des données Communauté & partage Animer la communauté d'experts data Rédiger des guides de bonnes pratiques et de documentation technique Veille technologique Suivre les évolutions de l'écosystème Data / IA Proposer des améliorations techniques pour faire évoluer la plateforme ⚙ Stack technique du projet : - GCP - BigQuery, GCS - Vertex AI, Dataproc, Workflows - Cloud Run, Composer - Python, SQL - MLOps, FinOps - Bitbucker, Artifactory