Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.
ContexteMission consistant à développer une solution permettant aux chercheurs de transformer leurs analyses exploratoires en traitements fiables et réutilisables. MissionsDévelopper une solution logicielle pour la transformation d'analyses exploratoires en traitements fiables et réutilisables Collaborer avec des chercheurs et un Data Scientist dans un contexte de recherche Monter en compétence rapidement sur les outils spécifiques du projet Assurer la communication claire avec des profils non techniques Outils & Environnement & Compétences obligatoiresMaîtrise de GCP : GKE, IAM, GCS, BigQuery Python en production : conception modulaire (principes SOLID, architecture hexagonale ou équivalent), typage statique, tests unitaires/d'intégration Docker, Git et CI/CD avec expérience concrète de déploiement et de diagnostic (debugging pipelines) SQL, modélisation de données et définition de contrats de données (data contracts) Expérience cloud avec adaptation de modules Terraform existants (pas nécessairement de conception from scratch, mais capacité à faire évoluer un IaC existant) Réalisation agentique concrète : appels d'outils/API, gestion des erreurs, dans le cadre d'un projet réel ou d'un démonstrateur Compétences appréciées (Nice-to-have)Agents IA déjà déployés en production MCP, Claude Code GitLab CI Vertex AI / KFP et MLOps avancé Analyse statique de code Python (AST/LSP) Connaissances en imagerie médicale et histopathologie Soft skillsAutonomie et rigueur Communication claire, notamment avec des profils non techniques (chercheurs) et le Data Scientist Capacité à monter en compétence rapidement sur les outils spécifiques du projet Esprit de collaboration dans un contexte de recherche
Almatek recherche pour l'un de ses clients, un Développeur / Data Engineer IICS confirmé sur Bordeaux. Descriptif: Dans le cadre d'une mission Data Supply Chain R&D, nous recherchons un Développeur / Data Engineer IICS confirmé. Missions principales : Développer et maintenir des flux sous Informatica Intelligent Cloud Services (IICS) ; Concevoir et optimiser des requêtes SQL complexes ; Implémenter les spécifications fonctionnelles ; Analyser et corriger les anomalies ; Optimiser les performances des traitements ; Gérer les versions et les livraisons via GIT ; Suivre les tâches et incidents sous JIRA ; Rédiger la documentation technique en anglais ; Participer aux rituels de l'équipe. Compétences obligatoires Expérience confirmée sur IICS ; Maîtrise avancée de SQL : jointures complexes, optimisation et performance ; Bonne pratique de GIT et JIRA ; Capacité à comprendre et rédiger en anglais technique. Compétences appréciées: Connaissance de la Supply Chain ; Expérience dans le secteur pharmaceutique ou dans un environnement réglementé. Nous recherchons avant tout un profil confirmé, autonome, curieux et rigoureux, capable de comprendre les problématiques métier, d'échanger avec le business et de rester fortement orienté delivery technique.
Bonjour , RECHERCHE – AI / DATA ENGINEER SENIOR – MCP & AGENTS IA Je recherche un profil Senior Data / AI Engineer, très hands-on, pour intervenir sur des sujets d'IA générative, Agents IA, MCP et développement Python. 🔹 Expérience : 5 ans minimum 🔹 Profil : Data / IA / Software Engineering 🔹 Environnement : IA générative, LLM, Agents IA 🔹 Mission : développement de solutions IA industrialisables 🛠️ Compétences indispensables : IA & Agents • IA générative / LLM • Agents IA & Skills • Prompt Engineering • Conception de solutions IA MCP – Model Context Protocol • Très bonne connaissance de MCP • Développement de MCP Servers • Expérience de bout en bout : conception, développement, tests et intégration Développement • Python – confirmé • APIs / services web • Git • Tests unitaires & intégration • CI/CD Très appréciées : • Expérience concrète de mise en production de MCP Servers • Architectures Agentic AI • RAG • Plusieurs LLM / environnements IA générative • Cloud / DevOps • Sécurité des agents IA Sujet clé de la mission : Concevoir et développer des Skills IA, notamment autour de la conception et de la recette, avec l'objectif de construire des solutions robustes, réutilisables et industrialisables. 👤 Nous recherchons un profil hands-on, capable de comprendre un besoin, proposer une architecture, développer les composants nécessaires et transformer rapidement un prototype en solution industrialisable. Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.
Nous recherchons un Data Engineer pour contribuer à la modernisation d'une plateforme data dans le secteur financier. Vous participerez à la conception et au développement de pipelines de données, à l'intégration de données dans Snowflake via DBT, à la modélisation des données et aux contrôles de qualité. Vous travaillerez également sur les flux batch/streaming, le SQL, les tests, la CI/CD, l'optimisation des performances ainsi que la gouvernance et la sécurité des données dans un environnement international.
CosmosDB Data Engineer We are looking for a CosmosDB Data Engineer who can start a contract in the next 3 to 4 weeks. You will have strong experience of data modelling and CosmosDB. * Design and maintain conceptual, logical, and physical data models for both relational (SQL) and non-relational (Cosmos DB / NoSQL) systems. * Design, develop, and manage NoSQL data models using Azure Cosmos DB, ensuring performance, scalability, and cost efficiency (partitioning strategy, indexing, RU optimization). * Define and implement data contracts to ensure consistency, quality, and governance across upstream and downstream systems. * Lead and support data migration projects, including planning, execution, validation, and reconciliation between source and target systems. * Build and orchestrate ETL/ELT pipelines using Azure Data Factory (ADF). * Write and optimize SQL queries, stored procedures, and views for relational data processing and reporting. The role is for 3-6 months initially outside IR35 and requires two days in Central London each week. To be considered for the role please send over your latest CV. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission dans le cadre de notre transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst. Votre mission sera de concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain métiers et les data owners. Missions clés : - Conception de flux de données et de Data Products Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer Documentation des pipelines d'ingestion de données Intégration des données dans l'écosystème Data Mesh Collaboration avec les domaines métiers pour identifier les sources de données et les cas d'usage. Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet). Documentation les data products (métadonnées, ownership, qualité) Contribution à l'amélioration continue des data produts dans de la plateforme Starburst Mise en place des alertes et des dashboards pour le suivi des data products.
Nous recherchons un(e) Data Engineer confirmé(e) / Senior, disposant d'une solide expérience sur Google Cloud Platform (GCP), pour rejoindre une nouvelle équipe dédiée aux données clients et marketing. L'équipe intervient sur différents systèmes sources, sur une plateforme Data centralisant et valorisant les données, ainsi que sur un service dédié à la personnalisation des parcours et expériences clients. L'objectif du projet est de construire une plateforme permettant de fournir aux modèles de Machine Learning des données de personnalisation fiables, pertinentes et facilement exploitables. Dans un premier temps, vous interviendrez sur l'amélioration et la fiabilisation des données provenant de différentes sources de tracking et de données commerciales. Vous participerez ensuite au développement de la plateforme Data centrale du projet. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et intégrer des données provenant de différentes sources. Participer à la conception et à l'évolution de la Data Platform. Contribuer au développement d'un service de contexte et personnalisation client. Préparer et enrichir les données destinées aux modèles de Machine Learning. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la conception des architectures et flux Data. Mettre en place des contrôles et bonnes pratiques de Data Quality. Collaborer avec les équipes Data, ML, Marketing et les équipes techniques. Participer aux tests, à la documentation et au déploiement des solutions. Contribuer à l'amélioration continue de l'architecture et des processus Data.
ContexteDans le cadre d'un projet stratégique autour de la gestion des risques climatiques et physiques, notre client recherche un Data Engineer Python / Spark pour contribuer à la mise en place d'une solution permettant d'ingérer, agréger et exposer des données issues de sources multiples afin de produire des reportings métier liés à la surveillance du risque de crédit. La mission s'inscrit au sein d'une équipe experte et engagée, sur un projet à forte visibilité basé sur Google Cloud Platform (GCP). Une expérience dans le domaine du risque de crédit est appréciée. MissionsConcevoir et développer des solutions Data en Python / Spark. Participer à l'intégration de données provenant de sources multiples. Exploiter les services Data & Compute de Google Cloud Platform. Contribuer à l'ingestion, l'agrégation et l'exposition des données. Participer à la mise en œuvre et à l'évolution des pipelines Data. Collaborer avec les équipes techniques et métier du projet. Contribuer aux pratiques DevOps et à l'industrialisation des solutions. Profil recherchéExpertise technique indispensable : Python / Spark BigQuery Dataproc Cloud Composer Cloud Functions Cloud Run Jobs Google Cloud Storage (GCS) DevOpsXL Deploy (XLD) Terraform Jenkins
Data Engineer GCPLe consultant idéal devra posséder les compétences suivantes : • Excellente maîtrise de la plateforme GCP, et autres outils de notre stack technique : BigQuery, cloud storage, SQL, Python orienté objet, Pandas et /ou Dask, bash scripting, GIT • Connaissances et expériences avec des outils complémentaires suivants seraient des atouts appréciables : Cloud functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark • Maîtrise de l'anglais, tant à l'écrit qu'à l'oral, pour faciliter les échanges avec nos interlocuteurs basés à Porto, qui représentent une part importante de notre équipe IT. • Expérience dans des environnements agiles, en particulier avec la méthodologie SCRUM. • Capacité à rédiger des spécifications techniques claires et précises. • Dynamisme, excellent relationnel et capacité à travailler en équipe. • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies. Au sein du département IT de la DSI Groupe, l'équipe data a pour vocation de fournir aux différentes entités, l'ensemble des applications nécessaires à leur fonctionnement. Nous recherchons un profil Data Engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données => quel outil utilisé ?? • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Expected skillsSkillsSkill level HADOOP Confirmed SQL Confirmed GCP Confirmed Google Cloud Storage Advanced Spark Advanced BIGQUERY Confirmed Pandas Advanced GIT Advanced Python Advanced
Dans le cadre de sa transformation Data et du déploiement de nouveaux services d'intelligence artificielle générative, une équipe Data Science recherche un consultant confirmé pour concevoir et piloter les produits data permettant de suivre l'usage, la performance et la valeur ajoutée de ces services. Missions : - Recueillir et formaliser les besoins métiers - Définir et maintenir un catalogue d'indicateurs et de KPI - Concevoir, fiabiliser et suivre les indicateurs d'usage, de performance, de qualité et de ROI - Structurer, modéliser et documenter les données, sources et flux associés - Concevoir et maintenir des tableaux de bord de pilotage sous Streamlit - Industrialiser les pipelines de données - Mettre en place les contrôles qualité et les mécanismes de supervision - Contribuer aux bonnes pratiques Data et à la gouvernance de la donnée - Réaliser le transfert de connaissances avec les équipes en place - Assurer la continuité des dispositifs existants - Produire un catalogue d'indicateurs validé par les métiers - Produire des dashboards de suivi opérationnels - Documenter et industrialiser les pipelines de données - Documenter les données, les flux et les traitements Profil attendu : Consultant confirmé avec une expérience en Data Engineering, Data Analytics et GenAI. Maîtrise de Snowflake, Pipelines DE données, STREAMLIT, DBT, Airflow / Dagster, Git, Gitlab, Linux, Docker, SQL et Python. Expérience dans la conception et le suivi d'indicateurs, la structuration et la documentation des données et flux, ainsi que l'industrialisation et la supervision des pipelines de données.
Dans le cadre de sa transformation Data et du déploiement de nouveaux services d'intelligence artificielle générative, une équipe Data Science recherche un consultant confirmé pour concevoir et piloter les produits data permettant de suivre l'usage, la performance et la valeur ajoutée de ces services. Missions : - Recueillir et formaliser les besoins métiers - Définir et maintenir un catalogue d'indicateurs et de KPI - Concevoir, fiabiliser et suivre les indicateurs d'usage, de performance, de qualité et de ROI - Structurer, modéliser et documenter les données, sources et flux associés - Concevoir et maintenir des tableaux de bord de pilotage sous Streamlit - Industrialiser les pipelines de données - Mettre en place les contrôles qualité et les mécanismes de supervision - Contribuer aux bonnes pratiques Data et à la gouvernance de la donnée - Réaliser le transfert de connaissances avec les équipes en place - Assurer la continuité des dispositifs existants - Produire un catalogue d'indicateurs validé par les métiers - Produire des dashboards de suivi opérationnels - Documenter et industrialiser les pipelines de données - Documenter les données, les flux et les traitements Profil attendu : Consultant confirmé avec une expérience en Data Engineering, Data Analytics et GenAI. Maîtrise de Snowflake, Pipelines DE données, STREAMLIT, DBT, Airflow / Dagster, Git, Gitlab, Linux, Docker, SQL et Python. Expérience dans la conception et le suivi d'indicateurs, la structuration et la documentation des données et flux, ainsi que l'industrialisation et la supervision des pipelines de données.
Nous recherchons un Data Engineer junior pour développer et maintenir des flux de données. Le cœur du poste est la maîtrise opérationnelle de SSIS et SQL Server. MissionsDévelopper et maintenir des packages SSIS. Créer et optimiser des requêtes, procédures et routines SQL Server. Intégrer des données provenant de plusieurs sources et contribuer à l'alimentation d'un entrepôt de données. Contrôler la qualité des données, résoudre les anomalies et suivre les traitements en production. Documenter les flux et les développements réalisés. Participer ponctuellement à des développements en .NET Core et Angular.
Concevoir, développer et maintenir des pipelines de données robustes et performants. Développer et industrialiser les transformations de données avec DBT. Concevoir et optimiser les modèles de données dans BigQuery. Intégrer différentes sources de données au sein de l'écosystème Google Cloud Platform. Garantir la qualité, la fiabilité et la disponibilité des données. Optimiser les performances des traitements et des requêtes SQL. Mettre en place des tests et contrôles de qualité des données. Participer à l'automatisation des déploiements et aux pratiques CI/CD / DataOps. Contribuer à la documentation technique et au respect des standards Data. Collaborer avec les Data Analysts, Data Scientists, équipes métiers et équipes Cloud/DevOps. Participer aux problématiques de gouvernance, sécurité et traçabilité des données propres au secteur bancaire.
Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données
Nous recherchons un(e) Data Engineer / Consultant(e) BI expérimenté(e) pour intégrer et accompagner notre équipe sur la gestion et le traitement des données au sein de notre Datalake. La maîtrise des concepts décisionnels est une contrainte forte et indispensable pour réussir sur ce périmètre. Missions principales : Garantir l'accès qualitatif et sécurisé aux sources de données multiples. Assurer la supervision, l'intégration, le nettoyage (suppression des doublons) et la recette des flux de données entrants dans le Data Lake. Garantir la maîtrise, la normalisation, le référencement et la qualité d'utilisation de la donnée afin d'en faciliter l'exploitation par les Data Analysts et Data Scientists. Contribuer à la définition de la politique de la donnée et structurer son cycle de vie dans le respect des réglementations en vigueur. Intervenir sur les systèmes applicatifs de gestion de la donnée, de traitement et sur les plateformes associées.
