Vous rejoindrez notre équipe technique en charge de traiter et d'assurer le suivi de la production, de mettre en place les évolutions. Les projets concernées sont : BCR/IFRS9, calcul de provision IFRS9, Anadefi (données financières), outil de lutte contre le blanchiment et le financement du terrorisme, application de crédit pour la clientèle, outil de reporting réglementaire. Vos missions consisteront à contribuer: Suivre les Run de Production, Gérer les incidents dans le respect des délais, Traiter les tickets sous Jira pour la maintenance des applications, Rédiger les procédures de suivi de production, Mettre en oeuvre les demandes d'évolutions liés aux maintenances corrective
Notre client, acteur industriel dans le secteur de l'aéronautique, recherche son futur Data Engineer (H/F) à Toulouse, pour renforcer sa capacité de production sur ses chantiers data engineering et la structuration de son décisionnel (DWH, datamarts, dont Data Mart Finance). Vos missions : * Intégré à l'équipe Data BI, orienté production, vous produisez des livrables concrets et - directement exploitables * Concevoir et fiabiliser les flux de transformation / ETL * Intégrer et consolider les données issues des différents ERP * Structurer le datawarehouse et les datamarts (dont le Data Mart Finance) * Concevoir et faire évoluer les modèles de données * Produire la documentation technique et fonctionnelle associée Les compétences techniques : * SQL * Modélisation décisionnelle (DWH / datamarts) * Outil ETL du marché (SSIS, Talend, Azure Data Factory ou équivalent) * Intégration de données * Environnement multi-ERP * Power BI en aval
Contexte du poste Dans le cadre d'un projet de transformation majeur au sein d'un acteur de référence des télécommunications, nous recherchons un Expert ClickHouse / Data Engineer Senior en freelance. Vous rejoindrez une équipe en charge de la valorisation de la consommation télécom, qui traite d'importants volumes de données issus des CDR (traces de sessions). Au cœur de l'écosystème se trouve une plateforme ClickHouse, alimentée par des pipelines d'ingestion Kafka et associée à différents outils et scripts Python, SQL et dashboards Grafana. L'équipe engage aujourd'hui une transformation importante de son architecture avec l'objectif de faire évoluer en profondeur les modèles de données, les vues et les pipelines existants. Nous recherchons donc un profil disposant d'une véritable expertise ClickHouse en environnement de production, capable à la fois de prendre en main la plateforme, de la faire évoluer et de transmettre son expertise aux ingénieurs de l'équipe. Missions Missions principales Reprendre en main la plateforme ClickHouse existante : configuration, ingestion, pipelines, schémas et dashboards Concevoir et faire évoluer les modèles de données ClickHouse Travailler sur les problématiques de MergeTree, partitionnement et vues matérialisées Optimiser les requêtes analytiques sur des volumes de données importants Participer à la refonte des pipelines dans le cadre de la transformation de l'architecture Maintenir et faire évoluer les pipelines développés en Python Participer à l'exploitation et à l'administration de ClickHouse Identifier et mettre en place les bonnes pratiques permettant de pérenniser la plateforme Mentorat & transmission La mission comporte une forte dimension de transfert de compétences. L'objectif n'est pas uniquement de disposer d'un expert capable de traiter les sujets ClickHouse, mais de permettre progressivement aux ingénieurs internes de devenir autonomes. Vous serez donc amené à : Accompagner techniquement les ingénieurs de l'équipe Partager les bonnes pratiques ClickHouse Documenter les choix d'architecture et d'exploitation Organiser des sessions de partage et de montée en compétence Éviter la création d'une dépendance technique autour de votre expertise Stack technique Compétences indispensables ClickHouse : expérience significative en production MergeTree Partitionnement Vues matérialisées Modélisation de données Optimisation de requêtes analytiques à forte volumétrie Exploitation et administration ClickHouse Python SQL Compétences appréciées Kafka – ingestion de données Grafana – dashboards et monitoring Superset – visualisation de données Environnement complémentaire C Lua
Pour l'un de nos clients grands comptes du secteur bancaire, nous recherchons un Développeur Java Spring Senior orienté Cloud Azure afin d'accompagner les évolutions d'une plateforme Data stratégique hébergée sur Azure. La mission s'inscrit dans un contexte de modernisation du socle technique, d'automatisation et d'industrialisation des déploiements sur Kubernetes (AKS). Vos missionsDévelopper et faire évoluer une application de gestion du Data Lake Azure. Concevoir des micro-services interfacés avec les API Azure et les systèmes internes. Participer à l'automatisation du cycle de vie applicatif (CI/CD). Déployer et maintenir les composants sur Azure Kubernetes Service (AKS). Contribuer à l'amélioration de la résilience, de la sécurité et de la scalabilité de la plateforme. Intervenir sur un environnement de production critique et fortement sécurisé. Environnement techniqueIndispensable : Java 11+/17 Spring / Spring Boot Azure Cloud Kubernetes / AKS Docker Azure DevOps Git Apprécié : Azure SDK Java Temporal Liquibase PostgreSQL / SQL Server Azure Data Lake Storage Gen2 (ADLS) Réseaux Azure (VNet, Subnet, Private Endpoint, DNS privé) Stack ELK Spark Profil recherché5 ans d'expérience minimum en développement Java. Forte expérience Cloud Azure. Maîtrise des architectures micro-services. Expérience significative de Kubernetes / AKS en environnement de production. Culture DevOps et CI/CD. Autonomie, capacité à travailler dans des environnements complexes et forte sensibilité aux problématiques de sécurité et de disponibilité.
Rôle et responsabilités des Développeurs • Développement et expertise Réaliser des développements de complexité moyenne. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) • Contribution agile Participer aux rituels techniques (estimation de charge, engagement sur le sprint). • Architecture et standards Concevoir et mettre en oeuvre l'architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Assurer le suivi d'exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements - Maîtrise avancée des environnements de conteneurisation et d'orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault - Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). - Maîtrise opérationnelle de l'orchestration de workflows de données à l'aide de l'outil Apache Airflow. - Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. - Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. - Maîtrise des outils de stockage objet, notamment via l'utilisation des commandes MinIO. - Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l'ensemble du projet de titrisation Bail : • Dossiers d'architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d'amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d'avancement sur le périmètre confié. • RUN : Reporting de type Morning check
Conception et Développement • Concevoir et développer des vues de données virtualisées dans Denodo (base views, derived views, interface views) à partir des spécifications techniques fournies • Intégrer les sources de données hétérogènes (bases relationnelles, APIs REST/SOAP, fichiers, cloud, web services) • Optimiser les performances des requêtes (cache management, query optimization, data movement) • Créer et maintenir les data services et APIs pour exposer les données aux applications consommatrices • Implémenter les mécanismes de gouvernance et de traçabilité des données • Réaliser des tests de qualité, performance et cohérence des données • Documenter l'ensemble des développements et bonnes pratiques (wiki, Jira, Data Catalog) • Participer à la mise en production et au suivi des services de données Collaboration agile et gouvernance - Travailler en étroite collaboration avec le PO pour assurer la livraison des différents projets - Participer aux rituels agiles : daily, sprint planning, review, retrospectives. - Contribuer à la documentation fonctionnelle et technique du produit Data. - Promouvoir les bonnes pratiques Dataiku (modularité, réutilisabilité, qualité, performance).
📍 Localisation : Bois-Colombes 📅 Démarrage : 4 septembre 🏠 Télétravail : 3 jours par semaine 💼 Mission longue durée en régie (3 mois renouvelables) 🌍 Contexte international 🗣️ Anglais courant obligatoire Descriptif du posteDans le cadre du renforcement de son Data Office, un grand groupe international recherche un(e) Data & AI Engineer Senior pour intervenir sur des projets stratégiques autour de la gouvernance des données, de la qualité des données et de l'intelligence artificielle générative. Vos principales missions seront : Data Management & Data GovernanceConcevoir, développer et maintenir des applications Python dédiées à la gouvernance et à la qualité des données. Mettre en place des contrôles automatisés, des mécanismes de détection d'anomalies et des solutions de monitoring. Industrialiser les traitements liés à la collecte, l'analyse et le reporting des indicateurs de qualité. Développer des API et services facilitant l'intégration avec les plateformes Data, catalogues de données et outils décisionnels. Participer à l'amélioration continue et à l'automatisation des processus Data. IA Générative & Agentic AIConcevoir et développer des assistants IA pour les équipes métier. Développer des solutions Text-to-SQL permettant l'interrogation des données en langage naturel. Mettre en œuvre des architectures basées sur des LLM et des agents intelligents. Développer des connecteurs et intégrations autour du protocole MCP (Model Context Protocol). Participer à l'industrialisation des solutions IA dans des environnements sécurisés et à forte exigence de gouvernance. Contribuer à des projets innovants autour des agents IA, de la qualité des données et de la valorisation des informations.
Contexte de la mission : Dans le cadre d'un programme de transformation digitale et data, notre client recherche un(e) Senior Data Engineer afin de renforcer une équipe en charge du développement de produits data stratégiques au sein d'un Cloud Center of Excellence et d'un Digital Accelerator. La mission se déroule dans un environnement international et vise à concevoir, développer et faire évoluer une plateforme data ainsi que les produits associés, tout en contribuant à l'amélioration continue des pratiques d'ingénierie et d'industrialisation des données. Objectifs et livrables : Le/la consultant(e) aura pour principales missions de : · Concevoir, développer et maintenir des pipelines de données ETL/ELT. · Développer et industrialiser les traitements de transformation de données. · Concevoir et faire évoluer des Data Lakes, Data Warehouses, Data Marts et cubes de données. · Intégrer différentes sources de données (API, fichiers, traitements batch et temps réel). · Optimiser les performances des traitements et des requêtes SQL. · Mettre en œuvre les bonnes pratiques de développement, d'intégration et de déploiement. · Collaborer avec les équipes Produit, Data, Plateforme et Product Owners. · Participer aux phases de cadrage et de Data Discovery. · Mettre en place et maintenir les chaînes CI/CD dédiées aux workflows data. · Évoluer dans un environnement Agile. Livrables attendus : · Développement et déploiement des composants data. · Documentation technique et fonctionnelle. · Documentation des modèles de données. · Rapports d'audit et de contrôle qualité. · Rapports de tests d'acceptation. · Support technique et transfert de compétences. Compétences requises : · Solide expérience en Data Engineering. · Maîtrise des architectures ETL/ELT. · Excellente maîtrise de SQL. · Expérience sur Microsoft SQL Server (SSIS, SSAS, PBIRS). · Connaissance des architectures Data Warehouse et Data Lake. · Développement de pipelines de données. · Optimisation des performances (Performance Tuning). · Maîtrise d'outils ETL tels que Talend, Azure Data Factory (ADF) ou SSIS. · Expérience des chaînes CI/CD avec Azure DevOps ou GitLab. · Expérience en environnement Agile.
Nous recherchons un Data Engineer Expert pour intervenir au sein de l'entité Intelligence Artificielle (IA) et robotisation (RPA), d'un grand groupe du secteur des assurances. 🎯 Contexte de la mission : L'entité Intelligence Artificielle a pour objectif d'apporter de la valeur aux clients et collaborateurs via des services efficaces et responsables. Ses domaines d'intervention : Data Engineering Machine Learning Deep Learning Conversationnel / Chatbot Assistant virtuel Analyse multimédia et multicanaux (voix, vidéo, langage naturel…) 🎯 Objectifs de la mission : Développement Data CAS (Contrôle d'Activités Sinistre) Migration Cloud
Le Data Engineer supervise et intègre des données de natures diverses provenant de sources multiples ; il vérifie la qualité des données entrant dans le Data Lake, en effectuant notamment des tests, la déduplication et les activités d'assurance qualité associées. Les principales responsabilités incluent : Qualification et gestion des données : - Collecte de données structurées et non structurées produites par différentes applications ou provenant de sources externes à l'entité - Intégration des éléments - Structuration des données (sémantique, etc.) - Cartographie des éléments disponibles - Nettoyage des données (élimination des doublons, etc.) - Validation des données - Création éventuelle du référentiel de données La plateforme de données permet à tous les domaines producteurs de données de mettre à disposition des données brutes ou retravaillées dans un Data Lake. Cette plateforme gère notamment les fonctionnalités et les données relevant du périmètre métier « Relation Réseau ». Elle permet : - L'intégration et l'assurance qualité des données brutes reçues des distributeurs - La mise à disposition de données GRD exploitables pour tous les besoins du segment et de l'organisation (qu'il s'agisse de besoins opérationnels ou analytiques issus de tous les domaines métiers) Principales missions : - Maîtrise des outils Databricks (création de jobs, clusters, notebooks) et capacité à effectuer des requêtes SQL efficaces - Maintien en conditions opérationnelles de la plateforme de production (analyse et correction d'incidents et d'anomalies) - Développement de jobs d'ingestion et de transformation de données en Python avec Spark pour traiter de grands volumes de données - Apport d'une vision à long terme, tant sur le plan opérationnel que stratégique pour la plateforme de données - Soutien et promotion des meilleures pratiques - Participation aux ateliers de conception technique et fonctionnelle - Rédaction et mise à jour de la documentation technique
Dans le cadre d'un programme stratégique de transformation Data au sein d'un grand groupe, nous recherchons pour l'un de nos clients un Ingénieur Data ETL pour intervenir sur le développement et l'industrialisation des flux d'alimentation d'une plateforme de gestion des données. Vos missions : Recueillir les besoins métiers et participer à la rédaction des spécifications fonctionnelles et techniques. Développer, maintenir et optimiser des pipelines ETL pour l'intégration et le traitement des données. Garantir la qualité, la fiabilité et la performance des flux de données. Participer aux phases de recette, de mise en production et au maintien en conditions opérationnelles. Assurer le suivi des incidents, la documentation technique et le reporting d'avancement. Contribuer au pilotage des activités, à la gestion des risques et à l'amélioration continue des processus.
Rôle : Data Engineer Senior Databricks / GCP TJM : 430 € / jour Localisation : Meudon (3 jours par semaine sur site / 2 jours de télétravail) Date de début : ASAP Durée de la mission : Jusqu'au 31/12/2026 Contexte de la missionAu sein d'une équipe pluridisciplinaire (chefs de projet, architectes, DevOps, Data Engineers), vous interviendrez sur la conception et le développement de projets d'intégration de données à forte valeur ajoutée. Vos principales responsabilités incluent : Développement de jobs d'intégration de données en PySpark, Spark et Python (modes streaming et batch) sur la plateforme Databricks. Mise en œuvre du CI/CD (GitHub, DevOps, Databricks Asset Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs existants et des ressources Cloud (GCP et Databricks). Mise en place de Dashboards FinOps afin de suivre et piloter l'usage des ressources GCP / Databricks. Participation aux astreintes et au support en production de l'application. Assurer une formation continue, le partage de connaissances et la rédaction de la documentation technique. Compétences clés requisesDatabricks : Excellente maîtrise de l'administration, de la gestion des catalogues (Unity Catalog), de Delta Lake et de l'optimisation des performances. Technologies Data : Maîtrise approfondie de PySpark, Spark, Python, SQL et GIT. Cloud (GCP) : Bonne connaissance de l'écosystème Google Cloud Platform, notamment GCS, Pub/Sub, GKE et les outils d'Alerting. Qualités professionnellesEsprit d'équipe, curiosité intellectuelle et envie d'évoluer dans un environnement collaboratif. Excellente capacité à communiquer, à vulgariser et à partager vos connaissances avec les différents membres de l'équipe.
Contexte Dans le cadre de l'évolution de sa plateforme Data, un acteur majeur du secteur bancaire recherche un Data Engineer afin d'assurer le maintien en conditions opérationnels des plateformes Data sur AWS et de développer de nouveaux flux de données temps réel pour les besoins Analytics et décisionnels. Missions Assurer le MCO de la plateforme Data sur AWS. Concevoir et optimiser des pipelines de données batch et streaming. Développer et administrer les flux Kafka (topics, producteurs, consommateurs). Optimiser les traitements Spark / PySpark. Garantir la qualité, la performance et la disponibilité des données. Industrialiser les développements via les pratiques DevOps et CI/CD. Participer à l'évolution des architectures Data (Data Lake, Event-Driven). Environnement technique Spark • PySpark • Kafka • Python • SQL • AWS • Datadog • Airflow • Dataiku • Docker • Kubernetes • Terraform • GitLab CI • Jenkins
Dans le cadre d'un programme stratégique de transformation Data & IA au sein d'un grand groupe international, nous recherchons un Data Engineer Senior AWS pour contribuer à l'évolution et à l'industrialisation d'une plateforme Data Cloud déjà en production. Cette plateforme constitue le socle technologique permettant d'alimenter des solutions analytiques avancées et des cas d'usage innovants basés sur l'intelligence artificielle. Vous intégrerez une équipe Data multidisciplinaire évoluant dans un environnement international et fortement orienté Cloud. MissionsParticiper à la conception et à l'évolution de l'architecture Data Platform et Data Lake/Lakehouse. Développer et maintenir des pipelines de données robustes et performants. Concevoir et implémenter des traitements de données à grande échelle à l'aide des services AWS. Participer à l'intégration de nouvelles sources de données internes et externes. Mettre en œuvre les bonnes pratiques de Data Management, Data Quality et DataOps. Participer à l'automatisation des déploiements et à l'amélioration continue des chaînes CI/CD. Garantir la performance, la sécurité et la maintenabilité des solutions développées. Accompagner les équipes métiers dans la traduction des besoins fonctionnels en solutions techniques. Participer aux phases de mise en production et au support des environnements critiques. Contribuer aux travaux d'amélioration continue de la plateforme.
La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais
SAS Data Engineer Our client is looking for SAS data engineers with experience of SAP Data services. Hands on skills required: - SAP Data Services - SAP business objects - PL/SLQ - ETL/ELT - Data modelling - Informatica The role requires two to three days in Milton Keynes on a weekly basis. The contract is inside IR35 and for 6 months initially. To be considered please send over your latest CV. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
