Contexte La Direction des Systèmes d'Information métier est en charge du maintien en conditions opérationnelles et de l'évolution stratégique du Système d'Information dédié à l'assurance vie et à la finance. Enjeux stratégiques : La valorisation de la donnée est au cœur de la stratégie de transformation pour 2025-2026 de notre client . Pour soutenir cette ambition, nous recherchons un Ingénieur Data expérimenté, de niveau III pour intégrer l'équipe de développement DATA DSIM. Vous rejoindrez notre nouvelle équipe DATA pour construire, maintenir et optimiser les plateformes et les pipelines de données, garantissant ainsi la fiabilité et l'accessibilité de la donnée pour l'ensemble de l'entreprise. Mission Le consultant Data sera Rattaché(e) au chef de projet de l'équipe, ce sera un contributeur technique essentiel dans le cycle de vie de la donnée. Le consultant sera au cœur du nouveau modèle DATA décliner. Les missions principales incluront : • Conception de Pipelines (ETL) : • Concevoir, développer et optimiser des flux de données robustes et performants (ETL/ELT) pour l'alimentation des entrepôts et des DataMart. • Modélisation : Participer activement à la conception et à la mise en œuvre de modèles de données (MCD, modélisation dimensionnelle) adaptés aux besoins métier de l'Assurance Vie. • Industrialisation : Industrialiser les processus de préparation, de transformation et de gouvernance de la donnée, notamment via l'outil Dataiku • Visualisation et Reporting : Assurer la bonne intégration des données pour leur exploitation dans des outils de Business Intelligence, notamment Tableau. • Maintenance et Optimisation : Garantir la performance, la qualité et le maintien en condition opérationnelle de l'infrastructure et des flux de données.
🏭 Secteurs stratégiques : Banque d'investissement 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡Objectif global : Expert kafka 💡Description détaillée Le contexte de la mission : Dans le cadre de l'équipe Data Analytic , nous créons et maintenons des architectures Big Data pour les besoins internes de l'entreprise. Pour renforcer notre équipe support, nous proposons une mission de DATA ENGINEERING sur KAFKA 💡Responsabilités principales : Mise en œuvre son expertise sur Kafka Support, automatisation et maintien en conditions opérationnelles des plateformes Kafka Participation aux développement de l'équipe data Analytics et projet Topic As a Service Support plateforme WWW 💡Compétences communication Environnement anglophone
Nous recherchons un(e) Tech Lead Data Engineer capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Assurer la mise en œuvre de l'accès, du référencement et de la qualité de la donnée • Assurer l'industrialisation, la supervision et l'intégration des solutions • Rédiger les normes de développement • Participer à la rédaction du manuel d'exploitation En tant que Tech Lead, vous savez : • Vous présenter et promouvoir des architectures data face au client • Identifier et comprendre les besoins métiers • Former, encadrer et faire évoluer les consultants juniors • Participer à la réponse aux appels d'offres (avant-vente) Référence de l'offre : 9h4by3tiip
RésuméLe poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop. Responsabilités :Participer aux task forces pour résoudre des problématiques techniques complexes. Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée. Gérer les montées de versions majeures des composants Hadoop. Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs. Gérer la collaboration avec l'éditeur Cloudera et les entités internes. Suivre le planning global de production. Must Haves :Expertise en Ansible. Expérience avec Apache NiFi. Compétence en Hadoop (Big Data). Maîtrise de Kafka. Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA). Compétence en Spark. Nice to Have :Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional). Connaissances en Terraform et Terragrunt. Autres Détails :Catégorie: Environnement technique. Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible. Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme. Type de prestation : Data Engineering Level 8.4.
Dans le cadre du développement des activités Data de la R&D, nous recherchons un(e) Data Engineer Référent.e afin de contribuer à la conception, l'industrialisation et la fiabilisation des flux de données au sein d'une plateforme Data stratégique. Au cœur des enjeux de valorisation de la donnée, vous interviendrez sur l'ensemble du cycle de vie des traitements Data, depuis leur conception jusqu'à leur mise en production, tout en jouant un rôle de référent technique auprès de l'équipe. Vous évoluerez dans un environnement Agile à forte composante technique, en interaction avec les équipes Data, les développeurs et les métiers. Vos missions au quotidien : Concevoir, développer et maintenir les pipelines d'intégration et de transformation des données Garantir la qualité, la cohérence et la disponibilité des données Participer à la modélisation des données et à l'architecture des flux Industrialiser les développements via les pratiques CI/CD Définir et mettre en œuvre les stratégies de tests des traitements Data Assurer le support et l'analyse des incidents sur les traitements critiques Produire et maintenir la documentation technique et fonctionnelle Accompagner les Data Engineers de l'équipe dans la diffusion des bonnes pratiques Contribuer à l'amélioration continue des processus et standards de développement Participer aux cérémonies Agile et aux travaux de conception technique
Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineer capable d'intervenir aussi bien sur la conception fonctionnelle et technique que sur l'implémentation des solutions Data. Le consultant travaillera en étroite collaboration avec le Product Owner afin de comprendre les besoins métiers, les challenger et les traduire en spécifications fonctionnelles et techniques exploitables par l'équipe Data. Il jouera également un rôle de référent technique auprès des Data Engineers, dans un environnement principalement basé sur Snowflake, dbt et Google Cloud Platform (GCP).
La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais
Rejoignez nos équipes pour accompagner un acteur majeur dans la modernisation et l'optimisation de son infrastructure de données. Vous participerez à des projets d'intégration et d'administration de systèmes data critiques, en environnement ESB et ETL. En tant que Data Engineer, vous serez responsable du développement, de la construction et de la maintenance des infrastructures de données sous l'angle système et sécurité. Vous assurerez la collecte, le stockage et l'exploitation des flux de données en réponse aux enjeux métier de l'organisation. Votre expertise technique vous permettra de concevoir et déployer des solutions robustes et sécurisées, tout en documentant précisément vos travaux pour garantir la pérennité des systèmes. Vous évoluerez dans un environnement technique riche associant TIBCO BW (moteur d'intégration), Talend (ETL), Control-M (gestion de workflows) et IBM DataPower (sécurité et intégration), en suivant les bonnes pratiques d'installation, de test et de troubleshooting. Vos activités s'inscriront dans un cadre de maintenance, d'évolution et de surveillance des systèmes existants, ainsi que de décommissionnement si nécessaire. Responsabilités : - Installer, configurer et déployer les composants TIBCO BW et ESB en environnement de production et de test - Effectuer les tests fonctionnels et techniques, ainsi que le troubleshooting des flux de données et des intégrations - Mettre en place et assurer le monitoring continu des systèmes d'intégration et des flux - Gérer l'administration des pipelines de données via Talend, Control-M et les outils connexes - Assurer l'orchestration et la sécurisation des données via IBM DataPower - Mettre à jour et maintenir la documentation technique et architecturale - Participer à l'évolution, l'optimisation et le décommissionnement de composants selon les besoins métier - Collaborer avec les équipes infrastructure, sécurité et métier pour garantir la qualité et la conformité des solutions
Nous recherchons un(e) data Engineer DBT Snowflake capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : sxiaq2hbcd
Au sein d'un acteur de la finance quantitative, vous construisez la couche d'accès unifiée aux données — l'interface entre notre stockage brut et nos chercheurs quantitatifs, interrogée quotidiennement par nos systèmes de recherche et de production. C'est un poste à fort levier : la couche que vous concevez est le socle de chaque itération de recherche et de chaque stratégie en production. La vision d'architecture est discutée avec la direction quant ; vous en êtes le maître d'œuvre et portez les décisions de conception sur la couche d'accès et le feature store, par-dessus des pipelines d'ingestion existants et stables. Vous travaillez en binôme avec un développeur senior, dans une petite équipe technique autonome. Missions : Construire une API d'accès unifiée : prix/volumes, fondamentaux, univers, ... Garantir l'intégrité point-in-time au niveau de la couche d'accès API. Construire un feature store de données dérivées réutilisables. Normaliser les données entre fournisseurs. Structurer et exposer via API de gros jeux de données intraday (ex. carnet d'ordres, tick). Brancher le backtester de recherche sur l'API d'accès unifiée. Hors périmètre v1 : pipelines de features ML au-delà des bases statistiques
Vous maîtrisez le métier d'ingénieur données sur Databricks (sur AWS). Vos responsabilités seront les suivantes : • Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks. • Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.). • Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données. • Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines. • Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires. • Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données. • Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir. Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.
Rejoignez une équipe qui construit le moteur de la recherche quantitative. Nous développons une plateforme de données utilisée pour concevoir, tester et déployer des stratégies d'investissement quantitatives. Notre équipe construit les briques essentielles permettant aux chercheurs et développeurs de travailler sur des données financières massives, fiables et historisées. La qualité de la plateforme est un facteur déterminant dans la performance des modèles et des stratégies développés. Dans ce contexte, nous recherchons un(e) Senior Data Engineer pour concevoir et faire évoluer notre plateforme de données, utilisée quotidiennement par les équipes de recherche quantitative. Missions : Vous contribuerez directement à l'architecture, à la qualité et à l'évolution de notre écosystème data. Vos principales responsabilités : Concevoir et développer des pipelines de données robustes et performants. Construire et maintenir des API permettant l'accès aux données et aux signaux calculés. Développer et faire évoluer notre feature store. Garantir la qualité, la traçabilité et la cohérence des données historiques. Optimiser les performances de stockage et d'accès aux données. Collaborer étroitement avec les équipes de recherche quantitative et de développement logiciel. Participer aux choix d'architecture et aux évolutions de la plateforme. Vous travaillerez sur des problématiques concrètes de volumétrie, d'historisation, de reproductibilité et de performance dans un environnement où la qualité des données est critique. Hors périmètre v1 : pipelines de features ML au-delà des bases statistiques
Location - 2 days p/week in Glasgow Duration - 12 months Rate - £365 Inside IR35 Role Overview: You will be responsible for the reliable extraction, transformation, and loading of end-of-day data. Your primary focus will be managing the overnight batch processes that synchronize data across various internal sources. Key Responsibilities: Develop, schedule, and maintain complex automated batch jobs for overnight file creation. Transform large datasets from various internal upstream sources into standardized formats. Ensure data integrity and implement robust error-handling and alerting . Required Skills: Strong proficiency in Python. Hands-on experience with Pandas for high-performance data manipulation and analysis. Experience building and orchestrating pipelines using Apache Airflow. A plus: Understanding of financial instruments, specifically structured products and derivatives. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
Nous recherchons pour un de nos clients un Data Engineer Microsoft FabricCompétences obligatoiresMicrosoft Fabric (2 ans d'expérience minimum) PySpark Lakehouse / OneLake Notebooks Fabric Spark dans Fabric Fabric Endpoints Data Engineering sous Fabric Power BI (intégration avec Fabric) Modélisation de données Compétences fonctionnellesGouvernance des données Data Products Data Mesh Architecture Médaillon (Bronze / Silver / Gold) Expérience recherchéeMise en œuvre complète de la chaîne Microsoft Fabric : Ingestion des données Transformation Modélisation Industrialisation Exposition vers Power BI Construction de pipelines de transformation avant restitution dans Power BI. Expérience sur des plateformes Data modernes. Compétences appréciées (plus)Expérience avec dbt (Data Build Tool) pour la transformation et la modélisation des données. Connaissance des bonnes pratiques d'industrialisation et de versionning des modèles de données. Expérience sur Azure Data Platform (Synapse, Data Factory, Databricks) dans un contexte Microsoft Fabric. Le candidat devra maîtriserOneLake Lakehouse Notebooks PySpark Data Engineering Fabric Data Factory / Pipelines Fabric Endpoints Semantic Models Power BI Ce qui est attenduLe consultant devra être capable d'intervenir immédiatement sur une plateforme Microsoft Fabric en production et maîtriser l'ensemble de la chaîne Data, de l'ingestion à la transformation des données, jusqu'à leur exposition dans Power BI. Le besoin porte sur un profil très opérationnel, autonome et rapidement productif. Une expérience avec dbt (Data Build Tool) constituera un atout supplémentaire.
