Recherche : Data Engineer. Mission longue, localisation : Lille (hybride). Dans ce rôle, vous implémenterez des solutions à partir des règles fonctionnelles établies par le Product Manager / Data Owner. Vous documenterez les règles de qualité décrites dans Collibra pour valider les datasets. Vous partirez des templates génériques pour construire des pipelines scalables de données structurées et transformerez la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform. Vous répondrez aux questions des utilisateurs ainsi qu'à l'équipe de datavisualisation sur les données mises à disposition, serez capable d'intervenir sur l'ensemble des flux de l'équipe, documenterez les flux implémentés et contribuerez à l'amélioration des bonnes pratiques de développement au sein de l'équipe (Mob programming, Test Driven Development, ...). Vous contribuerez également à la communauté de data engineers. Abonnez-vous à la page NaxoTech sur LinkedIn pour découvrir nos offres régulières
Contexte de la mission Au sein de l'équipe Socles Data / DataHub, notre client recherche un profil expérimenté afin de renforcer l'expertise autour de Talend et de contribuer au maintien, à la sécurisation, à l'évolution et à la modernisation de la plateforme Data. La priorité de la mission porte sur l'expertise Talend. Une contribution aux développements et aux évolutions du Socle Générique est également prévue en complément. Vos missions Expertise Talend : • Assurer un rôle de référent technique sur Talend 8. • Accompagner les équipes utilisatrices et apporter un support aux développements Talend. • Analyser, diagnostiquer et résoudre les anomalies liées aux traitements Talend. • Maîtriser les spécificités des traitements Big Data / Spark. • Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. • Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. • Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item et .properties, les composants et leurs attributs. • Contribuer au maintien des composants custom Talend. • Créer et suivre les Cases Talend lorsque nécessaire. • Diffuser les bonnes pratiques et accompagner les Tech Leads. Contribution au Socle Générique : • Développement en Java / Spring Boot. • Analyse et correction d'anomalies. • Contribution aux évolutions techniques et à la modernisation du socle. Environment technique : • Talend 8 • Cloudera / CDP • Hadoop / Big Data • Maven • Git / CI-CD • SQL • Java / Spring Boot
Le contexteNotre client, un grand groupe d'assurance, renforce l'équipe décisionnelle de sa division Data. La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours. Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur. Vos missionsExploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout. Refresh des données entre environnements, puis leur automatisation. Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell. Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages. Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon). Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases). Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage. Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables. Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.
Dans le cadre d'un projet stratégique pour un acteur majeur du secteur bancaire, nous recherchons un Tech Lead Java disposant d'une solide expertise en Spark et Kubernetes. Vous intégrerez une équipe technique et serez en charge de contribuer à la conception, au développement et à l'évolution d'applications à fort enjeu, dans un environnement Big Data et cloud-native. 🛠️ Vos missions Concevoir et développer des applications Java robustes et scalables. Participer à la conception et à l'évolution de solutions basées sur Spark. Travailler sur des environnements conteneurisés avec Kubernetes. Être le référent technique de l'équipe sur les sujets Java / Big Data. Participer aux choix d'architecture et aux décisions techniques. Garantir la qualité du code : code review, bonnes pratiques, tests et performance. Accompagner les développeurs et partager les bonnes pratiques. Collaborer avec les différentes équipes techniques et fonctionnelles.
Maîtrise de Java (21+), Python (FastAPI, Django), Spring Boot / Spring WebFlux, architecture hexagonale et DDD Maîtrise d'Angular (versions récentes) et des kits de développement internes (Condor, JRAF) Bonne connaissance du modèle SOA / Webservices REST Connaissance des outils CI/CD (Jenkins, Ansible) et conteneurisation (Docker/Kubernetes) Connaissance des outils de tests automatisés (JUnit, Mockito, Cypress, Pytest) Connaissance du gestionnaire de source GIT Connaissance sur Azure et l'utilisations des ressources Azure La mission consiste à assurer le rôle de développeur FULL STACK senior avec des contributions sur l'ensemble des projets d'intelligence artificielle développés pour le compte du métier et des projets DATA. Ce poste exige au-delà des compétences techniques, des expériences en mode de travail agile, une bonne communication, une capacité de synthèse et une compréhension fine des enjeux techniques comme métier. La mission consiste à assurer les phases suivantes des différents projets DATA et IA en cours : Interprétation et conception des briefs techniques Développement et paramétrage Test et contrôle qualité et production Documentation technique
Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.
TEKsystems recherche pour l'un de ses clients un Expert Talend 8 / Tech Lead Data afin de renforcer une équipe Socles Data / DataHub dans un contexte de modernisation et de migration de sa plateforme Data. La mission consiste à sécuriser l'expertise Talend existante, accompagner les équipes techniques et contribuer à l'évolution de la plateforme. Votre rôle Vous interviendrez principalement comme référent technique Talend 8, avec une seconde dimension autour des évolutions du Socle Générique. 1. Expertise Talend 8, cœur de la mission Vous serez le point de référence technique Talend auprès des équipes et Tech Leads. À ce titre, vous interviendrez notamment sur : L'accompagnement et le support technique des équipes sur les développements Talend 8 L'analyse, le diagnostic et la résolution d'anomalies sur les traitements Talend Les traitements Big Data / Spark Les problématiques de compatibilité Talend / Cloudera CDP / Spark 3 Le maintien et l'évolution des projets de référence CORE et HOWTO La gestion des contextes, joblets, métadonnées et patterns de développement La compréhension et la manipulation de la structure interne des projets Talend : fichiers .item et .properties, composants et attributs Le maintien et l'évolution des composants custom Talend La création et le suivi des Cases Talend La définition et la diffusion des bonnes pratiques de développement L'accompagnement et la montée en compétence des Tech Leads La mission comporte également un enjeu important de transmission et de sécurisation de la connaissance Talend au sein de l'équipe. 2. Contribution au Socle Générique En complément de la partie Talend, vous pourrez contribuer aux évolutions techniques du Socle Data sur : des développements Java / Spring Boot l'analyse et la correction d'anomalies les évolutions et la modernisation du socle l'industrialisation des développements et des chaînes de build Environnement technique Talend 8 | Cloudera CDP | Spark 3 | Hadoop | Java | Spring Boot | SQL | Maven | Git | CI/CD
🚀 Data Engineer Senior – Big Data / Lakehouse / AWS Niveau : Senior Expérience : 8 ans minimum en Data Engineering Démarrage souhaité : ASAP Durée : 12 mois, renouvelable Rythme : 5 jours/semaine Télétravail : 3 jours/semaine 🎯 Contexte de la mission : Dans le cadre du renforcement de son pôle Data Services, notre client recherche un Data Engineer Senior pour accompagner la conception, l'industrialisation et l'évolution de ses solutions Data. Le consultant interviendra sur des sujets à forte dimension Data Engineering, Big Data et Lakehouse, avec notamment des problématiques d'architecture, de modélisation, d'optimisation des pipelines et d'industrialisation des traitements. Il contribuera également à l'évolution de la stratégie Lakehouse du client et devra être capable d'accompagner techniquement des profils plus juniors. 🔎 Missions Concevoir, développer et optimiser des pipelines de données à grande échelle Mettre en œuvre des flux batch, streaming et ingestion via API Structurer les données selon une architecture Médaillon (Bronze / Silver / Gold) Développer et industrialiser les transformations avec DBT, Spark et Iceberg Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse Déployer et maintenir les pipelines dans un environnement AWS Orchestrer les workflows ETL / ELT via Airflow Mettre en œuvre l'Infrastructure as Code avec Terraform Participer à la mise en place et au maintien de l'observabilité et de la supervision des traitements Définir et mettre en œuvre les règles de Data Quality : tests, contrôles et validations automatisées Participer à la gestion des incidents et à l'amélioration continue Documenter les architectures, pi
Nous recherchons un Cloud Data Engineer pour participer à la conception et à l'évolution d'une plateforme de données cloud moderne, destinée à soutenir les besoins croissants de l'entreprise en matière de données, d'analytique et de reporting. Vous rejoindrez une équipe d'ingénierie dynamique et collaborative, en charge de l'un des programmes technologiques les plus stratégiques de l'organisation. Votre équipeVous intégrerez une équipe de Data Engineers passionnés par la création de solutions de données performantes, évolutives et fiables. L'équipe est responsable du développement des fondations data permettant la mise en place de capacités analytiques avancées, de reporting et de produits de données à grande échelle. Vous collaborerez étroitement avec les équipes Data Platform, Data Ingestion, BI ainsi qu'avec les différents métiers afin de fournir des données fiables, accessibles et à forte valeur ajoutée pour l'ensemble de l'entreprise. Le poste est basé à Stockholm. Vos responsabilitésConcevoir, développer et maintenir des pipelines de données et des transformations de données à l'aide de Azure Databricks, dbt, PySpark et Python. Construire et maintenir des modèles de données robustes pour répondre aux besoins d'analyse, de reporting et des applications métiers. Orchestrer et automatiser les flux de données via Databricks Workflows, Apache Airflow et Azure Data Factory. Garantir la qualité, la fiabilité, la performance et la scalabilité des données sur l'ensemble de la plateforme. Mettre en place des capacités d'observabilité et de monitoring afin d'assurer le suivi et la validation des données. Contribuer à l'automatisation et à l'amélioration continue grâce aux pratiques CI/CD et aux standards d'ingénierie. Collaborer avec les développeurs, architectes, ingénieurs plateforme et parties prenantes métiers pour délivrer des solutions data à forte valeur. Participer activement à la vie de l'équipe, aux cérémonies Agile et au partage de connaissances afin de contribuer à une culture d'excellence. Votre profilNous recherchons un Data Engineer expérimenté possédant une solide expérience dans la conception, le développement et l'exploitation de pipelines de données au sein de l'écosystème Azure. Le poste est fortement orienté Data Engineering et développement de pipelines, plutôt que sur les aspects infrastructure ou administration de plateforme. Vous appréciez le travail en équipe, êtes à l'aise dans des environnements collaboratifs et savez interagir avec des interlocuteurs aussi bien techniques que métiers. La maîtrise du suédois est un plus, ou une volonté de développer cette compétence. Compétences requisesExcellente maîtrise de SQL, Python et PySpark. Expérience significative dans le développement de solutions data sur Azure Databricks. Bonne maîtrise de dbt pour la transformation, la modélisation, les tests et la documentation des données. Expérience avec des outils d'orchestration tels que Apache Airflow et/ou Azure Data Factory. Bonne compréhension des pratiques CI/CD et de l'automatisation des déploiements de pipelines de données. Connaissance des principes de gouvernance des données : qualité, traçabilité, gestion des accès et utilisation de Unity Catalog. Expérience de la création et de la maintenance de pipelines de données et de produits data en environnement de production. Compétences appréciéesExpérience avec Microsoft Fabric ou d'autres plateformes Data SaaS modernes. Expérience dans des environnements cloud d'envergure. Bonne compréhension des architectures data modernes et des plateformes analytiques cloud-native. Cette opportunité s'adresse à un Data Engineer souhaitant contribuer à la construction d'une plateforme de données moderne au sein d'un environnement technologique innovant et à fort impact métier.
Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Senior Data Engineer, avec un rôle de référent technique data au sein d'une équipe produit. Le programme fait évoluer un premier produit, en partie fondé sur des échanges de fichiers, vers une plateforme de données industrielle et multi-pays. Vous restez très opérationnel : vous concevez, codez et accompagnez les choix techniques de l'équipe. Vos missions : - Concevoir et construire des pipelines d'ingestion depuis des bases, des API REST, des flux partenaires et des fichiers, en batch et en quasi temps réel. - Modéliser des séries temporelles à fort volume et définir les modèles de données et contrats d'interface. - Construire des transformations testées qui produisent des jeux de données prêts au calcul d'indicateurs clients. - Mettre en place la qualité de données, les contrôles de réconciliation, le lineage et le monitoring avec alertes. - Déployer avec Git, revue de code, CI/CD et Infrastructure as Code, dans le respect de la sécurité des données. - Animer les revues de conception, coacher les développeurs et arbitrer entre réutilisation de briques existantes et développement. - Rédiger runbooks et documentation d'exploitation, et participer aux cérémonies Agile. Ref : O-HSGWY
Dans le cadre de plusieurs projets stratégiques de mise en œuvre d'assiettes communes pour les usages Finance et Risques, nous sommes à la recherche d'un(e) Data Engineer confirmé(e). Vos missions : Architecture & Conception : Contribuer activement aux choix d'architecture et de conception technique en étroite collaboration avec les architectes, Tech Leads et développeurs. Développement & Implémentation : Mettre en œuvre et développer les solutions techniques Big Data retenues pour fiabiliser et industrialiser les flux de données. Industrialisation & Qualité : Assurer l'industrialisation des développements et des tests en s'appuyant sur des solutions Open Source et l'ordonnancement des flux (UC4). Collaboration Internationale : Travailler au sein d'un environnement anglophone dynamique en appliquant rigoureusement les méthodologies Agile.
L'équipe que vous allez rejoindre est en charge d'accompagner les équipes métiers et IT dans la conception, le développement et l'industrialisation de solutions autour de la Data et de la GenAI. Dans un contexte de forte croissance des usages data et des volumes traités, l'équipe joue un rôle clé dans l'accélération des initiatives data du Groupe, en s'appuyant sur l'écosystème technologique (notamment AWS, Dataiku, Collibra, Databricks) et en garantissant l'alignement avec les standards de sécurité, de gouvernance et de performance. Les activités de l'équipe couvrent l'ensemble de la chaîne de valeur de la donnée, depuis sa collecte et son ingestion jusqu'à sa transformation et sa valorisation, en intégrant les enjeux d'optimisation des performances et des coûts. En parallèle, l'équipe conçoit et développe des outils, frameworks et solutions visant à simplifier l'expérience des utilisateurs, à industrialiser les pratiques et à accélérer le développement et le déploiement de cas d'usage Data et GenAI au sein de l'écosystème.
Nous recherchons un Analytics Engineer confirmé pour renforcer une équipe Data et intervenir sur des projets de transformation et d'industrialisation des données. Vous contribuerez à la conception de pipelines performants, à la modélisation des données et à l'évolution d'une plateforme Data moderne. Missions principalesConcevoir, développer et industrialiser des pipelines de transformation de données. Développer et optimiser les modèles de données avec dbt. Construire et faire évoluer la couche sémantique. Orchestrer les traitements avec Apache Airflow. Maintenir et optimiser les pipelines et datasets existants. Garantir la qualité, la fiabilité et la performance des données. Participer aux choix d'architecture et aux bonnes pratiques de développement. Collaborer avec les équipes Data Engineering et les équipes métiers. Environnement techniqueStack principale : Databricks / PySpark dbt Apache Airflow Python / SQL AWS (S3, Glue) Git / GitHub / CI/CD Compétences complémentaires : Scala / Spark Great Expectations Modélisation dimensionnelle (Kimball, Data Vault, OBT) Data Lineage / Data Governance
