Find your next tech and IT Job or contract Spark Streaming

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé. Vous rejoignez une équipe transverse qui accompagne les équipes métiers et IT dans la conception, le développement et l'industrialisation de solutions autour de la data et de la GenAI. Les volumes et les usages data progressent fortement : votre travail accélère des initiatives à l'échelle d'un grand groupe. Vos missions : - Concevoir et développer des pipelines de données couvrant la collecte, l'ingestion, la transformation et la valorisation. - Développer en Python selon les bonnes pratiques de software engineering : tests, qualité du code, conception. - Exploiter l'écosystème AWS, Spark et Databricks sur des architectures Big Data distribuées. - Optimiser les performances et les coûts des traitements. - Contribuer à des outils et frameworks internes qui industrialisent les cas d'usage data et GenAI. - Respecter les standards de sécurité et de gouvernance de la donnée. - Travailler en mode Agile avec des interlocuteurs métiers et techniques, dans un cadre international. Vous êtes recruté en CDI cadre chez Ingéniance et intégrez notre communauté d'experts data. Ref : O-PGWBF

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé, pour rejoindre une équipe transverse qui accompagne les équipes métiers et IT dans leurs projets Data et GenAI. Vous évoluerez dans un environnement cloud moderne (AWS, Databricks) et contribuerez à industrialiser des cas d'usage data à grande échelle, dans le respect de la sécurité, de la gouvernance et de la performance. Vos missions : - Concevoir et développer des solutions data en Python, avec une vraie exigence de software engineering (tests, qualité du code, bonnes pratiques) - Construire et optimiser des traitements Big Data distribués avec Spark et Databricks - Définir et faire évoluer les architectures et la modélisation des données sur AWS - Développer des outils et frameworks réutilisables pour industrialiser les cas d'usage Data et GenAI - Exposer et consommer des données via des APIs - Assurer les évolutions et corrections des développements existants, et produire la documentation d'architecture - Travailler en mode Agile avec des équipes métiers et IT, dans un contexte international Ref : O-PFFZX

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Développeur Data Engineer expérimenté. Vous rejoignez une équipe qui construit, alimente et fait évoluer une plateforme de données dédiée à la finance durable (ESG). Vous êtes en contact direct avec les métiers, les architectes et les équipes infrastructure. Vos missions : - Développer des applications fullstack en Java (Spring, Hibernate) et en Angular. - Concevoir des traitements de données massifs avec Spark 3 en Java et des flux Kafka. - Concevoir et exposer des API REST/SOAP sécurisées (OAuth2), en approche TDD. - Déployer les applications sur Kubernetes, dans une démarche DevOps, avec les équipes infrastructure. - Rédiger des tests automatisés avec Cucumber. - Réaliser des tableaux de bord PowerBI pour restituer la donnée aux métiers. - Contribuer à l'architecture en microservices de la plateforme. Ref : O-QNPML

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer Senior à posture de lead, pour porter une plateforme de données AWS lancée from scratch pour une équipe des marchés actions. Chaque nuit, des batchs produisent des prix, des sensibilités et du PnL sur plusieurs centaines de millions de lignes. Les équipes métier connaissent ces données, mais ont besoin d'un expert pour construire des pipelines industriels. Vous pilotez le projet au quotidien, en appui du Tech Lead qui valide les grandes orientations. Vos missions : - Porter le projet de bout en bout : cadrage avec le métier, découpage, priorisation et plan de livraison. - Proposer et défendre les choix d'architecture, et arbitrer en autonomie. - Encadrer deux développeurs (un junior, un confirmé) : standards de code, revues, montée en compétences. - Définir la stratégie de refactoring d'un projet existant, priorisée par risque et par valeur. - Construire un framework commun piloté par configuration et développer les pipelines Python / PySpark sur AWS Glue. - Orchestrer avec Step Functions et EventBridge, organiser le stockage S3 (Parquet ou Iceberg) et l'exposition via Glue Data Catalog et Athena. - Mettre en place la qualité des données et le monitoring, et optimiser performances et coûts. - Industrialiser avec l'équipe DevOps : Terraform, CI/CD, tests. Vous rejoignez Ingéniance en CDI et intégrez une communauté d'experts de la data et de la finance de marché. Ref : O-SIYUA

Bonjour à tous, Mission Data Engineer Senior / Expert – Lakehouse AWS Nous recherchons 2 Data Engineers Senior / Experts pour accompagner une équipe Data dans la conception, l'industrialisation et l'évolution de solutions data à grande échelle. La mission · Concevoir et optimiser des pipelines de données · Développer des flux batch, streaming et API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Contribuer à l'évolution d'une architecture Lakehouse · Garantir la qualité, la supervision et l'observabilité des traitements Stack technique Spark / PySpark • Python • AWS • DBT • Iceberg Airflow • Terraform • Docker • KubernetesAWS S3, Glue, EMR Trino / Starburst • Datadog ➕ Data Catalog 📍 Localisation : Île-de-France 🏠 Télétravail : 3 jours/semaine 📅 Démarrage : dès que possible ⏳ Durée : jusqu'à août 2027 🎓 Expérience : 8 ans minimum en Data Engineering Vous avez une solide expérience en Data Engineering, Big Data et architectures Lakehouse et vous maîtrisez Spark, AWS, Python et DBT ? 📩 N'hésitez pas à me contacter en MP ou à partager votre CV.

CONTEXTE Dans le cadre d'un environnement international de trading d'énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève. Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité. Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu'avec des équipes internationales basées notamment à Paris, Houston et Singapour. RESPONSABILITÉS Concevoir, maintenir et optimiser des pipelines de données batch et temps réel. Développer des solutions de streaming data à haute performance. Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake. Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis. Développer des pipelines et APIs en Python. Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM. Garantir la disponibilité, l'intégrité, la qualité et la performance des données. Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel. Participer à l'amélioration continue des pratiques de monitoring, CI/CD et observabilité. Collaborer avec les équipes métier et techniques dans un contexte international et exigeant. ENVIRONNEMENT TECHNIQUE Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

Dans le cadre d'un projet Data / Big Data, nous recherchons un Data Engineer confirmé / senior spécialisé en Python et Spark/PySpark, pour intervenir sur une plateforme Cloudera CDP. 🎯 Contexte de la missionVous interviendrez sur des sujets de développement Data Engineering, avec la conception et l'évolution de pipelines de données en environnement Big Data, notamment sur des traitements batch et streaming. 🛠️ MissionsDévelopper des pipelines et traitements Data en Python / Spark / PySpark Concevoir et maintenir des traitements Spark Streaming Participer au développement et à l'intégration de flux de données Intervenir sur une plateforme Cloudera CDP 7.1.9 Travailler avec les différents composants de l'écosystème Big Data Participer aux évolutions et à l'industrialisation des traitements Data Collaborer avec les équipes Data / Back / Infrastructure 💻 Environnement techniqueIndispensables : ⭐ Python ⭐ Apache Spark ⭐ PySpark Expérience significative en Data Engineering Environnement fortement apprécié : Cloudera CDP 7.1.9 Kafka NiFi Kubernetes / K8s Hive Ozone Iceberg Data Virtualization Spark Streaming

Nous recherchons un Data Engineer expérimenté pour rejoindre une équipe data au sein d'un grand groupe du secteur marketing et de la transformation numérique. Vous piloterez l'architecture et l'implémentation de la plateforme PCS, en exploitant la puissance de Google Cloud Platform et les technologies de traitement en temps réel. Vous serez en charge de concevoir et de maintenir des architectures robustes de traitement de données temps réel, en assurant la scalabilité, la fiabilité et la performance des pipelines de données. Votre expertise technique et votre capacité à guider les décisions architecturales seront essentielles pour garantir l'alignement avec les objectifs métier et les meilleures pratiques du secteur. Vous travaillerez en environnement Agile/Scrum, en collaboration étroite avec les équipes de développement et les stakeholders. Responsabilités : - Concevoir et implémenter des architectures de traitement temps réel utilisant Apache Beam, Spark Streaming, Flink ou technologies équivalentes - Piloter les décisions architecturales et techniques pour la plateforme PCS - Développer et optimiser des pipelines de données robustes sur GCP (BigQuery, Dataflow, Dataproc, Bigtable) - Garantir la qualité, la scalabilité et la performance des solutions data - Collaborer avec les équipes multidisciplinaires dans un environnement multiculturel - Documenter les architectures et les décisions techniques - Participer aux ateliers de conception et aux revues de code - Mentorer les membres juniors de l'équipe sur les bonnes pratiques Télétravail : 2 jours par semaine Localisation : Valbonne