Find your next tech and IT Job or contract Apache Spark

Le contexteDans le cadre du maintien en conditions opérationnelles et de l'évolution d'un environnement Big Data / Datalake décisionnel, nous recherchons un(e) Ingénieur Data Spark/Scala – Gestion courante afin d'accompagner l'un de nos clients sur des enjeux de suivi d'exploitation, correction d'incidents et évolution de traitements Data. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : Assurance 🛡️ Organisation : Équipe de Gestion Courante Décisionnel au sein de la Direction des Études Enjeux : Assurer le maintien de la qualité de service sur un périmètre applicatif décisionnel développé en Spark/Scala, en assurant le suivi des traitements, la résolution des incidents et la mise en œuvre des évolutions. Ce que tu feras concrètementDans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Assurer le suivi quotidien des traitements en Spark/Scala ➞ Analyser et corriger les incidents fonctionnels, avec leurs éventuelles reprises de données ➞ Réaliser les évolutions confiées sur le périmètre ➞ Tester les corrections d'incidents et les développements réalisés ➞ Mettre à jour la documentation et assurer la mise en production des corrections et développements Ton environnementTechnologies : Spark, Scala, Hadoop, Hive, HDFS, YARN, Oozie, Parquet, Kafka, Spark Streaming, MongoDB, JSON, Avro Outils : Cloudera, Git Bases de données : Oracle

Un projet stratégique de la filière Risques d'un grand groupe bancaire : mesurer l'impact des risques climatiques et physiques sur le risque de crédit, sur Google Cloud. Au sein du domaine Risques de la DSI, le projet ingère, agrège et expose des données de sources multiples pour produire les rapports de surveillance du risque de crédit. La solution est bâtie sur Google Cloud Platform, portée par une équipe engagée et experte du sujet. Le projet est à forte visibilité : les critères d'expertise technique sont impératifs. Vos principales missions : Développer et intégrer des solutions Python / Spark avec les services data et compute de Google Cloud Platform. Ingérer, agréger et exposer des données issues de sources multiples. Contribuer à la chaîne DevOps du projet : déploiements, infrastructure as code. Ce que la mission vous apporte : Un sujet d'actualité réglementaire et sociétale : le risque climatique en banque. Une stack GCP complète, de l'ingestion à l'exposition. Environnement technique : GCP (BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, GCS), Python, Spark, XL Deploy, Terraform, Jenkins.

Contexte Dans le cadre d'un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l'évolution d'une Data Platform destinée à alimenter des solutions métiers et des cas d'usage IA. La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse. Missions Participer à la définition et à l'évolution de l'architecture de la Data Platform et du Lakehouse. Concevoir, développer et optimiser des pipelines d'ingestion et de transformation de données. Développer des jobs Data avec AWS Glue, Spark et PySpark. Intégrer les services AWS dédiés au Data Management. Développer et maintenir des API en Java 17/21 avec Spring Boot. Traiter des données internes et provenant de fournisseurs externes. Traduire les besoins fonctionnels en solutions techniques fiables et évolutives. Participer à la mise en place d'un environnement Data Lab. Industrialiser les développements et les déploiements avec des pipelines CI/CD. Mettre en place les tests automatisés et les contrôles de qualité du code. Garantir la sécurité, la performance et la maintenabilité des solutions. Participer aux mises en production. Assurer le support de production en cas d'incident majeur. Produire et maintenir la documentation technique. Compétences techniquesAWS : S3, Glue et services Data associés Data Engineering : Spark, PySpark et Hadoop Lakehouse : Apache Iceberg et Trino Développement : Java 17/21 et Spring Boot Bases de données : PostgreSQL et Oracle Tests : JUnit 5 et Mockito CI/CD : GitLab CI Qualité et gestion des dépendances : SonarQube, Maven et Artifactory Conteneurisation : Docker et Kubernetes GitOps et déploiement : Argo CD Formats : JSON, YAML et XML Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint

Delivery data engineering en proximité métier Concevoir, développer et maintenir des pipelines de données batch, event-driven ou streaming selon les besoins des produits data. Traduire les exigences fonctionnelles et contraintes techniques en solutions data simples, robustes, scalables et maintenables. Contribuer aux cérémonies de delivery, au chiffrage, à la planification, à la gestion des dépendances et à la sécurisation des engagements des squads. Assurer une collaboration fluide avec les Delivery Managers pour rendre visibles les risques, dépendances, arbitrages et points de blocage. Industrialisation, qualité et fiabilité Mettre en œuvre les « quality gates » : tests unitaires et d'intégration, tests de données, contrôle de schéma, idempotence, stratégies de reprise et validation de la qualité. Appliquer les standards de développement Python, PySpark et SQL, ainsi que les bonnes pratiques Git, CI/CD, revue de code et documentation. Contribuer à l'observabilité des flux : logs, métriques, alerting, lineage, suivi des SLA/SLO et analyse des incidents de run. Participer au diagnostic et à la résolution des incidents ou problèmes de production en lien avec les équipes plateformes, CloudOps et SecOps. Architecture data, Lakehouse et performance Implémenter les patterns d'architecture validés : ingestion, modélisation Lakehouse, architecture médaillon, data products, APIs de données et intégrations réutilisables. Optimiser les traitements Spark/Databricks, les requêtes SQL, les stratégies de stockage et l'utilisation du compute afin d'améliorer performance et coûts. Documenter les choix techniques structurants et contribuer aux ADR lorsque les décisions impactent les standards ou la trajectoire cible. Veiller à la cohérence des solutions avec l'architecture One B2C, les standards Data Engineering & Platforms et les exigences entreprise. Sécurité, gouvernance et conformité Intégrer les exigences de sécurité by design : gestion des secrets, IAM, droits d'accès, chiffrement, durcissement, scans et séparation des environnements. Appliquer les règles de protection des données, d'anonymisation, de minimisation, de traçabilité et de conformité RGPD. Contribuer à la gouvernance opérationnelle des datasets, métadonnées, contrats de données, contrôles d'accès et règles de qualité. Travailler avec les équipes Cybersecurity, Infrastructure, Data Office et Architecture pour garantir l'alignement avec les standards ENGIE. AI-assisted engineering et amélioration continue Utiliser de manière responsable les outils d'ingénierie assistée par IA, tels que Copilot, agents, génération de code, SQL, tests, documentation et aide au debugging. Identifier et proposer des opportunités d'automatisation pour accélérer le delivery, réduire les erreurs et standardiser les pratiques d'ingénierie.

Au sein du Security Operations Center (SOC) d'un grand compte, nous recherchons un Data Scientist spécialisé en cybersécurité pour renforcer les capacités de détection des menaces par l'exploitation avancée des données de sécurité. Le consultant interviendra notamment sur : ▪ La conception et le développement de modèles de détection d'anomalies sur les journaux de sécurité (logs réseau, systèmes, applicatifs) ▪ La mise en œuvre de l'analyse comportementale des utilisateurs et des entités (UEBA) : détection des comportements déviants, compromissions de comptes ▪ Le développement de modèles de scoring et de priorisation des alertes afin de réduire le bruit et les faux positifs ▪ L'analyse des jeux de données de sécurité et l'ingénierie des caractéristiques (feature engineering) sur des données massives et déséquilibrées ▪ L'évaluation rigoureuse des modèles : métriques adaptées à la détection (précision, rappel, taux de faux positifs), analyse des erreurs ▪ L'industrialisation et le monitoring des modèles en production, en lien avec les équipes SOC ▪ La collaboration avec les analystes sécurité pour qualifier les détections et enrichir les modèles

La mission s'inscrit dans le cadre d'un programme de transformation réglementaire lié aux évolutions de Bâle et vise à accompagner la conception, le développement et l'optimisation de moteurs de calcul de risques bancaires RWA et ECL. Le consultant interviendra sur des environnements Java, Spark et Hadoop afin de faire évoluer l'architecture existante pour traiter des volumétries de données plus importantes, mettre en place des simulateurs RWA/ECL au niveau Groupe et automatiser les processus de benchmark et de simulation. Il participera également à la clarification des besoins, aux choix des solutions techniques, à la conception et à l'implémentation des solutions applicatives, aux migrations techniques notamment vers le Cloud, ainsi qu'au support technique auprès des utilisateurs, dans le respect des normes et standards du système d'information.

Au sein de la direction conformité ou sécurité financière d'un acteur bancaire, nous recherchons un Data Scientist spécialisé dans la détection de la fraude et la lutte contre le blanchiment (LCB-FT) pour renforcer les dispositifs de surveillance des transactions. Le consultant interviendra notamment sur : ▪ La conception et le développement de modèles de détection de fraude sur les transactions et les parcours clients ▪ Le développement de modèles de détection des comportements suspects au titre de la LCB-FT (AML) et l'optimisation des scénarios de surveillance existants ▪ La réduction du taux de faux positifs des dispositifs de filtrage et de surveillance, enjeu majeur de productivité pour les équipes d'analystes ▪ L'analyse des typologies de fraude et de blanchiment, et leur traduction en variables et règles exploitables par les modèles ▪ L'évaluation rigoureuse des modèles et la documentation nécessaire à leur validation indépendante et à leur présentation au régulateur ▪ L'explicabilité des modèles : capacité à justifier chaque alerte auprès des analystes et des autorités ▪ L'industrialisation des modèles et leur suivi en production (dérive, réentraînement)

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Data Architect / Tech Lead spécialisé sur les technologies Snowflake et DBT. Le consultant interviendra sur des sujets d'architecture Data, Data Engineering et Cloud, avec pour objectif de concevoir et faire évoluer des solutions Data robustes, évolutives et industrialisées. Il sera également amené à jouer un rôle de référent technique auprès des équipes Data et à accompagner les choix d'architecture et les bonnes pratiques de développement. Missions principalesConcevoir et faire évoluer l'architecture Data autour de Snowflake. Participer à la conception de plateformes et solutions Data Cloud. Définir les architectures adaptées aux besoins des projets Data. Concevoir, développer et faire évoluer des pipelines de données ETL/ELT. Mettre en œuvre les transformations de données avec DBT. Accompagner les équipes dans l'utilisation de Snowflake et DBT. Définir et promouvoir les bonnes pratiques d'architecture, de développement et d'industrialisation Data. Intervenir sur des problématiques de Data Engineering et Cloud. Participer à l'intégration et à la transformation des données provenant de différentes sources. Optimiser les traitements et les flux de données. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la mise en place de solutions Data évolutives et performantes. Assurer un rôle de Tech Lead auprès des équipes techniques. Accompagner les Data Engineers dans leurs choix techniques. Participer aux revues de code et aux revues d'architecture. Identifier les axes d'amélioration et contribuer à l'industrialisation des processus Data. Collaborer avec les équipes Data, Cloud, Analytics et les équipes métier. Participer à la documentation des architectures et des solutions mises en œuvre. Compétences techniques — indispensablesSnowflake — expertise Certification Snowflake — Must Have DBT — expérience concrète Data Architecture Tech Lead / leadership technique Data Engineering ETL / ELT SQL Cloud Data Platform Environnement techniqueData Warehouse / Data Cloud Snowflake DBT SQL Data Engineering / Big Data Apache Spark PySpark Python Pandas Hadoop Impala Cloud / Azure Microsoft Azure Azure Databricks Azure Data Factory Azure Data Lake Storage / ADLS Data Integration / Orchestration Azure Data Factory Informatica Stonebranch Power Automate Analytics / BI Power BI DevOps / Collaboration GitHub Databricks Repo Jira Confluence Méthodologie Agile