Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d'industrialisation des plateformes Data. Vous participerez à la conception, au développement et à l'optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud. Vos principales responsabilités seront : Concevoir, développer et maintenir des pipelines de données sur Databricks. Développer des traitements distribués avec Apache Spark / PySpark. Assurer l'ingestion, la transformation et la mise à disposition des données. Concevoir et faire évoluer les différentes couches d'un Data Lake / Lakehouse. Mettre en œuvre les bonnes pratiques Medallion Architecture. Travailler avec Delta Lake / Delta Tables. Participer à la conception et à l'évolution de l'architecture Data. Optimiser les performances et la scalabilité des traitements. Industrialiser les développements et les déploiements. Mettre en place et maintenir les pipelines CI/CD. Utiliser Git pour la gestion, le versioning et la revue du code. Contribuer à l'automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code. Participer à l'amélioration continue de la plateforme Data et aux choix techniques.

Dans le cadre du renforcement d'une équipe Data intervenant sur des projets à forts enjeux, nous recherchons un Data Engineer confirmé. Vous participerez à la conception, au développement et à l'industrialisation de pipelines de données, depuis l'ingestion jusqu'à leur mise à disposition pour les différents usages métiers. Vos principales responsabilités : Concevoir et développer des pipelines Data robustes et industrialisés. Développer et maintenir des DAGs Apache Airflow. Réaliser les traitements de données avec Python / PySpark / Spark. Manipuler et optimiser les requêtes SQL. Mettre en œuvre les bonnes pratiques de qualité, tests et monitoring. Participer à la mise en production et à l'amélioration continue des traitements. Collaborer avec les équipes Data, métier, architecture et produit. Documenter les développements et contribuer aux standards techniques de l'équipe.

Au sein de la direction conformité ou sécurité financière d'un acteur bancaire, nous recherchons un Data Scientist spécialisé dans la détection de la fraude et la lutte contre le blanchiment (LCB-FT) pour renforcer les dispositifs de surveillance des transactions. Le consultant interviendra notamment sur : ▪ La conception et le développement de modèles de détection de fraude sur les transactions et les parcours clients ▪ Le développement de modèles de détection des comportements suspects au titre de la LCB-FT (AML) et l'optimisation des scénarios de surveillance existants ▪ La réduction du taux de faux positifs des dispositifs de filtrage et de surveillance, enjeu majeur de productivité pour les équipes d'analystes ▪ L'analyse des typologies de fraude et de blanchiment, et leur traduction en variables et règles exploitables par les modèles ▪ L'évaluation rigoureuse des modèles et la documentation nécessaire à leur validation indépendante et à leur présentation au régulateur ▪ L'explicabilité des modèles : capacité à justifier chaque alerte auprès des analystes et des autorités ▪ L'industrialisation des modèles et leur suivi en production (dérive, réentraînement)

Au sein du Security Operations Center (SOC) d'un grand compte, nous recherchons un Data Scientist spécialisé en cybersécurité pour renforcer les capacités de détection des menaces par l'exploitation avancée des données de sécurité. Le consultant interviendra notamment sur : ▪ La conception et le développement de modèles de détection d'anomalies sur les journaux de sécurité (logs réseau, systèmes, applicatifs) ▪ La mise en œuvre de l'analyse comportementale des utilisateurs et des entités (UEBA) : détection des comportements déviants, compromissions de comptes ▪ Le développement de modèles de scoring et de priorisation des alertes afin de réduire le bruit et les faux positifs ▪ L'analyse des jeux de données de sécurité et l'ingénierie des caractéristiques (feature engineering) sur des données massives et déséquilibrées ▪ L'évaluation rigoureuse des modèles : métriques adaptées à la détection (précision, rappel, taux de faux positifs), analyse des erreurs ▪ L'industrialisation et le monitoring des modèles en production, en lien avec les équipes SOC ▪ La collaboration avec les analystes sécurité pour qualifier les détections et enrichir les modèles

Dans le cadre du renforcement d'une équipe en charge d'applications critiques au sein d'un environnement bancaire, nous recherchons un(e) QA Automatisation des tests Vous rejoindrez une équipe travaillant sur des systèmes à forts enjeux, notamment autour des flux de paiement, de la compensation bancaire et de la gestion de données de référence Le poste offre une forte dimension technico-fonctionnelle, avec des problématiques variées de recette, de flux, de performance et de fiabilité des systèmes 📋 Vos missions • Prendre en charge les activités de recette technico-fonctionnelle sur un ou plusieurs périmètres applicatifs • Analyser et comprendre des règles de gestion complexes ainsi que les différents flux et interactions entre systèmes • Concevoir les stratégies et scénarios de tests, puis préparer et exécuter les campagnes de recette • Intervenir sur des problématiques techniques : analyse de logs, diagnostic d'anomalies, résilience, performance et tests de charge • Participer aux opérations de montée de version et d'évolution des composants techniques de l'écosystème • Collaborer au quotidien avec les équipes QA, automatisation, développement et les référents techniques/fonctionnels • Contribuer à l'amélioration continue des pratiques de test et à la fiabilisation des processus de recette • Être capable de monter rapidement en compétence sur de nouveaux domaines fonctionnels ou techniques 🛠️ Environnement • Cassandra • Spark • Robot Framework • Kafka • ActiveMQ • Tibco

Développeur Back confirmé/senior pour une mission chez un acteur majeur du secteur jeux/paris en ligne (patrimoine desktop & mobile à fort trafic). 🔧 Stack : Java 21+, Spring Boot/Cloud, Kafka, Redis, AWS, API REST, Spark/Scala (un plus) 📍Localisation: Clichy + 2 TT ⏰ Démarrage : Asap ✅ Poste CDI & Collaboration freelance possible Les missions Concevoir des solutions techniques en réponse aux besoins métiers Développer du code robuste, performant et maintenable Participer à la définition et à l'évolution de l'architecture et la reduction de la dette technique Travailler sur les sujets de performance et de sécurité Participer au maintien en condition opérationnelle et à la résolution des incidents de production Collaborer avec les architectes et contribuer aux roadmaps produit 💡 Ce qui rend le poste intéressant Vous intervenez sur des sujets où le backend, la data, l'architecture et les problématiques de performance à fort trafic se rencontrent. Cote JAVA cela demande une solide experience sur les architectures microservices ou hexagonales

Contexte :Dans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data confirmé spécialisé Snowflake / dbt pour participer à la conception et à l'évolution de sa plateforme Data Cloud. Missions :Concevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et maintenir les modèles de données sur Snowflake avec dbt. Développer des traitements Data en Python / PySpark / Spark. Participer à l'ingestion et à la transformation de données issues de différentes sources. Optimiser les traitements SQL et les performances des pipelines. Mettre en place les tests et contrôles de qualité des données. Participer à l'orchestration des pipelines avec Airflow / Azure Data Factory. Contribuer à l'industrialisation des développements via Git et CI/CD. Participer aux évolutions de l'architecture Data et aux bonnes pratiques de développement. Environnement technique :Snowflake, dbt, SQL, Python, PySpark, Apache Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Kafka, Delta Lake, Git, CI/CD, Power BI. Profil recherchéExpérience confirmée en Data Engineering. Très bonne maîtrise de Snowflake, dbt et SQL. Bonne maîtrise de Python et PySpark/Spark. Expérience sur un environnement Cloud Azure. Connaissance des outils d'orchestration et des pratiques CI/CD. Autonomie, rigueur et capacité à travailler dans un environnement Agile

Dans le cadre d'un projet Data à fort enjeu autour du pilotage de l'activité commerciale, nous recherchons un Data Engineer expérimenté pour renforcer une équipe en charge d'un environnement DataLab. Tu interviens sur le développement, la maintenance et l'optimisation de vues de données destinées aux usages de pilotage et d'analyse. Tes missions principales : Assurer le maintien en condition opérationnelle des vues existantes Développer de nouveaux besoins Data Concevoir et maintenir des vues normalisées et optimisées Garantir la qualité et la fiabilité des données mises à disposition Participer à l'optimisation des traitements et requêtes Contribuer à la sécurisation et à la bonne exploitation des flux de données Assurer le suivi des évolutions et des corrections Participer à l'amélioration continue du DataLab

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Data Architect / Tech Lead spécialisé sur les technologies Snowflake et DBT. Le consultant interviendra sur des sujets d'architecture Data, Data Engineering et Cloud, avec pour objectif de concevoir et faire évoluer des solutions Data robustes, évolutives et industrialisées. Il sera également amené à jouer un rôle de référent technique auprès des équipes Data et à accompagner les choix d'architecture et les bonnes pratiques de développement. Missions principalesConcevoir et faire évoluer l'architecture Data autour de Snowflake. Participer à la conception de plateformes et solutions Data Cloud. Définir les architectures adaptées aux besoins des projets Data. Concevoir, développer et faire évoluer des pipelines de données ETL/ELT. Mettre en œuvre les transformations de données avec DBT. Accompagner les équipes dans l'utilisation de Snowflake et DBT. Définir et promouvoir les bonnes pratiques d'architecture, de développement et d'industrialisation Data. Intervenir sur des problématiques de Data Engineering et Cloud. Participer à l'intégration et à la transformation des données provenant de différentes sources. Optimiser les traitements et les flux de données. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la mise en place de solutions Data évolutives et performantes. Assurer un rôle de Tech Lead auprès des équipes techniques. Accompagner les Data Engineers dans leurs choix techniques. Participer aux revues de code et aux revues d'architecture. Identifier les axes d'amélioration et contribuer à l'industrialisation des processus Data. Collaborer avec les équipes Data, Cloud, Analytics et les équipes métier. Participer à la documentation des architectures et des solutions mises en œuvre. Compétences techniques — indispensablesSnowflake — expertise Certification Snowflake — Must Have DBT — expérience concrète Data Architecture Tech Lead / leadership technique Data Engineering ETL / ELT SQL Cloud Data Platform Environnement techniqueData Warehouse / Data Cloud Snowflake DBT SQL Data Engineering / Big Data Apache Spark PySpark Python Pandas Hadoop Impala Cloud / Azure Microsoft Azure Azure Databricks Azure Data Factory Azure Data Lake Storage / ADLS Data Integration / Orchestration Azure Data Factory Informatica Stonebranch Power Automate Analytics / BI Power BI DevOps / Collaboration GitHub Databricks Repo Jira Confluence Méthodologie Agile