Find your next tech and IT Job or contract Apache Spark

La mission s'inscrit dans le cadre d'un programme de transformation réglementaire lié aux évolutions de Bâle et vise à accompagner la conception, le développement et l'optimisation de moteurs de calcul de risques bancaires RWA et ECL. Le consultant interviendra sur des environnements Java, Spark et Hadoop afin de faire évoluer l'architecture existante pour traiter des volumétries de données plus importantes, mettre en place des simulateurs RWA/ECL au niveau Groupe et automatiser les processus de benchmark et de simulation. Il participera également à la clarification des besoins, aux choix des solutions techniques, à la conception et à l'implémentation des solutions applicatives, aux migrations techniques notamment vers le Cloud, ainsi qu'au support technique auprès des utilisateurs, dans le respect des normes et standards du système d'information.

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Data Architect / Tech Lead spécialisé sur les technologies Snowflake et DBT. Le consultant interviendra sur des sujets d'architecture Data, Data Engineering et Cloud, avec pour objectif de concevoir et faire évoluer des solutions Data robustes, évolutives et industrialisées. Il sera également amené à jouer un rôle de référent technique auprès des équipes Data et à accompagner les choix d'architecture et les bonnes pratiques de développement. Missions principalesConcevoir et faire évoluer l'architecture Data autour de Snowflake. Participer à la conception de plateformes et solutions Data Cloud. Définir les architectures adaptées aux besoins des projets Data. Concevoir, développer et faire évoluer des pipelines de données ETL/ELT. Mettre en œuvre les transformations de données avec DBT. Accompagner les équipes dans l'utilisation de Snowflake et DBT. Définir et promouvoir les bonnes pratiques d'architecture, de développement et d'industrialisation Data. Intervenir sur des problématiques de Data Engineering et Cloud. Participer à l'intégration et à la transformation des données provenant de différentes sources. Optimiser les traitements et les flux de données. Garantir la qualité, la fiabilité et la disponibilité des données. Participer à la mise en place de solutions Data évolutives et performantes. Assurer un rôle de Tech Lead auprès des équipes techniques. Accompagner les Data Engineers dans leurs choix techniques. Participer aux revues de code et aux revues d'architecture. Identifier les axes d'amélioration et contribuer à l'industrialisation des processus Data. Collaborer avec les équipes Data, Cloud, Analytics et les équipes métier. Participer à la documentation des architectures et des solutions mises en œuvre. Compétences techniques — indispensablesSnowflake — expertise Certification Snowflake — Must Have DBT — expérience concrète Data Architecture Tech Lead / leadership technique Data Engineering ETL / ELT SQL Cloud Data Platform Environnement techniqueData Warehouse / Data Cloud Snowflake DBT SQL Data Engineering / Big Data Apache Spark PySpark Python Pandas Hadoop Impala Cloud / Azure Microsoft Azure Azure Databricks Azure Data Factory Azure Data Lake Storage / ADLS Data Integration / Orchestration Azure Data Factory Informatica Stonebranch Power Automate Analytics / BI Power BI DevOps / Collaboration GitHub Databricks Repo Jira Confluence Méthodologie Agile

Au sein de la direction conformité ou sécurité financière d'un acteur bancaire, nous recherchons un Data Scientist spécialisé dans la détection de la fraude et la lutte contre le blanchiment (LCB-FT) pour renforcer les dispositifs de surveillance des transactions. Le consultant interviendra notamment sur : ▪ La conception et le développement de modèles de détection de fraude sur les transactions et les parcours clients ▪ Le développement de modèles de détection des comportements suspects au titre de la LCB-FT (AML) et l'optimisation des scénarios de surveillance existants ▪ La réduction du taux de faux positifs des dispositifs de filtrage et de surveillance, enjeu majeur de productivité pour les équipes d'analystes ▪ L'analyse des typologies de fraude et de blanchiment, et leur traduction en variables et règles exploitables par les modèles ▪ L'évaluation rigoureuse des modèles et la documentation nécessaire à leur validation indépendante et à leur présentation au régulateur ▪ L'explicabilité des modèles : capacité à justifier chaque alerte auprès des analystes et des autorités ▪ L'industrialisation des modèles et leur suivi en production (dérive, réentraînement)

Contexte :Dans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data confirmé spécialisé Snowflake / dbt pour participer à la conception et à l'évolution de sa plateforme Data Cloud. Missions :Concevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et maintenir les modèles de données sur Snowflake avec dbt. Développer des traitements Data en Python / PySpark / Spark. Participer à l'ingestion et à la transformation de données issues de différentes sources. Optimiser les traitements SQL et les performances des pipelines. Mettre en place les tests et contrôles de qualité des données. Participer à l'orchestration des pipelines avec Airflow / Azure Data Factory. Contribuer à l'industrialisation des développements via Git et CI/CD. Participer aux évolutions de l'architecture Data et aux bonnes pratiques de développement. Environnement technique :Snowflake, dbt, SQL, Python, PySpark, Apache Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Kafka, Delta Lake, Git, CI/CD, Power BI. Profil recherchéExpérience confirmée en Data Engineering. Très bonne maîtrise de Snowflake, dbt et SQL. Bonne maîtrise de Python et PySpark/Spark. Expérience sur un environnement Cloud Azure. Connaissance des outils d'orchestration et des pratiques CI/CD. Autonomie, rigueur et capacité à travailler dans un environnement Agile

Dans le cadre d'un projet Data à fort enjeu autour du pilotage de l'activité commerciale, nous recherchons un Data Engineer expérimenté pour renforcer une équipe en charge d'un environnement DataLab. Tu interviens sur le développement, la maintenance et l'optimisation de vues de données destinées aux usages de pilotage et d'analyse. Tes missions principales : Assurer le maintien en condition opérationnelle des vues existantes Développer de nouveaux besoins Data Concevoir et maintenir des vues normalisées et optimisées Garantir la qualité et la fiabilité des données mises à disposition Participer à l'optimisation des traitements et requêtes Contribuer à la sécurisation et à la bonne exploitation des flux de données Assurer le suivi des évolutions et des corrections Participer à l'amélioration continue du DataLab

Contexte de la mission Dans le cadre du développement et de l'industrialisation d'une plateforme d'Intelligence Artificielle, nous recherchons un Architecte Plateforme IA capable de concevoir, déployer et maintenir l'infrastructure logicielle et matérielle nécessaire au cycle de vie des modèles et services IA. L'architecte fera le lien entre les équipes Machine Learning, Software Engineering et DevOps/SRE, en garantissant la performance, la sécurité, la scalabilité et la fiabilité de la plateforme. Mission de 6 mois maximum, avec possibilité de pré-embauche. Missions principalesConcevoir et industrialiser une plateforme IA capable de supporter des usages à grande échelle. Définir et optimiser les architectures RAG (Retrieval-Augmented Generation) : Advanced RAG, Graph RAG et Agentic RAG. Concevoir des architectures d'intégration de données expertes dans les modèles d'IA. Mettre en place et optimiser les processus MLOps / LLMOps : déploiement, monitoring et gestion du cycle de vie des modèles. Garantir la confidentialité et la sécurité des données, notamment dans le cadre du RGPD et de l'AI Act. Piloter l'infrastructure Cloud et l'orchestration Kubernetes. Optimiser la scalabilité, les performances et les coûts d'inférence des modèles IA (GPU/CPU, token management). Participer à la mise en œuvre d'une plateforme répondant aux exigences de souveraineté numérique.

RECHERCHE – DATA ENGINEER SENIOR Je recherche 2 Data Engineers Senior pour intervenir sur un projet Data ambitieux en Île-de-France. 🔹 Expérience : 8 ans minimum en Data Engineering 🔹 Localisation : IDF 🔹 Télétravail : 3 jours/semaine 🔹 Démarrage : ASAP 🔹 Mission longue durée 🛠️ Compétences indispensables : • Python • Spark • AWS (Glue, EMR, S3…) • Big Data • DBT • Architecture Lakehouse • Modélisation et collecte de données • Terraform • Airflow ⭐ Une expérience sur Iceberg et Starburst/Trino est fortement appréciée. Le poste implique également des sujets de pipelines Data à grande échelle, batch/streaming, industrialisation, qualité et observabilité des données. 📩 Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.

🚀 Opportunité – Expert Data Engineer Azure / Databricks – Level 4 Dans le cadre de l'évolution d'une Data Platform Azure au sein d'un grand groupe, nous recherchons un(e) Data Engineer Senior / Expert Azure & Databricks. 🎯 Missions : Faire évoluer un Data Lake sur Azure Concevoir et déployer un Data Lake gouverné Intégrer et mettre en œuvre Databricks Unity Catalog Définir les modèles d'accès, de gouvernance et de partage des données Mettre à disposition les données sous forme de tables Delta / Iceberg Participer à la réalisation de POC et à l'industrialisation de la plateforme 🛠 Compétences recherchées : Azure Databricks / Unity Catalog Spark Azure DevOps GitHub Java JavaScript / TypeScript Data Lake / Data Platform Gouvernance et partage de données Delta / Iceberg 👤 Profil : Data Engineer Senior / Expert – Level 4 Forte expérience sur des plateformes Data Azure Expertise Databricks et gouvernance de données Autonomie et capacité à intervenir sur des sujets d'architecture et d'industrialisation 📍 Île-de-France – Présentiel ⏳ Mission longue

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

Vous voulez voir vos pipelines faire tourner la logistique d'un géant de la distribution ? Cette mission est pour vous. VADEMI recherche un Data Engineer confirmé / senior pour rejoindre la Data Factory d'un grand groupe national de la distribution, en pleine accélération. Après de premiers succès, la Data Factory passe à l'échelle : nouvelle organisation Agile en Domaine / Tribu / Squad, industrialisation des pratiques et livraisons accélérées. Vous intégrez la Squad Supply / Logistique, qui conçoit des produits BI, Analytics et Data Science sur une plateforme Azure + Databricks. Vos traitements alimentent concrètement les entrepôts, les magasins et les consommateurs. Vos missions : - Recueillir les besoins métier et analyser les données - Concevoir et construire des pipelines de données au sein du Data Lake - Développer des notebooks Databricks pour des traitements avancés (PySpark / Spark SQL) - Optimiser les traitements et tuner les requêtes SQL (Cloud Data Warehousing) - Réaliser les revues de code et les tests unitaires - Assurer la QA / le testing des pipelines de votre binôme Data Engineer - Construire des tableaux de bord Power BI - Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes) - Livrer en continu via une chaîne CI/CD Azure DevOps Pourquoi nous rejoindre ? - Un rôle complet et à fort impact, du besoin métier jusqu'au dashboard - Une stack moderne : Azure, Databricks, Spark, Lakehouse, CI/CD - Un environnement Agile structuré, au cœur de la Supply Chain d'un leader du retail - Un rythme hybride : 2 jours de télétravail par semaine - Une mission en régie jusqu'à fin décembre 2026, avec perspective de prolongation Démarrage : dès que possible (fin septembre au plus tard) – Châtillon (92), 3 jours par semaine sur site. Processus : après votre candidature, nous vous transmettrons une grille de compétences à compléter. Un test technique est prévu en présentiel lors de l'entretien client.

Je recherche un Ingénieur Big Data Hadoop / Cloudera CDP pour intervenir sur la construction, l'administration et l'évolution de plateformes Hadoop dans un contexte Agile et DevOps. Votre missionVous souhaitez évoluer au sein d'un environnement Big Data de grande envergure et contribuer à l'évolution de plateformes stratégiques ? Vous participerez également à l'amélioration des Data Services et serez force de proposition sur les évolutions techniques et les bonnes pratiques. Vos principales responsabilitésDéployer et installer des clusters Hadoop Cloudera CDP. Administrer et maintenir les plateformes Big Data en production. Installer, configurer et faire évoluer les composants Hadoop. Réaliser les montées de version des distributions et composants. Assurer le monitoring, la supervision et l'optimisation des clusters. Gérer la sécurité des plateformes (Kerberos, Ranger/Sentry, gestion des accès). Mettre en place les environnements de développement, recette et test. Assurer le support technique de niveau N2/N3. Automatiser les déploiements via Ansible, Jenkins et les outils CI/CD. Participer à l'amélioration continue des plateformes et aux projets d'évolution. Environnement techniqueBig Data Cloudera Data Platform (CDP) Hadoop HDFS Spark Hive Kafka ZooKeeper Hue Anaconda Administration & Sécurité Cloudera Manager Ambari Kerberos Ranger / Sentry Linux (RedHat, CentOS) DevOps Jenkins Ansible Git CI/CD Méthodologies Agile Scrum SAFe Kanban DevOps Profil recherchéVous justifiez d'une expérience significative dans l'administration de plateformes Big Data et maîtrisez les environnements Hadoop. Vous possédez notamment : Une solide expérience sur Cloudera CDP. Une bonne maîtrise de l'administration de clusters Hadoop. Une expérience des installations, upgrades et migrations de plateformes. Une bonne connaissance des problématiques de sécurité (Kerberos, Ranger/Sentry). Une expérience des outils d'automatisation et de CI/CD. Une excellente maîtrise des environnements Linux. Les qualités qui feront la différenceEsprit d'analyse et de synthèse. Autonomie et sens des responsabilités. Curiosité technique et veille technologique. Force de proposition. Excellent relationnel et goût du travail en équipe. Anglais professionnel. Pourquoi rejoindre mon client ?Des projets Big Data à forte valeur ajoutée. Un environnement technique stimulant. Des technologies de pointe. Une équipe experte et collaborative. Une culture orientée innovation et amélioration continue. Vous souhaitez relever ce défi ? Envoyez-nous votre CV et échangeons sur votre prochain projet !

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet