Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Contexte de la mission Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming. Vous serez responsable de la conception, de l’industrialisation et de l’optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux. Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud. Stack technique & environnement Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours) Orchestration : StreamSets, Airflow Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy) Langages : Python, Scala, SQL CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE) Monitoring : Grafana, Prometheus, Elastic Stack

En renfort de l’entité Solutions Data pour participer activement (Run/Build/Expertise et Accompagnement) aux sujets ci-dessous dans un environnement hybride Cloud/On-Premise (avec le On-Premise en cible) : Participer à l’élaboration du design technique des produits logiciels, Faciliter la recherche de solutions techniques, Prendre en charge une partie des dév. Accompagner les autres Dév. (Coaching, optimisation de code, …), Collaborer à l’intégration des produits dans le SI avec l’architecte data, Garantir la qualité des produits logiciels, Accompagner les directions métiers dans la réalisation de leurs cas d’usage data

Contexte : Au sein d’une petite équipe en charge d’une plateforme d’hypervision de services (projet data novateur), vous apportez une expertise Python / Spark. Rôle mêlant développement personnel, conseil et interventions ponctuelles à fort enjeu. Missions : -Développer et faire évoluer des traitements Python / PySpark (batch & streaming) au sein de la plateforme. -Être force de conseil sur les choix techniques (performance, coût, maintenabilité). -Intervenir sur opérations exceptionnelles : gestion d’incidents majeurs (ex. swap mémoire, saturation), planification & conduite d’upgrades (ex. Spark 3 → Spark 4). -Accompagner les bonnes pratiques : tests, revues de code, Git, CI/CD et qualité. -Collaborer avec l’équipe (Data/Produit) et contribuer à la documentation. Objectifs & livrables : -Apporter une expertise Python + Spark / PySpark opérationnelle. -Livrables de dev (features, fixes), guides techniques (upgrade, tuning, exploitation) et recommandations. Profil recherché : - >8 ans d’expérience en développement backend/data, dont ≥3 ans sur Python & Spark en environnement de prod. -Solide pratique PySpark. -Expérience PostgreSQL. -À l’aise Linux.

Pourquoi cette mission ? Rejoignez la DSI d’un grand groupe bancaire pour piloter la transformation technique des plateformes Risk . Au menu : architectures data & services modernes, industrialisation CI/CD, Kubernetes à l’échelle, qualité logicielle au cordeau — avec un vrai impact sur la performance et la fiabilité du SI Risque. Votre rôle Tech Lead hands-on, vous pilotez la conception et l’industrialisation des produits Risk RRO , vous accompagnez les devs au quotidien et vous êtes le point d’entrée technique des architectes. Vous faites progresser les standards d’ingénierie, sécurisez les mises en production et tenez le cap sur la dette/obsolescences. Missions clés Cadrage & architecture Concevoir des solutions en architectures orientées Data & Services (dont hexagonale ). Contribuer aux choix techniques, challenger les patterns, cadrer les impacts. Engineering & qualité Définir les bonnes pratiques de dev (code review, testabilité, perf, SLO/SLA, qualimétrie Sonar). Mettre en place/faire évoluer les CI/CD (GitLab CI, runners, quality gates, artefacts). Prendre en charge des développements ciblés et les tests (unitaires, non-régression). Run & fiabilité Veiller au bon fonctionnement des applications, suivre les incidents, piloter les corrections. Gérer les obsolescences techniques et planifier les remédiations. Leadership & delivery Animer les rituels (ateliers, points d’avancement), lever les blocages, arbitrer. Faire monter en compétence les équipes de développement (multi-sites). Estimer/chiffrer les solutions, tenir les jalons, produire la documentation technique . Interface & gouvernance Être l’interlocuteur privilégié des architectes pour aligner les évolutions techniques. Garantir la mise en œuvre des préconisations d’architecture au fil des releases. Environnement technique Dev & qualité : GitLab, Artifactory, Sonar Plateformes : Kubernetes , Kafka, Airflow, MapR (Flexible LakeHouse apprécié) Langages & frameworks : Python , Java (Spring), Angular , Spark , Shell Data : DB2 , PostgreSQL , Vertica , Hadoop Livrables attendus Dossiers d’architecture & schémas Pipelines CI/CD industrialisés, artefacts versionnés Code & tests (unitaires, non-régression) + documentation technique Plans de remédiation des obsolescences et comptes-rendus de qualité Notes de cadrage, chiffrages et plans de delivery

Objectif : Renforcer l’équipe en charge du maintien en condition opérationnelle du DATAHUB en assurant un support de niveau 2-3 et l’optimisation des environnements critiques. Missions : Assurer le support N2/N3 en production sur Spark , Airflow et Starburst ( sur Kubernetes ) Participer à la gestion et résolution d’incidents , analyse des root causes. Optimiser les traitements Spark sur Kubernetes (tuning, configuration, dimensionnement). Améliorer l’orchestration Airflow et la gestion des catalogues Starburst. Contribuer à la documentation et l’amélioration continue des procédures d’exploitation. Accompagner les équipes métiers dans l’usage sécurisé et performant des plateformes.

Nous recherchons un Lead Data Engineer / Data Engineer Senior pour renforcer une équipe data travaillant sur une plateforme moderne Azure / Databricks . Votre rôle : concevoir, industrialiser et optimiser des pipelines Big Data, tout en jouant un rôle de référent technique auprès de l’équipe. Compétences indispensables Big Data : Spark, Databricks Ingestion / Streaming : Kafka, Apache NiFi Cloud : Microsoft Azure Langages : Scala ou Java + Python + SQL Orchestration : Airflow CI/CD & DevOps : Azure DevOps, Git Compétences appréciées Dataiku Ansible Connaissance Data Lake / architectures medallion Vos missions Concevoir et industrialiser des pipelines Big Data (batch & streaming). Développer des flux d’ingestion avec NiFi, Kafka, Spark. Optimiser performance, qualité et scalabilité. Participer à l’architecture et aux choix techniques. Encadrer techniquement l’équipe (guidelines, bonnes pratiques, code review). Contribuer aux automatisations et à l’orchestration (Airflow, Ansible, DevOps).

En tant qu’Ingénieur Data Senior, vous jouerez un rôle clé dans la conception, le développement et l’optimisation de solutions data innovantes pour le secteur bancaire. Vous serez un membre essentiel de l’équipe Data Engineering et collaborerez avec des experts métiers, data scientists et développeurs pour transformer les plateformes digitales de nos clients. Vos missions principales Concevoir, développer et maintenir des solutions big data robustes et évolutives avec Hadoop, Spark, Kafka… Mettre en œuvre des pipelines de données temps réel et batch pour des cas d’usage complexes Garantir la qualité, la sécurité et la conformité des données à chaque étape du cycle de vie Intégrer des solutions de streaming avec Kafka pour des analyses quasi temps réel Développer et maintenir des microservices en Node.js Encadrer les ingénieurs juniors et promouvoir les bonnes pratiques

I. Contexte : Notre client connaît une forte croissance (+1,5 million de clients en un an) et renforce l’équipe Architecture Système/Réseaux (10 personnes) pour assurer la gestion et l’évolution de son infrastructure critique. L’environnement technique est 100% Linux, avec une architecture complexe : · Réseau : 2400 VM, 5-6 Data Centers, 100 applications Open Source · Datalakes : 2 PetaOctets de données · Organisation : Pas de PO, Scrum Master ni DevOps ; 4 équipes de développement (~30 projets) · Répartition des activités : o 1/3 MCO o 1/3 Obsolescence o 1/3 Build / Industrialisation II. Missions : Objectifs de la mission · Assurer la maintenance en conditions opérationnelles (Run 40%) et contribuer à la conception et industrialisation des infrastructures. · Participer à la mise en place d’un socle commun de provisioning, avec un focus sur Data et Sécurité. · Interagir avec les équipes BI pour les besoins de reporting réglementaire et autres. Enjeux techniques · Axes de conception : o Scalabilité o Résilience (site internet = point de contact unique) o Sécurité (chiffrement avancé, PKI, certificats) · Technologies & outils : o Système : Linux o Réseaux : TCP/IP niveau 2, HTTP, SNTP, DNS, zones, reverse proxy o Sécurité : PKI, certificats, chiffrement asymétrique o Containers & IaC : Kubernetes, Ansible (usage limité), Puppet, Terraform o Big Data : Hadoop, Spark, Cassandra, Zeppeli o Autres outils : Kafka, Cognos, Docker, Elasticsearch o Machine Learning : détection de fraude en temps réel · Cloud : utilisation très marginale (Infra as Code majoritairement on-premise)

- Participer à la définition de l’architecture Data avec les architectes et la Squad - Concevoir, affiner et développer des solutions de collecte et de stockage multi-sources (batch et streaming) pour les usages métiers - Mettre en œuvre des tests unitaires et automatisés - Déployer le produit sur les différents environnements - Assurer le bon fonctionnement en production : suivi, assistance, gestion des incidents - Contribuer à l’amélioration continue et à la qualité du code //////////----------))))))))))

Dans le cadre du renforcement de la capacité de support sur la nouvelle offre DATAHUB , l’ingénieur support Data aura pour mission d’assurer le maintien en condition opérationnelle, le support de niveau 2 et l’optimisation des plateformes Apache Spark , Apache Airflow / Astronomer et Starburst (Trino) , déployées sur Kubernetes (IKS) et prochainement sur OpenShift . Le poste consiste à intervenir sur les incidents de production, analyser les causes racines, contribuer à l’optimisation des traitements et accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes. L’ingénieur participera également à la documentation technique, à la mise en œuvre des bonnes pratiques d’exploitation et à l’amélioration continue de l’écosystème DataHub. Il travaillera en étroite collaboration avec les équipes Data, Infrastructure et Sécurité afin de garantir la performance, la fiabilité et la scalabilité des environnements de production.

Dans le cadre du remplacement de notre PLM (Product Lifecycle Management) interne ar une solution éditeur au sein du programme de transformation de la chaîne numérique. La chaîne numérique doit permettre, d’avoir : 100% des produits conçus numériquement une 3D exploitable par l’ensemble de la chaîne de la valeur 100% des data qualitative et à disposition de tout le SI Decathlon Dans ce cadre, le PLM doit : Proposer des fonctionnalités permettant d’améliorer l’efficacité du geste utilisateur Capitaliser et mettre à disposition les données/3D nécessaires à la conception Faire le lien avec tout le SI Decathlon (offre, production, CAO…)

Concevoir, développer et maintenir des pipelines de données robustes et scalables (batch et streaming). Participer à la mise en place et à l’optimisation de la plateforme Big Data (Hadoop/Spark). Intégrer, transformer et nettoyer des données issues de différentes sources (API, bases relationnelles, fichiers plats, etc.). Collaborer étroitement avec les Data Scientists et Data Analysts pour la préparation et la mise à disposition des datasets. Contribuer aux bonnes pratiques de développement, d’automatisation (CI/CD), et de gestion de la qualité des données. Assurer la documentation technique et la maintenance des flux existants. Participer à la montée en compétences de l’équipe interne sur les outils Big Data.

Démarrage : Dès que possible Contexte Dans le cadre du renforcement de nos équipes Data, nous recherchons un Data Engineer confirmé maîtrisant les environnements Java, Spark et AWS . Vous interviendrez sur des projets à forte volumétrie, autour de la collecte, du traitement et de la valorisation de la donnée. Missions Concevoir, développer et maintenir les pipelines de données sur des architectures distribuées (Spark, AWS). Industrialiser et fiabiliser les traitements batch et temps réel. Participer à la modélisation et à la gouvernance de la donnée. Optimiser la performance et la scalabilité des flux. Collaborer étroitement avec les équipes Data Science, BI et Cloud. Contribuer à la veille technologique et à l’amélioration continue des bonnes pratiques Data Engineering. Environnement technique Langages : Java, Python (souhaité) Frameworks : Apache Spark, Kafka, Airflow Cloud : AWS (S3, EMR, Glue, Lambda, Redshift, Athena) CI/CD : GitLab, Docker, Terraform Base de données : PostgreSQL, DynamoDB, Snowflake (selon projet) Profil recherché Formation Bac+3 à Bac+5 en informatique, data ou équivalent. Expérience confirmée en développement Java appliqué à la donnée (Spark). Bonne connaissance des services AWS orientés data. Esprit analytique, rigueur et goût du travail en équipe. Une sensibilité DevOps ou un attrait pour l’industrialisation est un plus. Pourquoi nous rejoindre ? Des projets Data à fort impact dans des environnements techniques exigeants. Un cadre de travail stimulant, collaboratif et bienveillant. De réelles perspectives d’évolution (technique ou architecture).

Profil du candidat Contexte Pour un acteur majeur du transport aérien, nous recherchons un Data Engineer. Contexte de migration vers GCP. Compétences techniques : Grande connaissance GCP BigQuery and Java/Spark Appétence pour les environnements industriels /logistique ou du transport. Excellente rigueur, esprit d’analyse et sens de l’organisation. Aisance relationnelle, esprit d’équipe et proactivité. Minimum 5 ans d'expérience Compétences transverses : Niveau d’anglais niveau C1 ou C2 obligatoire. Autonomie Très bon relationnel Force de proposition Localisé en Ile de France, télétravail partiel autorisé, présentiel 3 jours par semaine.

Contexte et détails de la mission Définition du besoin La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. Prestations attendues : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation en data engineering En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances de data engineering • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Modalités de la prestation : Présence sur site requise en fonction des besoins de la prestation et a minima équivalente à 50% du temps de la prestation. Astreintes week-end et jours fériés : Non Matériel performant à fournir par le prestataire : Pour ce faire, les postes informatiques utilisés par le prestataire lors des prestations doivent avoir : - Un antivirus à jour et activé - Un mécanisme de chiffrement du disque activé - Un système d'exploitation à jour de ses correctifs de sécurité - Un mécanisme de verrouillage du poste activé - Un moyen de stockage sécurisé des mots de passe. Usage de la langue française : L'exécution de chaque marché spécifique nécessite l'usage principal et permanent de la langue française dans les rapports avec les parties prenantes (documents, réunions, appels téléphoniques, courriers électroniques…). Les personnes en charge de l‘exécution des prestations doivent maîtriser parfaitement le français (et toute autre langue qui serait précisée après information dans le DCE du marché spécifique concerné) dans le contexte et environnement.

Découvrez une opportunité unique pour un Data Engineer On Premise expérimenté, passionné par la conception et le développement de services orientés Data. Au sein d’une équipe agile, vous interviendrez sur l’intégration de composants techniques, la réalisation de tests et benchmarks, et la documentation complète des projets. Votre savoir-faire permettra d’assurer un support technique aux utilisateurs tout en transférant efficacement vos connaissances aux équipes Ops, garantissant une parfaite maîtrise des outils et process déployés. Ce poste exige une expertise solide sur des outils majeurs tels qu’Airflow, Spark, Kafka et Kafka Connect, ainsi qu’une maîtrise de Java et Python pour le développement. Vous évoluerez dans un environnement Docker, Kubernetes et OpenShift, où l’automatisation via GitOps et Helm fait partie du quotidien. La gestion de base de données PostgreSQL et Trino viendra compléter ce panel technique avancé. Rejoindre cette équipe, c’est mettre à profit vos compétences au service de projets innovants et collaboratifs, avec une forte dimension d’accompagnement et de partage d’expertise. Votre rigueur, capacité d’analyse et esprit d’équipe seront les clés de votre réussite sur ce poste stratégique. Profil : Data Engineer On Premise expérimenté Principales tâches : Conception et développement de services orientés Data Intégration de composants techniques Tests, benchmarks, documentation Support technique aux utilisateurs Transfert de connaissances aux équipes Ops Compétences techniques : Airflow Java / Python GitOps / Helm Docker / Kubernetes / OpenShift Spark Kafka / Kafka Connect PostgreSQL Trino