Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Expert en systèmes distribués, votre mission est de concevoir, déployer et administrer les clusters Apache Kafka au cœur de l'échange de données en temps réel de la banque. Vous intervenez sur la configuration fine des brokers, la gestion des topics, des schémas (Schema Registry) et des partitions pour garantir une haute disponibilité et une tolérance aux pannes maximale. Vous accompagnez les équipes de développement dans l'implémentation des producteurs et consommateurs, ainsi que dans l'utilisation de Kafka Streams ou ksqlDB pour le traitement de flux. Vous assurez le monitoring proactif des performances (latence, débit), la sécurité des flux (SSL/SASL/ACLs) et le troubleshooting complexe en environnement de production critique. Vous êtes le référent sur les stratégies d'archivage et de réplication inter-sites.

Dans le cadre d'un dispositif Data Factory , nous recherchons un(e) Tech Lead Data Ingénieur(e) expérimenté pour intervenir sur une plateforme Big Data au cœur d’un projet critique en cours de déploiement . Vous jouerez un rôle clé dans la montée en puissance de la plateforme et dans la montée en compétences du client sur la stack data, dans un contexte présentant plusieurs points de fragilité nécessitant robustesse, leadership technique et sens des responsabilités . Missions : Réaliser les développements permettant d’ accélérer la mise à disposition des données sur la plateforme Big Data, dans le cadre d’un projet critique. Encadrer techniquement l’équipe de développement : - Suivi technique - Garantie des bonnes pratiques de développement - Qualité, performance et robustesse des livrables Faire monter en compétences l’équipe technique et le client sur la stack data (accompagnement, transmission, pédagogie). Environnement & conditions : Langue française obligatoire, anglaise apprécié Localisation : Hauts-de-France, proximité Lille Présence : 3 jours par semaine sur site Démarrage : ASAP

Le client engage un programme de transformation global (organisationnelle, SI et métier) visant à intégrer les systèmes d’information de deux entités afin de converger vers un SI unifié, désigné comme le SI cible. Dans ce cadre, la DSI du client veut se renforcer par un dispositif d'’Architecte d’Entreprise qui intervient en tant que garant de la cohérence globale de la transformation du SI et de son alignement continu avec la stratégie métier du groupe. Mission: Porter la vision cible du SI Groupe, Définir l’architecture cible (métier, fonctionnelle, applicative, solution), Proposer des scénarios de trajectoire et un état stable pluriannuel, Intégrer les feuilles de route existantes et les dépendances entre parties prenantes, Éclairer et sécuriser les décisions de gouvernance, Jouer un rôle de facilitateur et garantir la cohérence globale du SI. Activités principales • Effectuer un état des lieux sur les différences entre processus métier • Définir, faire valider et maintenir la vision cible du SI intégré. • Définir, faire valider et piloter les trajectoires de convergence des SI. La convergence vers le SI cible s’appuie sur une succession d’états intermédiaires stables, garantissant la continuité des activités, la maîtrise des risques et une création de valeur progressive tout au long de la transformation. • Garantir la cohérence globale des architectures métier, fonctionnelle, applicative, data et technique sur l’ensemble du programme. • Sécuriser les choix structurants et contribuer à la réduction des risques liés à la transformation. • Accompagner et conseiller les équipes projets dans la conception et la mise en œuvre des transformations. Exemples de livrables attendus • Référentiel des exigences et contraintes • Cible métier à l’issue de l’intégration • Définition du SI cible et des trajectoires • Stratégie de reprise et de migration des données • Trajectoire de convergence • Schémas et dossiers d’architecture • Notes de cadrage et d’aide à la décision

Vos missions ? En tant que Data Analyst Java Angular (H/F), vous serez en charge des missions suivantes: - Le développement des tâches qui vous sont assignées en respectant les spécifications - Le Code Review avec les autres développeurs du projet - L'écriture de tests unitaires et fonctionnels durant vos développements - L'industrialisation de vos développements via notre PIC (Jenkins) - La participation au Daily Scrum Meeting, Sprint Revue, Rétro de Sprint et Planning Poker La stack technique : - Python Spark GCP - BDD : SQL (MySQL, PostgreSQL, SQLServer) et/ou NoSQL (MongoDB, Cassandra, Redis) - Outils : Git, Jenkins, Jira

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. ➕ Les + de la mission Environnement technique structuré Enjeux Data à forte valeur métier Collaboration avec des équipes techniques expérimentées Mission longue durée 📍 Localisation Vannes / Nantes (1 jour par semaine sur site à Vannes requis) Mission longue

Objectifs de la mission Intervenir en tant qu’expert technique sur des applications critiques de Cash Management dédiées au traitement de flux financiers à forte volumétrie. La mission couvre l’ingestion, la transformation et la diffusion de flux batch et temps réel , ainsi que l’intégration sécurisée avec l’écosystème bancaire international via SWIFTNet et les messages ISO 20022 , dans un environnement distribué basé sur Scala, Java, Python, Kafka, Spark et Hadoop . Rôle et responsabilités Concevoir, développer et maintenir des composants back-end robustes en Scala / Java / Python Intervenir sur des architectures orientées événements et streaming ( Kafka, Spark, ) Garantir la performance, la qualité du code et la stabilité des traitements de flux critiques Contribuer aux choix d’architecture, d’optimisation et de supervision ( Docker, Kubernetes, Jenkins, Sonar, Datadog ) Travailler en étroite collaboration avec les équipes métier Cash Management / Paiement dans un cadre agile

Profil souhaité: DATA ENGINEER (Minimum 5 ans d'Xp) avec grosse expérience Dataiku (au moins 4 ans), Ayant déjà travaillé sur des projet Finance et/ou en environnement Finance. (Forecast/Revenue/Topline/CA/Prévision/Prédiction/Ventes) Contexte: Dans un contexte de structuration et de montée en maturité des usages Data au sein d’une Direction Financière, la mission vise à renforcer les capacités analytiques autour de la prévision du chiffre d’affaires. L’objectif est de concevoir et d’industrialiser un produit Data stratégique permettant une projection automatisée et multidimensionnelle du chiffre d’affaires (produits, zones géographiques, canaux de vente, infrastructures). Le consultant interviendra au cœur d’une organisation Finance & Data, en tant que référent Data Finance, à l’interface entre les équipes Finance, Data et Produit. Missions: Concevoir, maintenir et faire évoluer un produit Data de projection du chiffre d’affaires Développer et industrialiser des modèles de prévision intégrant des mécanismes basés sur les volumes Permettre des ajustements manuels des projections par les équipes métiers Garantir la qualité, la fiabilité, la traçabilité et l’exploitabilité des données Développer et maintenir des pipelines de données sous Dataiku Implémenter des traitements SQL avancés et des flux de transformation complexes Exploiter Spark / PySpark pour gérer des volumétries importantes Automatiser, monitorer et documenter les chaînes de traitement Mettre en œuvre des contrôles de qualité et contribuer à la gouvernance des données financières Rendre les modèles explicables et actionnables pour les équipes Finance Mettre à disposition les données projetées dans le datalake Collaborer étroitement avec les équipes Finance, Data et Produit Participer aux rituels agiles et au suivi des livrables via des outils de gestion de projet

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 2 jours de télétravail / semaine - Lyon - Expérience de 5 ans minimum Envie de travailler sur un projet data stratégique à fort impact métier ? Dans le cadre d’un grand groupe français du secteur assurance / services financiers, nous recherchons un.e Data Engineer Spark / Java / GCP pour intervenir sur un projet stratégique de gestion des risques climatiques. Voici un aperçu détaillé de vos missions : En lien étroit avec les équipes IT et métiers du client ainsi que l’intégrateur, vous interviendrez sur l’ensemble de la chaîne projet : - Analyse et compréhension des modèles de calcul actuariels - Participation à la conception technique des solutions data - Développement de traitements Spark Java avec intégration de librairies géospatiales - Industrialisation des pipelines de données - Déploiement et exploitation sur Google Cloud Platform - Rédaction de la documentation technique et fonctionnelle - Accompagnement des équipes internes (montée en compétence Spark / Java) - Anticipation des phases de RUN - Reporting projet auprès du chef de projet

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 2 jours de télétravail / semaine - Lyon - Expérience de 5 ans minimum Envie de travailler sur un projet data stratégique à fort impact métier ? Dans le cadre d’un grand groupe français du secteur assurance / services financiers, nous recherchons un.e Data Engineer Spark / Java / GCP pour intervenir sur un projet stratégique de gestion des risques climatiques. Voici un aperçu détaillé de vos missions : En lien étroit avec les équipes IT et métiers du client ainsi que l’intégrateur, vous interviendrez sur l’ensemble de la chaîne projet : - Analyse et compréhension des modèles de calcul actuariels - Participation à la conception technique des solutions data - Développement de traitements Spark Java avec intégration de librairies géospatiales - Industrialisation des pipelines de données - Déploiement et exploitation sur Google Cloud Platform - Rédaction de la documentation technique et fonctionnelle - Accompagnement des équipes internes (montée en compétence Spark / Java) - Anticipation des phases de RUN - Reporting projet auprès du chef de projet

Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un.e Développeur Big Data Spark/Scala pour intervenir chez un de nos clients du secteur bancaire. 💻💼 Voici un aperçu détaillé de vos missions 🎯 : - Étudier et concevoir techniquement les batchs de traitement de données - Développer en Scala/Spark pour des traitements volumineux - Récupérer, transformer, enrichir et restituer les données - Créer et gérer des batchs de publication Kafka - Participer à la maintenance de la chaîne CI/CD (Jenkins, Gitflow) - Collaborer avec les Business Analysts pour garantir qualité et lisibilité des libellés - Gérer certains sujets de manière autonome : reporting, suivi, coordination

Almatek recherche pour l'un de ses clients, Un IED Java / Spark / Scala / SIG sur Ecully Profil recherché : IED Sénior Java / Spark / Scala / SIG Une expérience >5 ans sur des technologies SPARK & JAVA est nécessaire. Une connaissance des librairies géographiques dans Spark est un plus. Une connaissance d'une solution similaire (exemple Apache Beam) est un plus. Contexte client : Dans le cadre de la mise en place d'un socle SIG (Système d'Information Géographique) permettant la gestion des risques climatiques, notre client souhaite s'appuyer sur des expertises de développement en Spark Java, si possible avec une connaissance des librairies Géographiques, dans un environnement Google Cloud platform. Le projet consiste à industrialiser des modèles définis par la direction actuariale, afin d'intégrer des données géographiques, topographiques, satellites, des données métier, pour définir les scores de risque des différents risques climatiques (inondation, sécheresse, tempête, etc. Sur le périmètre confié, en coordination avec l'équipe projet de développement de notre client et l'intégrateur, les objectifs sont les suivants : • Comprendre et analyser les modèles de calculs définis par les actuaires • Participer avec l'intégrateur aux phases de conception de la solution • Réaliser le développement en Spark Java, en utilisant des librairies géospatiales • Accompagner la montée en compétence des équipes sur la mise en œuvre de traitements en Spark / Java • Déployer les développements dans un environnement Google Cloud Platform • Créer la documentation et la communiquer aux équipes concernées • Anticiper les phases d'exploitation en relation avec les équipes du client • Rendre compte à son chef de projet Livrables • Solution applicative développée et testée • Mises à jour de la documentation • Mise à jour du suivi interne de l'équipe Compétences Fonctionnelles: IARD : notion Compétences Techniques: JAVA / SCALA / SPARK : Expert Oracle / ITIL : Avancé Agile : avancé

Nous recherchons pour l'un de nos clients intégrateurs un Data Engineer. Contexte Dans le cadre d’un projet data, nous recherchons un Data Engineer expérimenté pour intervenir sur des problématiques de gestion de bases de données et de traitement de données à grande échelle , au sein d’un environnement international. Missions principales Concevoir, développer et maintenir des pipelines de données fiables et performants Intervenir sur la gestion et l’optimisation des bases de données Développer des traitements data en Java Exploiter et optimiser des traitements Apache Spark SQL Assurer la qualité, la cohérence et la performance des données Collaborer avec les équipes techniques et métiers dans un contexte anglophone Participer aux échanges, réunions et documentation en anglais

Bonjour, Nous recherchons pour l'un de nos clients intégrateurs un Data Engineer. Contexte Dans le cadre d’un projet data, nous recherchons un Data Engineer expérimenté pour intervenir sur des problématiques de gestion de bases de données et de traitement de données à grande échelle , au sein d’un environnement international. Missions principales Concevoir, développer et maintenir des pipelines de données fiables et performants Intervenir sur la gestion et l’optimisation des bases de données Développer des traitements data en Java Exploiter et optimiser des traitements Apache Spark SQL Assurer la qualité, la cohérence et la performance des données Collaborer avec les équipes techniques et métiers dans un contexte anglophone Participer aux échanges, réunions et documentation en anglais

Context Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Mission * Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers * Mettre en œuvre les tests unitaires et automatisés * Déployer le produit dans les différents environnements * Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents * Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Les livrables sont Code Source Documentation KPI qualité Compétences techniques Databricks - Expert - Impératif Spark SQL - Expert - Impératif Azure Data Factory - Confirmé - Important Scala - Confirmé - Souhaitable Connaissances linguistiques Français Courant (Impératif) Description détaillée Contexte : Le projet Data PUB - Digital vise à centraliser et harmoniser l'ensemble des données relatives à la diffusion publicitaire digital (impressions, chiffre d'affaire etc) pour permettre un reporting fiable selon différentes dimensions (canal de vente, origine, équipes commerciales, annonceurs etc) et garantir une vision unifiée de la performance digitale. Environnement technique : Azure Data Factory, Databricks, Spark Scala, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Développer et optimiser des flux de transformation de données en Spark SQL. - Maintenir des pipelines de traitement de données en Scala (faible part) - Maintenir et développer de nouveaux indicateur de qualité de données - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité (réécriture en DBT) - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Maintenir les solutions de monitoring de l’application Digital.