Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

TEKsystems recherche pour le compte de son client dans le secteur de l'assurance : Un data engineer Spark/ JAVA (H/F) Missions : La mission sera focalisée sur le déclaratif FICOVIE dans un premier temps puis pourra s'élargir aux autres déclaratifs. Contexte: Réalisation des projets Data et de MCO des patrimoines applicatifs Data du Groupe. Cette prestation s'inscrit dans la squad « Restitution Règlementaires » qui a en charge la constitution des déclaratifs à destination des organismes de tutelle Les principaux déclaratifs concernés sont les suivants : • FICOVIE • EAI / FATCA • IER • ECKERT •AGIRA / RNIPP Les déclaratifs sont constitués à partir de 2 sources : Décisionnel et Plateforme Data en big Data. La mission sera focalisée sur le déclaratif FICOVIE dans un premier temps puis pourra s'élargir aux autres déclaratifs.

Dans un contexte Data & BI à forts enjeux, vous intervenez au sein d’une équipe Big Data & API , rattachée à une squad Financing & Risk , en charge du développement et de l’exploitation d’un datalake utilisé comme plateforme data centrale par les équipes IT et métiers. En tant que Data Engineer , vous jouez un rôle clé dans la gestion, l’évolution et la fiabilité de cette plateforme. Vos principales missions sont les suivantes : Assurer la gestion de la production du datalake (suivi, incidents, stabilité des traitements) Prendre en charge la dette technique et contribuer à l’amélioration continue de la plateforme Analyser l’architecture existante et proposer des évolutions techniques pertinentes Réaliser les développements Big Data liés aux projets en cours et à venir Participer à l’industrialisation et aux déploiements via les chaînes CI/CD Vous évoluez dans un environnement technique Big Data on-premise , au sein d’une équipe travaillant en interaction avec des équipes IT et métiers, sur des sujets à forte valeur ajoutée.

Besoin de synchronisation des release de l'ensemble des produits Besoin de préparer les releases en respect de la pipeline de déploiement BPCE Besoin de coordonner la gestion des environnements des différentes squads ainsi que les données sous-jacentes pour les recettes Besoin d’un interlocuteur technique typé devops (et non scrum ou techlead) La majorité de la pile logicielle est en Java (8), Python et Spark Hadoop, Altair Base de donnée : Oracles, DB2 Contexte et outillage de déploiement en place : XL Deploy, XL Release, Jenkins, Sonar, Checkmarx

Contexte Nous recherchons un Data Engineer confirmé à senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie . La mission s’inscrit dans un environnement data critique , lié à l’exploitation de données de marché et à la production d’indicateurs et d’alertes à forte valeur métier. Le système cible repose sur une architecture batch Big Data structurée selon une architecture médaillon (Silver / Gold) , avec ingestion multi-sources, normalisation, calculs avancés et distribution des données vers différents consommateurs métiers. Localisation : Paris (hybride) Durée : 12 mois renouvelables (jusqu’à 3 ans) Objectifs de la mission Concevoir et développer des pipelines d’ingestion et de transformation en Scala Spark Traiter, dédoublonner, normaliser et structurer des données de marché Refactoriser des imports existants afin de les rendre conformes à l’architecture médaillon Silver layer : données dédoublonnées, normalisées et structurées Gold layer : génération d’agrégats métiers (carnets d’ordres, best bid/ask, OHLC, etc.) Implémenter et challenger les règles métier en garantissant les performances, la scalabilité et la maîtrise des coûts cloud Mettre en place et maintenir les règles de Data Quality (ex. Great Expectations) et contribuer au data catalog Participer à l’amélioration des frameworks communs : monitoring, CI/CD, tests, performance, résilience et standards de développement Rédiger et maintenir la documentation technique (architecture, flux, schémas, infrastructure) Environnement technique ETL / Compute : Scala, Spark (batch) Cloud AWS : Glue Jobs, S3, Lambda, Step Functions Qualité des données : Great Expectations ou équivalent DevOps / CI-CD : Git, pipelines, bonnes pratiques d’industrialisation Environnement applicatif connexe : API REST, services backend Compétences complémentaires appréciées : Python, React Important : cette mission ne s’appuie pas sur des solutions managées de type Databricks. Compétences requisesIndispensables Minimum 5 ans d’expérience significative en Scala et Spark Expérience confirmée sur des projets Big Data / ETL à forte volumétrie Expérience pratique sur AWS (Glue, S3, orchestration) Bonne culture DevOps Autonomie, rigueur, capacité à être force de proposition Appréciées Python Développement API Connaissances de base en market data / trading (non bloquant) Process de sélection Entretien Teams de 30 minutes axé sur les expériences professionnelles Entretien Teams d’une heure axé sur les compétences techniques avec un Data Engineer de l’équipe Modalités de réponse Merci de transmettre : CV, disponibilité, TJM, localisation et un résumé des expériences Scala / Spark / AWS Glue .

🔍 Nous recherchons un Data Engineer senior pour renforcer une équipe Data en charge d’améliorer la qualité des données , d’industrialiser les contrôles et de contribuer aux initiatives de gouvernance sur GCP. 🎯 Vos missions principales ✅ Concevoir & industrialiser des contrôles qualité Data via Dataplex Universal Catalog (Terraform / Terragrunt) ✅ Construire des indicateurs de pilotage de la qualité et les exposer dans Collibra ✅ Développer des pipelines Data robustes & scalables (Python / SQL / Spark) ✅ Structurer, stocker et sécuriser les données à grande échelle ✅ Construire & maintenir les workflows CI/CD (Gitlab) ✅ Participer aux initiatives Data Governance & Data Quality ✅ Capitaliser & partager les bonnes pratiques au sein de la communauté Data

Data Architect ETL, Spark, Kafka; BI, dashboards; SQL/NoSQL, Data Lake, Data Warehouse, BPMN - Maîtrise des formalismes de modélisation (BPMN, modèles conceptuels et logiques de données) - Réalise les études de cadrage pour l’architecture Data en s’appuyant sur une expertise des technologies clés - Stockage (SQL/NoSQL, Data Lake, Data Warehouse) - Traitement (ETL, Spark, Kafka) - Restitution (BI, dashboards) - Exploration et référentiels (catalogues, gouvernance) Télétravail : 3 jours max par semaine

I. Contexte : Notre client connaît une forte croissance (+1,5 million de clients en un an) et renforce l’équipe Architecture Système/Réseaux (10 personnes) pour assurer la gestion et l’évolution de son infrastructure critique. L’environnement technique est 100% Linux, avec une architecture complexe : · Réseau : 2400 VM, 5-6 Data Centers, 100 applications Open Source · Datalakes : 2 PetaOctets de données · Organisation : Pas de PO, Scrum Master ni DevOps ; 4 équipes de développement (~30 projets) · Répartition des activités : o 1/3 MCO o 1/3 Obsolescence o 1/3 Build / Industrialisation II. Missions : Objectifs de la mission · Assurer la maintenance en conditions opérationnelles (Run 40%) et contribuer à la conception et industrialisation des infrastructures. · Participer à la mise en place d’un socle commun de provisioning, avec un focus sur Data et Sécurité. · Interagir avec les équipes BI pour les besoins de reporting réglementaire et autres. Enjeux techniques · Axes de conception : o Scalabilité o Résilience (site internet = point de contact unique) o Sécurité (chiffrement avancé, PKI, certificats) · Technologies & outils : o Système : Linux o Réseaux : TCP/IP niveau 2, HTTP, SNTP, DNS, zones, reverse proxy o Sécurité : PKI, certificats, chiffrement asymétrique o Containers & IaC : Kubernetes, Ansible (usage limité), Puppet, Terraform o Big Data : Hadoop, Spark, Cassandra, Zeppeli o Autres outils : Kafka, Cognos, Docker, Elasticsearch o Machine Learning : détection de fraude en temps réel · Cloud : utilisation très marginale (Infra as Code majoritairement on-premise)

🎯 Contexte Au sein de la direction IT Data Management & BI , vous intégrez l’équipe Big Data & API / Squad Financing & Risk . L’équipe développe et maintient un datalake , utilisé comme plateforme de données par les équipes IT et métiers (finance, risque). 🚀 Missions En tant que Data Engineer , vous intervenez sur le datalake FinLake avec les responsabilités suivantes : Assurer la gestion de la production (suivi des flux, incidents, performance) Réduire et maîtriser la dette technique Analyser l’ architecture existante et proposer des évolutions Réaliser les développements Big Data liés aux projets métiers Participer aux déploiements et à l’industrialisation des traitements 🛠️ Environnement technique Big Data : Spark, PySpark, Scala, Hadoop (on-premise) Data & requêtage : Hive, SQL/HQL, Starburst, Indexima Scripting : Unix / Bash DevOps & industrialisation : Jenkins, CI/CD, XLDeploy, XLRelease Outils projet : Jira

Mission : Le Tech Lead Big Data est le référent technique sur les plateformes Big Data on-premise . Il conçoit, développe et optimise des solutions data basées sur Spark / Scala au sein d’environnements Hadoop / Cloudera , tout en accompagnant les équipes de développement. Responsabilités : Être le lead technique Big Data de l’équipe Concevoir et faire évoluer des pipelines de données distribués Développer des traitements Big Data en Scala / Spark Garantir la performance, la fiabilité et la qualité des données Réaliser des revues de code et accompagner les développeurs Collaborer avec les équipes infra et production Environnement technique : Langages : Scala, SQL Framework : Apache Spark Écosystème : Hadoop (HDFS, YARN, Hive, HBase, Impala) Distribution : Cloudera Architecture : On-premise Outils : Git, CI/CD, ordonnanceur (Airflow / Oozie ou équivalent)

Prestation de l'équipe : Collecter et centraliser les différentes sources de données non homogènes Assurer la conformité et la sécurité des données Participer aux initiatives de gouvernance des données Prestations attendues : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Dans le cadre d’un projet existant , vous rejoignez une équipe agile Cash Management , au sein du socle Trésorerie & Paiements d’un grand acteur institutionnel du secteur financier. Vous intervenez en tant qu’ expert technique , avec un fort niveau d’autonomie et un rôle clé dans les décisions techniques. 🛠️ Missions principales : Développement et maintenance d’applications backend à forte criticité Traitement de flux de données (événementiels et fichiers) à grande volumétrie Participation aux choix d’architecture et aux bonnes pratiques techniques Garantie de la qualité, de la performance et de la résilience des applications Supervision et suivi en production 💻 Environnement technique Back-end & Data Apache Spark Scala, Java, Python Akka / Kafka API REST (TYK) SQL DevOps & Qualité Jenkins Kubernetes Docker Sonar Datadog Hadoop

Contexte: Dans un environnement numérique à forte volumétrie de données, une direction technique transverse renforce sa plateforme Data afin de faire de la donnée un levier stratégique de pilotage, de connaissance utilisateur et d’aide à la décision. La mission s’inscrit au cœur d’une organisation Data structurée, en interaction étroite avec les équipes produit, techniques et métiers. L’objectif est de centraliser, fiabiliser et gouverner des données hétérogènes tout en garantissant leur conformité réglementaire, leur sécurité et leur exploitabilité à grande échelle. Le consultant interviendra au sein d’une équipe Data Engineering intégrée à la plateforme centrale, composée de profils complémentaires (Product Owner, Data Steward, Data Engineers). Missions: Le Data Engineer interviendra sur l’ensemble de la chaîne de valeur data, avec un fort enjeu de robustesse, scalabilité et gouvernance. Responsabilités principales : Collecter, centraliser et structurer des sources de données multiples et non homogènes Concevoir, développer et maintenir des pipelines data fiables et performants Organiser et optimiser le stockage des données (lakes, tables, catalogage) Mettre en place et maintenir des infrastructures cloud scalables Développer et maintenir les workflows CI/CD Garantir la sécurité, la conformité et l’évolutivité des environnements data Participer aux initiatives de gouvernance des données Accompagner les équipes dans l’exploitation et le requêtage des données Contribuer activement à la documentation et aux bonnes pratiques Assurer une veille technologique continue

En tant que Data Engineer, vous serez responsable de : Conception & Développement (Big Data / Java / Spark) – 40% Développer et optimiser des traitements Big Data en Java et Spark. Créer, maintenir et améliorer des pipelines de données robustes et scalables. Assurer la qualité, la performance et la fiabilité des traitements batch et streaming. Cloud Engineering – GCP (DataProc / Workflows / Cloud Run) – 30% Concevoir et maintenir des solutions data sur GCP. Déployer et orchestrer les traitements via DataProc, Workflows et Cloud Run. Optimiser les coûts, la sécurité et les performances des environnements GCP. Data Warehousing – BigQuery – 15% Modéliser, structurer et optimiser les tables BigQuery. Mettre en place des requêtes performantes et adaptées aux usages analytiques. Assurer la gouvernance et la qualité des données. Systèmes & DevOps – 5% Intervenir sur des environnements Linux. Contribuer au monitoring et à l’amélioration continue des systèmes. Outils complémentaires – 10% Participer à l'infrastructure-as-code via Terraform. Déployer et automatiser via GitHub Actions. Contribuer aux bonnes pratiques CI/CD.

Dans le cadre de notre développement, nous recherchons un Expert Big Data pour accompagner un acteur majeur du secteur bancaire sur des projets stratégiques liés à la transformation et à l’optimisation de ses plateformes de données. Le consultant aura un rôle clé dans l’architecture et la mise en œuvre des pipelines Big Data, garantissant performance, scalabilité et conformité aux exigences métier et réglementaires. Objectifs de la mission : Conception et développement de pipelines Big Data Définir et mettre en place des architectures de traitement de données complexes. Développer et optimiser des workflows Spark et Airflow pour des traitements batch et temps réel. Assurer la qualité, la fiabilité et la performance des pipelines. Support stratégique et technique Conseiller les équipes sur les choix technologiques et les bonnes pratiques Big Data. Participer à la définition de la stratégie de données et à la roadmap technique. Collaborer étroitement avec les équipes métier et IT pour anticiper les besoins et prioriser les évolutions. Gouvernance et qualité des données Garantir la conformité des pipelines aux normes de sécurité et réglementaires du secteur bancaire. Mettre en place des mécanismes de supervision, de monitoring et d’alerte. Assurer la documentation technique et fonctionnelle des solutions déployées.

Je recherch eun Ingénieur DevOps pour une prestation d'accompagnement dans le cadre ITOPS pour les applications de l'OPS. Les missions/activités : BUILD/RUN : les activités de BUILD et de RUN seront a prendre en compte EN BUILD : - Suivi de projet et co-construction avec l'IT Métier - Point d'entrée OPS dans le cadre des projets confiés - Gestion, dans le cadre des évolutions et des projets, de l'ensemble des gestes techniques pour la mise en production des applications - Création ou mise à jour des environnements - Réalisation de l'ensemble des gestes techniques d'installation ou de mise à jour d'application - Mise en place de l’exploitation de l’application avant le passage en RUN - Accompagnement technique et conseil - Veille à l’application des bonnes pratiques, des standards du groupe EN RUN : - Gestion des incidents et des changements pour l'ensemble du périmètre de la squad - Proposition d'axes d’optimisation, d’industrialisation - Veille a l'amélioration continue du monitoring et exploitation des applications. Les mindset AGILE et DEVOPS sont fortement recommandés Ecosystem technologique - Outils DEVOPS (Ansible, ArgoCD) - Technologies sur nos applications o Cloud / IAAS : Linux, Websphere, Autosys, CFT o Cloud / PAAS : kubernetes, docker, openshift, PostgreSQL, ExaCC.. o Cloud DATA : Spark, Starbust, Airflow… o DATA on prem : HDP, CASSANDRA, KAFKA.. - Outils de suivi : SNOW et JIRA