Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Descriptif du poste Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur IKS (Kubernetes IBM) et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) Dans le cadre du renforcement de notre capacité de support sur la nouvelle offre "DATAHUB V2", nous recherchons des prestataires spécialisés dans l'exploitation et le support de ces plateformes. Missions La prestation visera à : Assurer le maintien en condition opérationnelle en production des plateformes (Airflow, Spark, Starburst) Intervenir dans la gestion des incidents, l'analyse des root causes et la résolution Participer à l'optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst Accompagner les équipes métiers dans l'utilisation efficace et sécurisée des plateformes Contribuer à la documentation et à l'amélioration continue de l'écosystème d'exploitation

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Profil : Data Engineer Profil expérimenté avec des connaissances dans les déclaratifs réglementaires de l'Assurance-Vie Compétences techniques requises : Maîtrise avancée de Java Spark, y compris Java 11 et SparkSQL. Connaissance approfondie de l'écosystème Big Data, en particulier Hadoop, Spark et Kafka. Expérience significative en Build et en Run dans des environnements Big Data. Utilisation avancée d'outils DevOps tels que GitLab, Jenkins, Nexus, Maven, Docker, Kubernetes, ArgoCD, Sonar, etc. Solide compréhension des pratiques Agiles/SAFe et compétence dans l'utilisation de JIRA. Excellente maîtrise de Hive et Shell pour la manipulation et la transformation de données. Expérience confirmée avec des clusters on-premise MapR, y compris la gestion et l'optimisation. Compréhension approfondie des domaines de l'assurance, en particulier Assurance vie et Prévoyance. Connaissance avancée des bases de données relationnelles et non relationnelles. Excellentes compétences de communication pour collaborer efficacement avec les équipes. Leadership technique pour encadrer et orienter les membres de l'équipe. Esprit d'initiative et capacité à résoudre des problèmes techniques complexes. Capacité à travailler dans un environnement Agile et à gérer les priorités en conséquence. Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Expert en systèmes distribués, votre mission est de concevoir, déployer et administrer les clusters Apache Kafka au cœur de l'échange de données en temps réel de la banque. Vous intervenez sur la configuration fine des brokers, la gestion des topics, des schémas (Schema Registry) et des partitions pour garantir une haute disponibilité et une tolérance aux pannes maximale. Vous accompagnez les équipes de développement dans l'implémentation des producteurs et consommateurs, ainsi que dans l'utilisation de Kafka Streams ou ksqlDB pour le traitement de flux. Vous assurez le monitoring proactif des performances (latence, débit), la sécurité des flux (SSL/SASL/ACLs) et le troubleshooting complexe en environnement de production critique. Vous êtes le référent sur les stratégies d'archivage et de réplication inter-sites.

Profil souhaité: DATA ENGINEER (Minimum 5 ans d'Xp) avec grosse expérience Dataiku (au moins 4 ans), Ayant déjà travaillé sur des projet Finance et/ou en environnement Finance. (Forecast/Revenue/Topline/CA/Prévision/Prédiction/Ventes) Contexte: Dans un contexte de structuration et de montée en maturité des usages Data au sein d’une Direction Financière, la mission vise à renforcer les capacités analytiques autour de la prévision du chiffre d’affaires. L’objectif est de concevoir et d’industrialiser un produit Data stratégique permettant une projection automatisée et multidimensionnelle du chiffre d’affaires (produits, zones géographiques, canaux de vente, infrastructures). Le consultant interviendra au cœur d’une organisation Finance & Data, en tant que référent Data Finance, à l’interface entre les équipes Finance, Data et Produit. Missions: Concevoir, maintenir et faire évoluer un produit Data de projection du chiffre d’affaires Développer et industrialiser des modèles de prévision intégrant des mécanismes basés sur les volumes Permettre des ajustements manuels des projections par les équipes métiers Garantir la qualité, la fiabilité, la traçabilité et l’exploitabilité des données Développer et maintenir des pipelines de données sous Dataiku Implémenter des traitements SQL avancés et des flux de transformation complexes Exploiter Spark / PySpark pour gérer des volumétries importantes Automatiser, monitorer et documenter les chaînes de traitement Mettre en œuvre des contrôles de qualité et contribuer à la gouvernance des données financières Rendre les modèles explicables et actionnables pour les équipes Finance Mettre à disposition les données projetées dans le datalake Collaborer étroitement avec les équipes Finance, Data et Produit Participer aux rituels agiles et au suivi des livrables via des outils de gestion de projet

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données

Objectifs de la mission Intervenir en tant qu’expert technique sur des applications critiques de Cash Management dédiées au traitement de flux financiers à forte volumétrie. La mission couvre l’ingestion, la transformation et la diffusion de flux batch et temps réel , ainsi que l’intégration sécurisée avec l’écosystème bancaire international via SWIFTNet et les messages ISO 20022 , dans un environnement distribué basé sur Scala, Java, Python, Kafka, Spark et Hadoop . Rôle et responsabilités Concevoir, développer et maintenir des composants back-end robustes en Scala / Java / Python Intervenir sur des architectures orientées événements et streaming ( Kafka, Spark, ) Garantir la performance, la qualité du code et la stabilité des traitements de flux critiques Contribuer aux choix d’architecture, d’optimisation et de supervision ( Docker, Kubernetes, Jenkins, Sonar, Datadog ) Travailler en étroite collaboration avec les équipes métier Cash Management / Paiement dans un cadre agile

Nous recherchons pour l'un de nos clients intégrateurs un Data Engineer. Contexte Dans le cadre d’un projet data, nous recherchons un Data Engineer expérimenté pour intervenir sur des problématiques de gestion de bases de données et de traitement de données à grande échelle , au sein d’un environnement international. Missions principales Concevoir, développer et maintenir des pipelines de données fiables et performants Intervenir sur la gestion et l’optimisation des bases de données Développer des traitements data en Java Exploiter et optimiser des traitements Apache Spark SQL Assurer la qualité, la cohérence et la performance des données Collaborer avec les équipes techniques et métiers dans un contexte anglophone Participer aux échanges, réunions et documentation en anglais

TEKsystems recherche pour le compte de son client dans le secteur de l'assurance : Un data engineer Spark/ JAVA (H/F) Missions : La mission sera focalisée sur le déclaratif FICOVIE dans un premier temps puis pourra s'élargir aux autres déclaratifs. Contexte: Réalisation des projets Data et de MCO des patrimoines applicatifs Data du Groupe. Cette prestation s'inscrit dans la squad « Restitution Règlementaires » qui a en charge la constitution des déclaratifs à destination des organismes de tutelle Les principaux déclaratifs concernés sont les suivants : • FICOVIE • EAI / FATCA • IER • ECKERT •AGIRA / RNIPP Les déclaratifs sont constitués à partir de 2 sources : Décisionnel et Plateforme Data en big Data. La mission sera focalisée sur le déclaratif FICOVIE dans un premier temps puis pourra s'élargir aux autres déclaratifs.

Contexte Nous recherchons un Data Engineer confirmé à senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie . La mission s’inscrit dans un environnement data critique , lié à l’exploitation de données de marché et à la production d’indicateurs et d’alertes à forte valeur métier. Le système cible repose sur une architecture batch Big Data structurée selon une architecture médaillon (Silver / Gold) , avec ingestion multi-sources, normalisation, calculs avancés et distribution des données vers différents consommateurs métiers. Localisation : Paris (hybride) Durée : 12 mois renouvelables (jusqu’à 3 ans) Objectifs de la mission Concevoir et développer des pipelines d’ingestion et de transformation en Scala Spark Traiter, dédoublonner, normaliser et structurer des données de marché Refactoriser des imports existants afin de les rendre conformes à l’architecture médaillon Silver layer : données dédoublonnées, normalisées et structurées Gold layer : génération d’agrégats métiers (carnets d’ordres, best bid/ask, OHLC, etc.) Implémenter et challenger les règles métier en garantissant les performances, la scalabilité et la maîtrise des coûts cloud Mettre en place et maintenir les règles de Data Quality (ex. Great Expectations) et contribuer au data catalog Participer à l’amélioration des frameworks communs : monitoring, CI/CD, tests, performance, résilience et standards de développement Rédiger et maintenir la documentation technique (architecture, flux, schémas, infrastructure) Environnement technique ETL / Compute : Scala, Spark (batch) Cloud AWS : Glue Jobs, S3, Lambda, Step Functions Qualité des données : Great Expectations ou équivalent DevOps / CI-CD : Git, pipelines, bonnes pratiques d’industrialisation Environnement applicatif connexe : API REST, services backend Compétences complémentaires appréciées : Python, React Important : cette mission ne s’appuie pas sur des solutions managées de type Databricks. Compétences requisesIndispensables Minimum 5 ans d’expérience significative en Scala et Spark Expérience confirmée sur des projets Big Data / ETL à forte volumétrie Expérience pratique sur AWS (Glue, S3, orchestration) Bonne culture DevOps Autonomie, rigueur, capacité à être force de proposition Appréciées Python Développement API Connaissances de base en market data / trading (non bloquant) Process de sélection Entretien Teams de 30 minutes axé sur les expériences professionnelles Entretien Teams d’une heure axé sur les compétences techniques avec un Data Engineer de l’équipe Modalités de réponse Merci de transmettre : CV, disponibilité, TJM, localisation et un résumé des expériences Scala / Spark / AWS Glue .

Contexte: Dans un environnement numérique à forte volumétrie de données, une direction technique transverse renforce sa plateforme Data afin de faire de la donnée un levier stratégique de pilotage, de connaissance utilisateur et d’aide à la décision. La mission s’inscrit au cœur d’une organisation Data structurée, en interaction étroite avec les équipes produit, techniques et métiers. L’objectif est de centraliser, fiabiliser et gouverner des données hétérogènes tout en garantissant leur conformité réglementaire, leur sécurité et leur exploitabilité à grande échelle. Le consultant interviendra au sein d’une équipe Data Engineering intégrée à la plateforme centrale, composée de profils complémentaires (Product Owner, Data Steward, Data Engineers). Missions: Le Data Engineer interviendra sur l’ensemble de la chaîne de valeur data, avec un fort enjeu de robustesse, scalabilité et gouvernance. Responsabilités principales : Collecter, centraliser et structurer des sources de données multiples et non homogènes Concevoir, développer et maintenir des pipelines data fiables et performants Organiser et optimiser le stockage des données (lakes, tables, catalogage) Mettre en place et maintenir des infrastructures cloud scalables Développer et maintenir les workflows CI/CD Garantir la sécurité, la conformité et l’évolutivité des environnements data Participer aux initiatives de gouvernance des données Accompagner les équipes dans l’exploitation et le requêtage des données Contribuer activement à la documentation et aux bonnes pratiques Assurer une veille technologique continue

En tant que Data Engineer, vous serez responsable de : Conception & Développement (Big Data / Java / Spark) – 40% Développer et optimiser des traitements Big Data en Java et Spark. Créer, maintenir et améliorer des pipelines de données robustes et scalables. Assurer la qualité, la performance et la fiabilité des traitements batch et streaming. Cloud Engineering – GCP (DataProc / Workflows / Cloud Run) – 30% Concevoir et maintenir des solutions data sur GCP. Déployer et orchestrer les traitements via DataProc, Workflows et Cloud Run. Optimiser les coûts, la sécurité et les performances des environnements GCP. Data Warehousing – BigQuery – 15% Modéliser, structurer et optimiser les tables BigQuery. Mettre en place des requêtes performantes et adaptées aux usages analytiques. Assurer la gouvernance et la qualité des données. Systèmes & DevOps – 5% Intervenir sur des environnements Linux. Contribuer au monitoring et à l’amélioration continue des systèmes. Outils complémentaires – 10% Participer à l'infrastructure-as-code via Terraform. Déployer et automatiser via GitHub Actions. Contribuer aux bonnes pratiques CI/CD.

Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l’analyse de leurs données et KPI. Les infrastructures et projets incluent : AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI, AI/GenAI Architectures Big Data sophistiquées pour ingérer plus de 100 par jour (Datalake, Event-Driven, Streaming, etc.) Exemples de projets : Chatbot AI Socle vidéo, navigation et calcul des audiences Recommandation de programmes via IA Feature Store et modernisation des flux financiers Plateformes CRM et partage de données partenaires Kubernetes et applications de data self-service Missions En tant que Data Engineer , vous serez en charge de : Concevoir, développer et maintenir des pipelines de données scalables et performants (ingestion, traitement et stockage de données massives). Développer des architectures Big Data sur AWS (S3, EMR, Lambda, Kinesis, Batch…), Snowflake et Spark. Développer en Scala et Python pour le traitement massif des données. Automatiser les workflows et orchestrer les pipelines avec Airflow et DBT . Concevoir et exposer des APIs customer-facing performantes. Optimiser les performances et garantir la scalabilité pour gérer un volume important d’utilisateurs. Collaborer avec les équipes Data Science, Produit et DevOps pour une intégration fluide.

Rejoignez Mon client banque assurance à Paris pour une mission stratégique au cœur de la plateforme Data du Groupe. Au sein de la squad « Restitutions Réglementaires », vous jouerez un rôle clé dans la mise en conformité et la valorisation des données assurantielles. Votre mission Sous un mode de travail hybride (3 jours sur site), vous piloterez la constitution des déclaratifs réglementaires (FICOVIE, FATCA, ECKERT, etc.). Votre intervention débutera par le chantier prioritaire FICOVIE , en exploitant des sources Big Data et décisionnelles complexes. Environnement Technique & Défis Vous évoluerez dans un écosystème On-Premise (MapR) exigeant : Core : Java 11, Spark, SparkSQL, Hive et Shell. Streaming & Batch : Maîtrise de Kafka (MaprES) pour l'optimisation des flux. DevOps & CI/CD : GitLab, Jenkins, Docker, Kubernetes et ArgoCD. Méthodologie : Agilité à l'échelle (SAFe) via JIRA.