Find your next tech and IT Job or contract Apache Spark

Dans le cadre du renouvellement d'un partenaire stratégique et de l'évolution de ses plateformes décisionnelles, notre client recherche un Data Engineer Big Data confirmé H/F pour rejoindre les équipes Risque et Finance de la filière Reporting Finance, Data & Marketing. Vous évoluerez dans un environnement bancaire exigeant, où les enjeux de qualité des données, de performance, de sécurité, de traçabilité et de conformité réglementaire sont au cœur des projets. Vous contribuerez à la conception, au développement et à l'industrialisation de traitements data à forte volumétrie permettant d'alimenter les datamarts réglementaires et les systèmes de reporting Risque et Finance. Vos missionsAu sein d'une équipe Data Engineering, vous intervenez sur l'ensemble du cycle de vie des traitements de données. Conception et développementRecueillir et analyser les besoins fonctionnels et techniques. Concevoir des architectures de traitement distribuées performantes et évolutives. Développer des pipelines batch robustes en environnement Big Data. Réaliser des traitements Spark en Scala et des transformations SQL avancées. Intégrer des données provenant de sources multiples et hétérogènes. Participer aux choix de conception et aux revues techniques. Data Quality et gouvernanceMettre en œuvre des contrôles de qualité, de complétude et de cohérence des données. Identifier, analyser et corriger les anomalies de traitement. Garantir la traçabilité et la reproductibilité des flux de données. Assurer le respect des exigences réglementaires et de gouvernance des données. Performance et optimisationOptimiser les traitements Spark et SQL sur des volumes importants. Travailler sur les problématiques de partitionnement, parallélisme et gestion des ressources. Améliorer les performances des traitements et réduire les temps d'exécution. Identifier et résoudre les goulots d'étranglement techniques. Industrialisation et DevOpsConcevoir et maintenir les workflows d'orchestration sous Apache Airflow. Participer à la mise en œuvre des pipelines CI/CD. Industrialiser les déploiements et automatiser les processus. Mettre en place les mécanismes de supervision, d'alerting et de gestion des erreurs. Garantir la robustesse, l'idempotence et la résilience des traitements. Run et support de productionAssurer le suivi quotidien et mensuel des traitements. Participer à l'analyse et à la résolution des incidents de production. Suivre les rejets de données et piloter leur correction. Contribuer à l'amélioration continue de la plateforme data. Environnement techniqueTechnologies principalesScala Apache Spark SQL avancé Apache Airflow Hadoop / HDFS Apache Hive Presto / Trino Industrialisation & DevOpsGit CI/CD Automatisation des déploiements Monitoring & Logging Technologies complémentairesKafka Bases relationnelles (Oracle, PostgreSQL, SQL Server...) Bases NoSQL

VOS MISSIONS Vous aurez pour principales missions : 1. Leader d'une équipe de développeurs Contribuer au processus de sélection et d'intégration des développeurs dans l'équipe Sur la base de la cible architecturale, en collaboration avec les BA, designer la solution à mettre en œuvre par les développeurs Guider les développeurs dans la mise en œuvre de la solution S'assurer du respect des bonnes pratiques de développement en vigueur chez ICA notamment en ce qui concerne les tests unitaires, l'approche DevOps Contrôler les développements 2. Intervenir/réaliser les développements les plus complexes : Programmer les solutions en garantissant la qualité de code favorisant la maintenabilité et la réversibilité Respecter les standards de développement mis en place (CI/CD, DDD) et promouvoir les pratiques de tests systématiques (BDD/TDD) Contribuer à la rédaction des spécifications techniques pour représenter précisément la conception applicative et le code source Sécuriser les développements en appliquant les normes de sécurité de l'entreprise 3. Accompagner la chaîne de production Présenter les changements aux équipes Support Contribuer à l'industrialisation des composants dans notre système d'information Effectuer des audits de code régulièrement 4. Contribuer au processus d'amélioration continu et d'innovation : Veille technique Utilisation de l'outil d'IA dans le cadre proposer par ICA Retour d'expérience et participation active à l'amélioration des processus

Dans le cadre d'un projet Data à fort enjeu autour du pilotage de l'activité commerciale, nous recherchons un Data Engineer expérimenté pour renforcer une équipe en charge d'un environnement DataLab. Tu interviens sur le développement, la maintenance et l'optimisation de vues de données destinées aux usages de pilotage et d'analyse. Tes missions principales : Assurer le maintien en condition opérationnelle des vues existantes Développer de nouveaux besoins Data Concevoir et maintenir des vues normalisées et optimisées Garantir la qualité et la fiabilité des données mises à disposition Participer à l'optimisation des traitements et requêtes Contribuer à la sécurisation et à la bonne exploitation des flux de données Assurer le suivi des évolutions et des corrections Participer à l'amélioration continue du DataLab

Notre client dans le secteur Aérospatial et défense recherche un/une Data Engineer H/F Description de la mission : Dans le cadre d'un programme de transformation Data au sein d'un acteur majeur de l'aéronautique, nous recherchons un Data Engineer GCP en freelance afin de renforcer une équipe en charge d'un projet décisionnel stratégique dédié aux opérations au sol. La mission s'inscrit dans un contexte de migration et d'optimisation d'une plateforme Data Warehouse sur Google Cloud Platform. L'objectif est d'améliorer les performances des traitements, la qualité du code et l'organisation des référentiels Git tout en réduisant la dette technique. Missions principalesParticiper à l'évolution et à l'optimisation d'une plateforme Data Warehouse sur GCP Améliorer les performances des traitements et requêtes BigQuery Optimiser la structure, l'organisation et la maintenabilité des dépôts Git Contribuer à l'amélioration continue des pratiques de développement et de déploiement Participer à la mise en place et à l'amélioration des chaînes CI/CD Accompagner la migration des solutions BI vers l'environnement GCP Collaborer avec les équipes métiers afin de comprendre et valoriser les données opérationnelles Participer à la réduction de la dette technique et à la définition des bonnes pratiques de développement Environnement techniqueCompétences indispensablesGoogle Cloud Platform (GCP) BigQuery Git / GitHub CI/CD GitHub Actions ou outils équivalents Connaissances appréciéesData Warehouse / BI Optimisation de performances Data Méthodologies Agile (Kanban) Profil recherchéMinimum 5 ans d'expérience en Data Engineering Excellent esprit d'équipe Forte capacité d'intégration dans un environnement existant Sens de l'écoute Bonnes qualités de communication Autonomie et capacité à être rapidement opérationnel Challenges de la missionPrendre en main un projet comportant plusieurs dizaines de modules Optimiser les performances des traitements BigQuery à grande échelle Structurer durablement les pratiques de développement et les dépôts Git Poser des bases solides pour l'exploitation de la plateforme Data sur GCP Réduire la dette technique tout en accompagnant les évolutions fonctionnelles Compétences / Qualités indispensables : Java, Spark, GCP, Big Query Compétences / Qualités qui seraient un + : Expérience dans l'optimisation de plateformes Data à fort volume, Appétence pour les environnements métiers opérationnels complexes Informations concernant le télétravail : Oui — 4 jours/semaine

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

🚀 Opportunité – Expert Data Engineer Azure / Databricks – Level 4 Dans le cadre de l'évolution d'une Data Platform Azure au sein d'un grand groupe, nous recherchons un(e) Data Engineer Senior / Expert Azure & Databricks. 🎯 Missions : Faire évoluer un Data Lake sur Azure Concevoir et déployer un Data Lake gouverné Intégrer et mettre en œuvre Databricks Unity Catalog Définir les modèles d'accès, de gouvernance et de partage des données Mettre à disposition les données sous forme de tables Delta / Iceberg Participer à la réalisation de POC et à l'industrialisation de la plateforme 🛠 Compétences recherchées : Azure Databricks / Unity Catalog Spark Azure DevOps GitHub Java JavaScript / TypeScript Data Lake / Data Platform Gouvernance et partage de données Delta / Iceberg 👤 Profil : Data Engineer Senior / Expert – Level 4 Forte expérience sur des plateformes Data Azure Expertise Databricks et gouvernance de données Autonomie et capacité à intervenir sur des sujets d'architecture et d'industrialisation 📍 Île-de-France – Présentiel ⏳ Mission longue

Cartographier et documenter les sources de données Assurer la maintenance des différentes applications données (Data) déployées en production et des infrastructures Concevoir les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité Structurer le data lake Contribuer à la gestion des référentiels de données Intégration des données : · Capter et stocker, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise · Assurer la supervision et l'intégration des données de diverses nature qui proviennent de sources multiples · Vérifier la qualité des données qui entrent dans le Data Lake et s'assure de leur sécurité · Nettoyer la donnée (élimination des doublons…) et la valider pour une utilisation aval Animation des communautés : · Animer une communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l'application de la politique de la donnée Veille technologique : · Assurer une veille sur les technologies liées au traitement de la manipulation de la donnée et identifier les solutions utilisables · Mettre en œuvre des POC le cas échéant · Propose des évolutions pour les infrastructures et solutions de données en place Entrants · Normes et standards d'architecture d'entreprise · Plan d'occupation des sols (POS) et cartographies SI · Exigences métiers Principaux livrables · Dossier d'architecture (ou cadre technique) des solutions (plateformes) de traitement des données · Data lake adapté aux besoins actuels et futurs · Cartographie des données · Eléments permettant de garantir la qualité de la donnée · Rapport d'études de veille technologique, POC · Comptes rendus, plan d'actions animation communautés

Nous recherchons un(e) Data Scientist pour renforcer une équipe spécialisée en Data Science / Recherche Opérationnelle, sur des sujets de prédiction et de modélisation. Missions : Développer et améliorer des modèles de prédiction Travailler sur des problématiques de Machine Learning et Time Series Réaliser des analyses et modélisations statistiques Participer ponctuellement à des projets exploratoires Stack : Python, Machine Learning, Time Series, Spark, Git Compétences appréciées : GCP / BigQuery, statistiques bayésiennes, prévision et optimisation de la demande, REST, Unix/Linux, Terraform, GitHub Actions

Contexte : Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif de couvrir les évolutions réglementaires du dispositif big data de stress tests. Missions : Développement des moteurs de calculs réglementaires (Capital interne, IFRS9, Bâle IV, Climat...) Clarification et qualification du besoin Implémentation de la solution en Java / Spark dans l'environnement CDP, et au besoin en Java / Angular en cohérence avec l'IHM Conception et choix de la solution technique en fonction des différentes contraintes (budget, temps, performance…) Support auprès de la MOA et des utilisateurs finaux Vision de bout en bout de la prise en compte du besoin à la livraison

Dans le cadre d'un programme stratégique, nous recherchons un Expert Cloudera / CDP pour intervenir sur la conception, l'administration, l'évolution et l'industrialisation d'une plateforme Data. Vous interviendrez au cœur d'un environnement technique exigeant, sur des sujets d'architecture, d'administration, d'industrialisation et de migration de plateformes Big Data. Vos principales responsabilités : Concevoir et faire évoluer l'architecture de la plateforme Data. Administrer et maintenir les environnements Cloudera / CDP. Participer aux migrations et aux évolutions de la plateforme. Industrialiser les déploiements et traitements via Ansible, Shell et CI/CD. Garantir la disponibilité, la performance, la sécurité et la fiabilité de la plateforme. Analyser et résoudre les incidents techniques complexes. Améliorer la supervision et l'observabilité de la plateforme. Rédiger la documentation technique et les procédures d'exploitation. Accompagner les équipes et contribuer au transfert de compétences.

En tant que Data Engineer, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique et d'une grande rigueur Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements Vous disposez d'un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d'interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d'un bagage en software engineering, vous permettant d'écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code) Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l'évolutivité et de l'observabilité