Trouvez votre prochaine mission ou futur job IT.

Le contexteDans le cadre du maintien en conditions opérationnelles et de l'évolution d'un environnement Big Data / Datalake décisionnel, nous recherchons un(e) Ingénieur Data Spark/Scala – Gestion courante afin d'accompagner l'un de nos clients sur des enjeux de suivi d'exploitation, correction d'incidents et évolution de traitements Data. Quelques éléments pour mieux comprendre l'environnement : Secteur d'activité : Assurance 🛡️ Organisation : Équipe de Gestion Courante Décisionnel au sein de la Direction des Études Enjeux : Assurer le maintien de la qualité de service sur un périmètre applicatif décisionnel développé en Spark/Scala, en assurant le suivi des traitements, la résolution des incidents et la mise en œuvre des évolutions. Ce que tu feras concrètementDans le cadre de cette mission, tu seras notamment amené(e) à : ➞ Assurer le suivi quotidien des traitements en Spark/Scala ➞ Analyser et corriger les incidents fonctionnels, avec leurs éventuelles reprises de données ➞ Réaliser les évolutions confiées sur le périmètre ➞ Tester les corrections d'incidents et les développements réalisés ➞ Mettre à jour la documentation et assurer la mise en production des corrections et développements Ton environnementTechnologies : Spark, Scala, Hadoop, Hive, HDFS, YARN, Oozie, Parquet, Kafka, Spark Streaming, MongoDB, JSON, Avro Outils : Cloudera, Git Bases de données : Oracle

Dans le cadre du renforcement d'une équipe Gestion Courante Décisionnel / Datalake, vous intervenez sur un environnement Big Data permettant de collecter, traiter et valoriser des données issues de différents systèmes métiers. Votre mission principale consiste à assurer le maintien en conditions opérationnelles (MCO) des applications décisionnelles développées principalement en Spark / Scala, tout en participant à leurs évolutions. Vos principales responsabilités seront : Assurer le suivi quotidien des traitements Spark / Scala. Analyser et corriger les incidents applicatifs fonctionnels. Réaliser les éventuelles reprises et corrections de données associées aux incidents. Prendre en charge les évolutions applicatives confiées. Réaliser les tests des corrections et développements. Préparer et effectuer les livraisons en production. Rédiger et mettre à jour les spécifications techniques et fonctionnelles. Élaborer les plans et cas de tests. Mettre à jour la documentation et les outils de suivi de l'équipe. Assurer un reporting régulier auprès du chef de projet. Contribuer au maintien de la qualité de service (QOS) sur le périmètre applicatif.

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

Dans le cadre du renforcement d'une équipe Data intervenant sur des projets à forts enjeux, nous recherchons un Data Engineer confirmé. Vous participerez à la conception, au développement et à l'industrialisation de pipelines de données, depuis l'ingestion jusqu'à leur mise à disposition pour les différents usages métiers. Vos principales responsabilités : Concevoir et développer des pipelines Data robustes et industrialisés. Développer et maintenir des DAGs Apache Airflow. Réaliser les traitements de données avec Python / PySpark / Spark. Manipuler et optimiser les requêtes SQL. Mettre en œuvre les bonnes pratiques de qualité, tests et monitoring. Participer à la mise en production et à l'amélioration continue des traitements. Collaborer avec les équipes Data, métier, architecture et produit. Documenter les développements et contribuer aux standards techniques de l'équipe.

Contexte Dans le cadre du développement de sa plateforme Data & IA basée sur les services AWS — notamment Amazon SageMaker Unified Studio — notre client recherche un Data Platform Engineer pour accompagner les équipes projets dans l'adoption, l'utilisation et l'industrialisation des services de la plateforme. Le consultant interviendra comme référent technique de la plateforme, garantissant la bonne intégration des cas d'usage Data, Analytics et IA, dans le respect des standards d'architecture, de gouvernance et de sécurité. Il travaillera en étroite collaboration avec les équipes Data Engineering, Data Science, BI, Architecture, Sécurité et les équipes métiers. Missions : Support aux projets Data et IA Accompagner les projets dans leur intégration à la plateforme Data AWS Participer aux phases de cadrage et de conception des solutions Data & IA Conseiller les équipes sur les bonnes pratiques AWS et SageMaker Unified Studio Contribuer à l'identification des architectures adaptées aux besoins métiers Assister les équipes projets dans la résolution des problématiques data Participer à la mise en œuvre de nouveaux cas d'usage analytiques, décisionnels et IA Gestion et évolution de la plateforme Administrer et maintenir les environnements SageMaker Unified Studio Garantir disponibilité, performance et fiabilité des services Faire évoluer l'architecture selon les nouveaux besoins Contribuer à l'introduction de nouveaux services AWS et capacités Data & IA Suivre la consommation des services et proposer des optimisations Gouvernance et partage des données Accompagner la publication et la consommation des actifs de données Participer à la mise en œuvre des règles de gouvernance et de qualité des données Veiller au respect des standards de sécurité et des politiques d'accès Faciliter le partage et la valorisation des données entre entités Support opérationnel et expertise Assurer le support de niveau expert sur les composants de la plateforme Analyser les incidents et proposer des actions correctives Accompagner les utilisateurs dans la prise en main des services Produire et maintenir la documentation technique et les guides de bonnes pratiques Animer des ateliers techniques avec les équipes projets et parties prenantes

Au sein de la Direction des Systèmes d'Information d'un groupe d'assurance de premier plan, vous intégrez l'équipe dédiée à la gestion courante et au pilotage du socle décisionnel. Dans un écosystème Big Data d'envergure collectant les données des différents back-offices métiers pour alimenter un lac de données (Data Lake) et un entrepôt communautaire hébergé sur une architecture de haute performance (Oracle Exadata), vous garantissez la continuité d'activité, la qualité de service et l'évolution des pipelines de traitement. Vos principales responsabilités : Suivi de production & exploitation : Assurer la supervision et le monitoring quotidien des chaînes de traitement de données distribuées (batch et streaming). Gestion des incidents & reprises de données : Diagnostiquer, instruire et résoudre les incidents fonctionnels et applicatifs sur les jobs Spark / Scala, en orchestrant les reprises de données nécessaires sans altérer la qualité de service. Maintenance évolutive & corrective : Développer et implémenter les correctifs et les évolutions mineures demandées par les métiers ou les équipes projets. Recette, tests et déploiements : Rédiger les plans de tests, exécuter les scénarios de validation unitaire et d'intégration, puis assurer la livraison sécurisée des patchs en environnement de production. Documentation & gouvernance : Rédiger les spécifications des correctifs, maintenir à jour la documentation d'exploitation et assurer un reporting rigoureux auprès du chef de projet.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 3 ans minimum Vous aimez autant comprendre ce que fait un pipeline que travailler sur la techno qui le fait tourner ? Nous recherchons un·e Data Engineer / Développeur Big Data Spark pour rejoindre un projet qui offre une trajectoire technique intéressante : moderniser progressivement un SI Data existant, puis participer à sa migration vers Databricks dans le cloud. L'enjeu n'est donc pas de repartir d'une feuille blanche. Vous travaillerez d'abord sur l'existant, comprendrez les flux et leurs enjeux métier, puis contribuerez à construire leur cible Big Data et Cloud. Votre terrain de jeu : moderniser l'existant avant de construire la cible Cloud Votre mission s'articulera autour de deux grandes étapes. 1/ Migrer progressivement les traitements vers Spark Vous commencerez par vous approprier les flux de données existants et les processus métier associés. Concrètement, vous allez : - migrer des traitements Informatica et PL/SQL vers Spark en Java - concevoir, développer et maintenir des pipelines de données - optimiser les traitements existants en travaillant notamment sur leur performance et leur robustesse - assurer la maintenance corrective et évolutive des traitements SQL / PL-SQL - intervenir sur le BUILD comme sur le RUN, afin de comprendre le fonctionnement des traitements de bout en bout - veiller à la qualité et à la fiabilité des données produites. L'objectif : faire évoluer progressivement le patrimoine existant vers une architecture Big Data plus moderne, sans perdre la connaissance métier portée par les traitements historiques. 2/ Participer à la migration vers Databricks Une fois cette première étape engagée, vous participerez à un projet stratégique de migration vers le Cloud avec Databricks. Vous contribuerez notamment à : - concevoir les futurs pipelines de données sous Databricks - participer aux choix de conception et d'architecture - industrialiser les nouveaux traitements - faire évoluer les pratiques de développement et d'exploitation autour de cette nouvelle plateforme. Vous aurez donc l'occasion de travailler sur l'existant et sa transformation, plutôt que d'intervenir uniquement sur la maintenance ou uniquement sur la cible.

Au sein d'une équipe Agile dédiée à des produits data innovants pour le réseau électrique, vous intervenez en tant que Lead Tech Data. Vous assurez le rôle de référent technique sur des sujets liés à la maintenance prédictive, la mobilité électrique et l'analyse des charges réseau. Vous concevez et maintenez des applications, API, dashboards et pipelines de données en Python. Vous contribuez au cadrage technique des projets, à leur industrialisation et à la qualité des réalisations : revues de code, tests, bonnes pratiques et intégration continue. Vous accompagnez également les développeurs et les Product Owners dans les choix techniques et la résolution des problématiques rencontrées.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 3 ans minimum Vous aimez autant comprendre ce que fait un pipeline que travailler sur la techno qui le fait tourner ? Nous recherchons un·e Data Engineer / Développeur Big Data Spark pour rejoindre un projet qui offre une trajectoire technique intéressante : moderniser progressivement un SI Data existant, puis participer à sa migration vers Databricks dans le cloud. L'enjeu n'est donc pas de repartir d'une feuille blanche. Vous travaillerez d'abord sur l'existant, comprendrez les flux et leurs enjeux métier, puis contribuerez à construire leur cible Big Data et Cloud. Votre terrain de jeu : moderniser l'existant avant de construire la cible Cloud Votre mission s'articulera autour de deux grandes étapes. 1/ Migrer progressivement les traitements vers Spark Vous commencerez par vous approprier les flux de données existants et les processus métier associés. Concrètement, vous allez : - migrer des traitements Informatica et PL/SQL vers Spark en Java - concevoir, développer et maintenir des pipelines de données - optimiser les traitements existants en travaillant notamment sur leur performance et leur robustesse - assurer la maintenance corrective et évolutive des traitements SQL / PL-SQL - intervenir sur le BUILD comme sur le RUN, afin de comprendre le fonctionnement des traitements de bout en bout - veiller à la qualité et à la fiabilité des données produites. L'objectif : faire évoluer progressivement le patrimoine existant vers une architecture Big Data plus moderne, sans perdre la connaissance métier portée par les traitements historiques. 2/ Participer à la migration vers Databricks Une fois cette première étape engagée, vous participerez à un projet stratégique de migration vers le Cloud avec Databricks. Vous contribuerez notamment à : - concevoir les futurs pipelines de données sous Databricks - participer aux choix de conception et d'architecture - industrialiser les nouveaux traitements - faire évoluer les pratiques de développement et d'exploitation autour de cette nouvelle plateforme. Vous aurez donc l'occasion de travailler sur l'existant et sa transformation, plutôt que d'intervenir uniquement sur la maintenance ou uniquement sur la cible.

Contexte Dans le cadre d'un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l'évolution d'une Data Platform destinée à alimenter des solutions métiers et des cas d'usage IA. La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse. Missions Participer à la définition et à l'évolution de l'architecture de la Data Platform et du Lakehouse. Concevoir, développer et optimiser des pipelines d'ingestion et de transformation de données. Développer des jobs Data avec AWS Glue, Spark et PySpark. Intégrer les services AWS dédiés au Data Management. Développer et maintenir des API en Java 17/21 avec Spring Boot. Traiter des données internes et provenant de fournisseurs externes. Traduire les besoins fonctionnels en solutions techniques fiables et évolutives. Participer à la mise en place d'un environnement Data Lab. Industrialiser les développements et les déploiements avec des pipelines CI/CD. Mettre en place les tests automatisés et les contrôles de qualité du code. Garantir la sécurité, la performance et la maintenabilité des solutions. Participer aux mises en production. Assurer le support de production en cas d'incident majeur. Produire et maintenir la documentation technique. Compétences techniquesAWS : S3, Glue et services Data associés Data Engineering : Spark, PySpark et Hadoop Lakehouse : Apache Iceberg et Trino Développement : Java 17/21 et Spring Boot Bases de données : PostgreSQL et Oracle Tests : JUnit 5 et Mockito CI/CD : GitLab CI Qualité et gestion des dépendances : SonarQube, Maven et Artifactory Conteneurisation : Docker et Kubernetes GitOps et déploiement : Argo CD Formats : JSON, YAML et XML Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint

Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d'industrialisation des plateformes Data. Vous participerez à la conception, au développement et à l'optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud. Vos principales responsabilités seront : Concevoir, développer et maintenir des pipelines de données sur Databricks. Développer des traitements distribués avec Apache Spark / PySpark. Assurer l'ingestion, la transformation et la mise à disposition des données. Concevoir et faire évoluer les différentes couches d'un Data Lake / Lakehouse. Mettre en œuvre les bonnes pratiques Medallion Architecture. Travailler avec Delta Lake / Delta Tables. Participer à la conception et à l'évolution de l'architecture Data. Optimiser les performances et la scalabilité des traitements. Industrialiser les développements et les déploiements. Mettre en place et maintenir les pipelines CI/CD. Utiliser Git pour la gestion, le versioning et la revue du code. Contribuer à l'automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code. Participer à l'amélioration continue de la plateforme Data et aux choix techniques.

Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission dans le cadre de notre transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst. Votre mission sera de concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain métiers et les data owners. Missions clés : - Conception de flux de données et de Data Products Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer Documentation des pipelines d'ingestion de données Intégration des données dans l'écosystème Data Mesh Collaboration avec les domaines métiers pour identifier les sources de données et les cas d'usage. Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet). Documentation les data products (métadonnées, ownership, qualité) Contribution à l'amélioration continue des data produts dans de la plateforme Starburst Mise en place des alertes et des dashboards pour le suivi des data products.

La mission consiste à intervenir sur un projet stratégique de gestion des risques climatiques et physiques, visant à ingérer, agréger, traiter et exposer des données issues de sources multiples afin d'alimenter des reportings métiers liés à la surveillance du risque de crédit. Le consultant participera à la conception, au développement et à l'intégration de solutions Data reposant sur Python, Spark et Google Cloud Platform (GCP), notamment BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs et GCS. Il contribuera également à l'industrialisation et au maintien en conditions opérationnelles des traitements, à la qualité et à la sécurité des données, ainsi qu'aux activités DevOps et d'automatisation à travers XLD, Terraform et Jenkins.

Nous recherchons pour un de nos clients basé en IDF, un Analyste/Ingénieur Big Data Scala - Spark pour une mission freelance (longue visibilité) ContexteDans le cadre d'un appel d'offres , notre client recherche un Analyste / Ingénieur Big Data Scala - Spark pour renforcer une équipe en charge de la gestion et de l'exploitation d'une plateforme Big Data. Démarrage : Début novembre 2026 Missions :Au sein de l'équipe, vous interviendrez principalement sur : Le maintien en condition opérationnelle des traitements Big Data. Le suivi de production et l'exploitation quotidienne des flux de données. L'analyse et la correction des incidents. La fiabilisation et l'amélioration de la qualité des données. L'analyse technique de traitements existants. La compréhension et la reprise de développements conçus par d'autres équipes afin d'en assurer les corrections et évolutions.

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données