Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Contexte Dans le cadre du renforcement de notre équipe Data & Infrastructure, nous recherchons un Expert Cassandra confirmé pour intervenir sur nos environnements critiques et accompagner la montée en performance et en fiabilité de nos systèmes. Missions principales En tant qu’expert Cassandra (Niveau 3), vous serez responsable de : Assurer le support N3 sur l’écosystème Cassandra (résolution d’incidents, analyse des problèmes complexes, mise en place de correctifs). Garantir la haute disponibilité, la performance et la résilience des clusters Cassandra. Réaliser des opérations de tuning (performances, réplication, partitionnement, configuration). Suivre et appliquer les bonnes pratiques de sécurité et de sauvegarde . Accompagner les équipes projet et développement dans l’ implémentation et l’optimisation des solutions utilisant Cassandra. Mettre en place et maintenir les outils de supervision, monitoring et alerting . Contribuer aux projets de migration, montée de version et industrialisation . Documenter les procédures N2/N3 et contribuer à la diffusion des connaissances. Environnement technique Bases de données : Cassandra (indispensable, 5+ ans). Écosystème associé : DataStax, Spark, Kafka (souhaité). Systèmes : Linux (RedHat, CentOS, Ubuntu). Outils DevOps : Ansible, Terraform, Kubernetes, Docker (un plus). Monitoring : Prometheus, Grafana, ELK. Langages : Java, Python, Shell (souhaités). Profil recherché Bac+5 en informatique (ou équivalent). Expérience confirmée (5 ans minimum) sur Cassandra en environnement de production. Maîtrise des concepts d’architecture distribuée, réplication, partitionnement, consistency, failover. Expérience dans le support niveau 3 , avec gestion d’incidents critiques et amélioration continue. Capacité à travailler en équipe agile et à communiquer avec des interlocuteurs techniques et métiers. Rigueur, autonomie et force de proposition. 📍 Localisation Poste basé à Bordeaux (télétravail partiel possible).

À ce poste, vous serez une référence technique dans le domaine du Big Data, aussi bien vis-à-vis des clients pour lesquels vous interviendrez, que de l'équipe de réalisation à laquelle vous appartiendrez. Vos missions : Participer aux processus d'avant-vente et à l'élaboration des propositions commerciales ; Diriger la conception et la mise en oeuvre de projets Big Data ; Concevoir et développer des solutions de traitement de données massives (Hadoop, Spark, Kafka, Python, Scala, Hive...) ; Mettre en place des pipelines de traitement de données ETL et assurer la qualité des données (NiFi, Talend, Airflow, SQL...) ; Assurer la gestion et l'optimisation des bases de données distribuées et NoSQL (Cassandra, MongoDB, ElasticSearch...). Plus largement, vous pourrez?enrichir nos bonnes pratiques en matière d'architecture et de développement dans le domaine du Big Data, effectuer de la veille technologique, élaborer des supports de formation technique pour nos clients et nos consultants, ou encore contribuer à l'animation du pôle technique

A ce titre, nous cherchons un profil possédant la double compétence Data engineer et développeur backend Les activités attendues sont: - Ecrire les jobs spark de manipulation des collections de données pour des pipelines d'ingestion, de nettoyage, de preparation, d'enrichissement, de croisement des données - Développer des µService d'accès au données (API REST, serveur graphQL) pour mettre à disposition des applications internes ou directement à des clients externe - Développer jusqu'à la mise en production les traitements Big Data - Assurer la maintenance corrective des solutions Big Data développées - Collaborer avec l’ensemble des interlocuteurs concernés, transverses et métier Compétences attendues Java (J2EE / Jdk 21) Scala Spark / Spark Streaming Parquet Trino Delta Lake Kafka Docker – Kubernetes – Helm - Argo Workflow Web Services Rest / graphQL TU (JUnit / Mockito / PowerMock / ScalaMock) Git / Maven Les capacités d'innovation et de proposition seront appréciées. La maitrise de l'anglais est indispensable. La mission est prévue sur le reste de l'année 2025

AO – Tech Lead Data Engineer Objectif global : Accompagner un Tech Lead Data Engineer dans le pilotage technique et la réduction de la dette technique. Livrables attendus : - Guidelines techniques & standards de développement. - Cartographie de la dette technique priorisée. Compétences techniques (impératives) : - Databricks – Expert. - Spark – Expert. - Azure – Confirmé. - Modélisation – Confirmé (important). Tech Lead Data Engineer senior disposant d’au moins 5 ans d’expérience en tant que Tech Lead. Missions principales : - Assurer un leadership technique auprès des équipes de développement. - Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. - Participer activement aux phases de conception, développement et tests. - Porter la vision technique au sein des équipes Agile. - Garantir la qualité des livrables et veiller à la réduction de la dette technique. - Réaliser la modélisation des données. - Assurer une veille technologique et participer aux POCs. - Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques. Définition du rôle générique associé : Conception : - Garantir l’exhaustivité et la pertinence des spécifications confiées aux développeurs. - Coordonner les plans de développements et activités des développeurs. - Réaliser la conception technique des applications et des échanges, en privilégiant la réutilisation des composants existants. Développement : - Élaborer et maintenir les directives d’intégration logicielle. - Superviser les aspects techniques d’un projet. - Participer à l’analyse fonctionnelle détaillée des besoins. - Valider le design logiciel et proposer les frameworks adaptés. Normalisation & Qualité : - Garantir la qualité du code et la conformité aux normes/patterns. - Maintenir les abaques de coûts/délais. - Réaliser des audits de code et assurer la qualité des environnements de développement. Assemblage & Livraison : - Assembler les composants unitaires en packages cohérents pour déploiement. - Mettre en place et maintenir une bibliothèque de composants logiciels et normes. Support N3 : - Assurer la résolution des problèmes sur les composants développés. - Contribuer à la rédaction des contrats de TMA avec intégration des normes techniques. Communication & Veille : - Réaliser une veille permanente sur les évolutions technologiques. - Identifier les axes d’amélioration technique et compétences à développer. Informations complémentaires : - Démarrage souhaité : ASAP - Durée estimée : Mission Longue - Lieu : Île-de-France (Châtillon) - Présence sur site : 3 jours par semaine - Astreintes : Non - Déplacements : Non

Contexte du poste L’Analytics Engineer est chargé de délivrer des datasets modélisés pour un domaine métier afin d'accélérer les cas d’usage. Il en assure la qualité , la disponibilité , le suivi et l’ accessibilité , pour permettre aux utilisateurs d’exploiter efficacement les données (Self Service Analytics, analyses, modèles, dashboards). Missions principales 1. Délivrer les bonnes données, à temps Assurer le rafraîchissement fréquent et fiable des données pour soutenir la prise de décision. Garantir la stabilité et la fiabilité des datasets exposés. Corriger rapidement les données corrompues. Anticiper et planifier l’évolution des datasets. Déployer les évolutions avec un délai court mais soutenable. 2. User Centric Connaître les utilisateurs et comprendre leurs usages métiers. Collaborer avec les PM Analytics, Data Analysts, Data Scientists et BI Engineers. Automatiser puis industrialiser les datasets nécessaires aux use cases. Suivre et mesurer l’utilisation réelle des datasets. Définir et communiquer le niveau de confiance dans les données. Informer sur l’état et les éventuelles corruptions des datasets. 3. Playmaker / Team player Participer au recrutement et à l’onboarding des nouveaux membres. Contribuer à la communauté Data (partage d’expérience, ateliers, revues de code, pair programming). Collaborer avec les équipes Core Data Products pour fiabiliser les pipelines. Être force d’entraide et de transmission auprès des autres Analytics Engineers. 4. Better Way Améliorer en continu les pratiques de delivery data. Faire évoluer la stack et les outils. Être proactif sur l’amélioration des processus. Contribuer à la réduction de l’impact écologique et économique des solutions déployées. Compétences techniques : Data modeling dbt SQL Tests and expectations Git Airflow Python Spark Data Architecture Databricks Redshift Indicateurs de performance Fiabilité et fraîcheur des données exposées Temps de correction des anomalies Fréquence des déploiements et time to market des datasets Satisfaction et autonomie des utilisateurs Contribution à la communauté Data et aux rituels d’équipe

Ops Data Lake Ops Data Lake - Aix en Provence cloud public AWS, CI/CD, gitlab pipelines, ansible, kubernetes, Helm charts, certificats SSL,, Kafka, Kafka connect, Airflow, Starburst, Control-m, Dataiku, Python, Spark, Linux Contexte de la mission Le prestataire étant orienté big data et ayant des compétences dans les domaines listés ci-dessous, le Client fait appel à l'expertise du prestataire pour l'équipe Datalake Ops : cloud public AWS, CI/CD, gitlab pipelines, ansible, kubernetes, Helm charts, certificats SSL,, Kafka, Kafka connect, Airflow, Starburst, Control-m, Dataiku, Python, Spark, Linux Objectifs et livrables En étroite collaboration avec notre profils devops AWS, l’expert technique sur le Datalake (plateforme Big Data) devra s'affranchir des mission suivantes : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake cloud public AWS /privé: gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de déploiement sur les environnements (int, preprod et prod) · Contribuer à l’amélioration continue des outils d’exploitation et de déploiement · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux, mises en production) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Un grand groupe international lance plusieurs projets stratégiques autour de la valorisation de la donnée (dashboards internes/clients, vision 360, data products). 🚀 Mission En tant que Data Engineer AWS , vous interviendrez sur : Conception & développement de data pipelines (Python, Glue, Spark) Modélisation et stockage (S3, Iceberg, Redshift) Mise en place de composants réutilisables Accompagnement des équipes locales (co-construction, support technique) Qualité, sécurité (IAM, Lake Formation) et mise en production

Data Engineer Expert pour la Modernisation du Système Finance (Assurance) Nous recherchons un Data Engineer Expert pour le compte d’un de nos clients assurance dans le cadre d’un projet de modernisation, de standardisation et d'harmonisation de son système Finance. Contexte Notre client, un acteur majeur du secteur de l' assurance , est engagé dans un projet stratégique visant à transformer son système d'information Finance. Ce programme a pour objectif la modernisation, la standardisation et l'harmonisation des processus et des outils Finance. Dans ce cadre, nous recherchons un profil de Data Engineer Expert pour jouer un rôle clé dans l'ingénierie des données de ce nouveau système. Rôles et Responsabilités Le consultant Data Engineer aura pour principales responsabilités : Concevoir et mettre en œuvre des solutions d'ingénierie des données pour le nouveau système Finance. Participer activement à la modernisation et à la standardisation des flux de données Finance. Assurer l'intégration, le traitement et la qualité des données provenant de diverses sources. Travailler en étroite collaboration avec les équipes métier Finance et les architectes pour garantir l'harmonisation des données. Compétences Clés & Techniques Une expertise de niveau Expert est exigée sur les points suivants : Expertise Technique : Maîtrise des technologies de Big Data et des environnements Cloud. Langages et Frameworks : JAVA (WEB), Spark, Angular, COBOL. Systèmes et Outils : MAINFRAME, VTOM. Visualisation et Reporting : Compétences sur Power BI. Domaine d'Application : Une connaissance approfondie du secteur Finance (idéalement en assurance ou banque) est un atout majeur. Anglais : Capacité à travailler dans un environnement technique et potentiellement international. Détails de la Mission Profil Recherché : Data Engineer Niveau d'Expérience : Expert Localisation : Paris Date de Démarrage : ASAP Durée : 12 mois. Taux Journalier Cible (TJM) : <950€.

Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Cloud + Kubernetes Sophia Antipolis mandatory : 70% de Back, 30% de front +5 ans exp. Cloud + Kubernetes Sophia Antipolis Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Sophia Antipolis Technos : Technos : mandatory : 70% de Back, 30% de front JAVA J2EE 8+, Angular 8+, Spring, spring Boot, API Rest, MongoDB Hibernate, SOA, Ionic, Scripting (perl, shell, python), Git/Github, Spark, Hadoop, Junit, Javascript, Bamboo, Cucumber, Jira Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16, Cloud + Kubernetes Sophia Antipolis Technos : mandatory : 70% de Back, 30% de front JAVA J2EE 8+, Angular 8+, Spring, spring Boot, API Rest, MongoDB Hibernate, SOA, Ionic, Scripting (perl, shell, python), Git/Github, Spark, Hadoop, Junit, Javascript, Bamboo, Cucumber, Jira Missions Participer aux rituels développés en Scrum, Participer à la programmation et aux tests unitaires, Participer à la recette des développements (tests d'intégration, recettes internes, recettes clients), Corriger les anomalies détectées et veiller à l'optimisation du logiciel produit, Rédiger la documentation, Documenter et enregistrer les éléments concernant les configurations dans l'outil prévu à cet effet, Participer au suivi hebdomadaire de l'avancement des travaux. Etre partie prenante de l'architecture technique XP en Java mini 17 et Angular mini 16 XP sur migration technique appréciée, ainsi que Cloud + Kubernetes

CONTEXTE : En pleine expansion, nous souhaitons renforcer l’équipe Data par de nouvelles expertises en data engineering et aider ainsi à la mise en place de solutions Big Data dans un environnement Cloud GCP. Cette équipe est composée d’un product owner et de data engineers. Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données en batch, Apache Beam pour les traitements en streaming et Airflow pour l’orchestration. La stack inclut aussi les services BigQuery, Dataproc et PubSub de la Google Cloud Platform et Terraform pour la gestion de l’infrastructure. MISSIONS : Au sein de l’équipe Data et au cœur de la plateforme data, la prestation se déroulera en collaboration avec les experts métier de la donnée, les product owners, les data scientists ou encore les data managers. Cette plateforme repose sur une architecture Lakehouse construite sur la Google Cloud Plateform. En travaillant avec les autres Data Engineers de l’équipe, la prestation consistera à participer à : • La collecte et l’ingestion de différentes sources de données non homogènes • La mise en place de pipelines de traitement de données • Le développement des modèles de données • L’extraction et l’exposition des données du Lakehouse vers d’autres services • L’industrialisation des projets sur la GCP • La mise en place et la maintenance des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • La participation aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données • La participation active aux différentes phases de grooming, cadrage et planification des tâches avec l’équipe

Contexte Équipe Réassurance (profil actuaires). Des projets Dataiku existent suite à une migration SAS→Dataiku. Objectif : gagner en vitesse , clarifier les flows et faciliter la maintenance . Missions Auditer les projets Dataiku existants et prioriser les gains de perf. Optimiser l’exécution (choix du moteur SQL/Spark/DSS, partitions, cache, jointures). Re-designer le flow pour la lisibilité (zones, nommage, factorisation). Mettre en place/ou renforcer les scénarios , le monitoring et les alertes. Documenter les patterns de bonnes pratiques et former l’équipe. Accompagner la traduction de logiques SAS vers Dataiku (recettes/SQL/Python).

Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Cloud + Kubernetes Sophia Antipolis mandatory : 70% de Back, 30% de front +5 ans exp. Cloud + Kubernetes Sophia Antipolis Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Sophia Antipolis Technos : Technos : mandatory : 70% de Back, 30% de front JAVA J2EE 8+, Angular 8+, Spring, spring Boot, API Rest, MongoDB Hibernate, SOA, Ionic, Scripting (perl, shell, python), Git/Github, Spark, Hadoop, Junit, Javascript, Bamboo, Cucumber, Jira Missions Participer aux rituels développés en Scrum, Participer à la programmation et aux tests unitaires, Participer à la recette des développements (tests d'intégration, recettes internes, recettes clients), Corriger les anomalies détectées et veiller à l'optimisation du logiciel produit, Rédiger la documentation, Documenter et enregistrer les éléments concernant les configurations dans l'outil prévu à cet effet, Participer au suivi hebdomadaire de l'avancement des travaux. Etre partie prenante de l'architecture technique XP en Java mini 17 et Angular mini 16 XP sur migration technique appréciée, ainsi que Cloud + Kubernetes

Ops Data Lake - Aix en Provence cloud public AWS, CI/CD, gitlab pipelines, ansible, kubernetes, Helm charts, certificats SSL,, Kafka, Kafka connect, Airflow, Starburst, Control-m, Dataiku, Python, Spark, Linux Contexte de la mission Le prestataire étant orienté big data et ayant des compétences dans les domaines listés ci-dessous, le Client fait appel à l'expertise du prestataire pour l'équipe Datalake Ops : cloud public AWS, CI/CD, gitlab pipelines, ansible, kubernetes, Helm charts, certificats SSL,, Kafka, Kafka connect, Airflow, Starburst, Control-m, Dataiku, Python, Spark, Linux Objectifs et livrables En étroite collaboration avec notre profils devops AWS, l’expert technique sur le Datalake (plateforme Big Data) devra s'affranchir des mission suivantes : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake cloud public AWS /privé: gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de déploiement sur les environnements (int, preprod et prod) · Contribuer à l’amélioration continue des outils d’exploitation et de déploiement · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux, mises en production) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Cloud + Kubernetes Sophia Antipolis mandatory : 70% de Back, 30% de front +5 ans exp. Cloud + Kubernetes Sophia Antipolis Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Sophia Antipolis Technos : Technos : mandatory : 70% de Back, 30% de front JAVA J2EE 8+, Angular 8+, Spring, spring Boot, API Rest, MongoDB Hibernate, SOA, Ionic, Scripting (perl, shell, python), Git/Github, Spark, Hadoop, Junit, Javascript, Bamboo, Cucumber, Jira Missions Participer aux rituels développés en Scrum, Participer à la programmation et aux tests unitaires, Participer à la recette des développements (tests d'intégration, recettes internes, recettes clients), Corriger les anomalies détectées et veiller à l'optimisation du logiciel produit, Rédiger la documentation, Documenter et enregistrer les éléments concernant les configurations dans l'outil prévu à cet effet, Participer au suivi hebdomadaire de l'avancement des travaux. Etre partie prenante de l'architecture technique XP en Java mini 17 et Angular mini 16 XP sur migration technique appréciée, ainsi que Cloud + Kubernetes Développeur Fullstack Java / Angular XP en Java mini 17 et Angular mini 16 Cloud + Kubernetes Sophia Antipolis mandatory : 70% de Back, 30% de front +5 ans exp. Cloud + Kubernetes Sophia Antipolis

Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum

Cherchons un profil confirmé (minimum 5 ans d'expérience) pour intégrer l'équipe BI et Data de notre client en tant qu'Ingénieur(e) DEVOPS afin de participer au déploiement des projets data COMPETENCES REQUISES - pré-requises - BigData Az DataLake, Az EventHub, Databricks, A - Confirmé - Impératif - Infrastructure as a code (ARM, YAML) - Intégration/déploiement continu (Git, Az DevOps) La plate-forme utilisée aujourd'hui est le Cloud Microsoft Azure. Vous êtes polyvalent et savez communiquer avec les différentes équipes. Afin d'assurer un niveau de sécurité conformes aux exigences du groupement sur les applications du Datalab, vous savez organiser des ateliers, suivre et rendre compte de l'avancement des sujets de sécurisation liés aux résultats d'audit, et apporter des solutions ou des pistes de réflexion en accords avec votre expertise de sécurité de la plateforme cloud Azure, notamment sur la mise en place d'applications Web et d'API. Vous ferez partie d’une équipe d’une dizaine de collaborateurs et travaillerez dans un environnement Agile. Vos missions -Construire des infrastructures Cloud Public (principalement sur Azure) -Industrialiser les architectures cibles et configurer les équipements (CI / CD) -Mettre en place des procédures et outils de surveillance permettant de garantir la haute disponibilité des infrastructures. -Participer aux phases de validation technique lors des mises en production ou des évolutions. -Collaborer avec les équipes de développement, sécurité et projets dans la réalisation de la transformation Vous devez disposer des connaissances sur les outils et méthodologies suivants : -Cloud Azure -Infrastructure as a code (ARM, YAML) -Intégration et déploiement continu (Git, Azure DevOps) -Services Big Data : Azure DataLake, Azure EventHub, Azure Databricks, Azure Data Factory, Power BI -Services Web : Azure FunctionApp, Azure WebApp -Micro-services/containers (AKS) -Base de données : SQL DB, CosmosDB La connaissance de ces langages de programmation serait un plus : Spark et Scala.