Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé / senior : Participer à la définition de l'architecture Data Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. Data Ingénieur - Expert Spark H/F Vous êtes passionné·e par les architectures de données à grande échelle et le traitement temps réel ? Ce poste est fait pour vous. En tant qu' Expert Spark Data Engineer , vous êtes responsable de l'analyse, de l'optimisation et de l'évolution de notre pipeline de données au cœur de notre écosystème BI et statistiques. Côté build Conception et préconisations d'architecture Réaliser l'analyse et l'état des lieux technique de la solution existante (Kafka Connect, Spark, Kubernetes, MongoDB sur OVH) Produire les préconisations d'amélioration du Spark streaming pour le traitement temps réel Définir le dimensionnement infrastructure adapté au streaming temps réel (350 bases, 5 000 req/s, 1 To/an) Proposer une stratégie de dimensionnement MongoDB et de structuration de la donnée (standardisation des patterns) Rédiger le document d'architecture cible et le dossier de préconisations Côté run Optimisation et maintien en condition opérationnelle Assurer la fiabilité et la performance du pipeline de données en production sur l'infrastructure OVH Superviser les flux Kafka Connect et garantir la continuité du traitement des données entrantes Monitorer les performances Spark et intervenir sur les axes d'optimisation identifiés Veiller à la cohérence et à la qualité de la donnée stockée dans MongoDB Participer aux revues techniques et accompagner les équipes internes ENOVACOM dans la montée en compétences C'est votre parcours Vous avez au moins 5 ans d'expérience dans des environnements Data Engineering exigeants, avec une forte exposition aux architectures de traitement temps réel et à la gestion de volumétries importantes. Vous aimez diagnostiquer, optimiser et concevoir sans jamais cesser d'innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C'est votre expertise Apache Spark – maîtrise avancée du streaming et du batch, tuning et optimisation des performances MongoDB – modélisation, structuration de la donnée et bonnes pratiques de dimensionnement Kafka / Kafka Connect – conception et exploitation de pipelines de données en flux continu Déploiement Apache Spark sur Kubernetes – configuration, orchestration et gestion des ressources OVH Cloud – déploiement et exploitation d'infrastructures cloud dans un contexte de production C'est votre manière de faire équipe Capacité d'analyse et de synthèse : vous transformez des états des lieux complexes en préconisations actionnables Rigueur documentaire : vos livrables (architecture cible, dossiers techniques) sont clairs et exploitables Posture conseil : vous savez challenger l'existant et proposer des axes d'amélioration concrets Esprit de collaboration : vous travaillez en proximité avec les équipes internes et partagez vos expertises Autonomie et sens des priorités dans un environnement technique à fort enjeu de performance C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Marseille Contrat : CDI Télétravail : Hybride Salaire : De 40000 € à 45000 € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Analyse des traitements existants dans le cadre de projets de migration de données Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake Développement de notebooks Databricks pour des traitements avancés de données Mise en œuvre de solutions de Cloud Data Warehousing , incluant l'optimisation des traitements et le tuning de requêtes SQL Rédaction de la documentation technique (Dossiers d'Analyse Technique, release delivery notes, etc.) Réalisation de revues de code dans une logique de qualité et de bonnes pratiques Conception et exécution de tests unitaires Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés

Profil Data Analyst pour un projet logistique, chargé de réaliser les spécifications et analyses de données. Exploitation et transformation des données avec Talend dans un environnement Big Data. Maîtrise des technologies Hadoop, Spark et Cloudera pour le traitement volumineux de données. Création de tableaux de bord et visualisations avancées avec Power BI pour le suivi opérationnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big data/Teradata Vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ Teradata CONTROL-M Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) SQL sur SGBD relationel (Teradata) TPT Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea Spark HDFS Python Hadoop

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Vos missions : Collaborer avec le métier pour concevoir des transformations data / AI pertinentes pour le business, Industrialiser et gérer des pipelines de traitement de données en production, Contribuer à l’implémentation d’évolutions des plateformes data de nos clients, Accompagnement du métier dans le cadrage et le delivery de leurs cas d’usage data Être force de proposition auprès du client dans l’évolution de sa plateforme data Participation éventuelle à des avant-ventes afin d’aider à la conception de solutions techniques pour nos futurs clients Qualifications ? Vos atouts pour nous rejoindre : Cloud Data / IA Platform : Snowflake Orchestrateur : Airflow Framework de calcul distribué : Spark Langage : Python, PySpark, Scala, Java Infrastructure As Code : Terraform CI/CD : GitlabCI, Jenkins Containers : Docker, Kubernetes Versioning : Git

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Pour le compte d'un acteur majeur, nous recherchons un(e) Data Engineer confirmé(e) pour concevoir et déployer des chaînes de traitement de données complexes au sein d'un Datalake moderne. Vous intégrerez une équipe évoluant en mode Agile (Scrum/Kanban) avec une forte culture de l'automatisation. Vos responsabilités : Concevoir et mettre en œuvre les chaînes d’ingestion, de validation et de croisement de données. Assurer le déversement et l'enrichissement des données dans le Datalake. Produire automatiquement des agrégats (journaliers à mensuels) via la puissance du Cloud. Développer et documenter les User Stories en collaboration directe avec le Product Owner. Garantir la qualité via l'automatisation des tests fonctionnels et la correction des anomalies. Participer activement à la chaîne de delivery continue et assister les équipes d'exploitation. Profil recherché : Expertise confirmée sur la plateforme GCP (indispensable) . Maîtrise avancée de l'écosystème Spark / Scala / Kafka . Expérience solide sur les environnements conteneurisés ( GKE, Docker ) et l'Infrastructure as Code ( Terraform, Ansible ). Compétences pointues en stockage et requêtage ( BigQuery, SQL, HDFS ). Capacité à orchestrer des workflows complexes avec Airflow / Composer . Esprit collaboratif, curieux des évolutions technologiques et doté d'un excellent relationnel.

Nous avons besoin d’un renfort de profil développeur pour notre client grand compte dans le secteur bancaire, dont les missions sont les suivantes : Tâches : - Développer des User story relatives à l’ingestion /transformation de données avec des technos de type ETL sur une plateforme Cloudera customisée ou des procédures stockées - Mettre en œuvre les tests unitaires, participer à la recette fonctionnelle avec les Business analyst - Déployer le produit dans différents environnements - Produire la documentation associée à ces développements - Participer à l’affinage et chiffrage des solutions - Garantir et assurer le fonctionnement des produits en production (suivi du run) - Participer aux cérémonies et démarche agile Scrum Attendus : Prise en charge des récits de développement du backlog et des travaux associés (conception /DevTU/Recette/Déploiement ) du périmètre et de la trajectoire des produits de la squad Environnement techniques : Indispensables : ETL Jobfacto / Spark / HIVE / Oozie … Indispensables : Devops : Gitlab, Artifactroy

Dans un contexte d’accélération des projets data et de modernisation des plateformes analytiques, notre client recherche un Architecte Big Data / Expert Databricks H/F; Votre rôle sera clé pour concevoir des architectures data modernes, optimiser les performances et les coûts, tout en accompagnant les équipes dans leur montée en compétences. Vos missions Concevoir des architectures Big Data / Modern Data Stack robustes et scalables Réaliser des études techniques et cadrages des besoins data Définir et valider des architectures data sur Databricks et AWS Conduire des audits de performance et de code Produire des dossiers d’architecture (6 à 8 par an) Élaborer des supports de formation (10 à 12 par an) Animer des sessions de formation et de montée en compétences Rédiger des comptes-rendus d’audit (4 à 6 par an) Conseiller sur les bonnes pratiques d’optimisation des coûts et des performances

Astrelya est un cabinet de conseil franco‑suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre mission : En tant que Data Engineer Databricks vous participez à la définition de l’architecture de la data platform et du Datawarehouse/Data Lake. Concevoir et développer des nouvelles fonctionnalités sur des applications hébergées par les plateformes Data. Développer et maintenir des pipelines de données performants (batch & streaming) et participer à toutes les étapes de traitement des données du niveau bronze au niveau gold. Garantir la sécurité, la robustesse et la fiabilité des pipeline de données en veillant aux enjeux de performance, d’accessibilité et d’intégrité des données. Contribuer à l’implémentation d’un Data Lab pour accélérer les usages Data & IA. Mettre en place et industrialiser des chaines CI/CD. Participer aux mises en production et au support en cas d’incident majeur. Travailler aux côtés de Data Product Owner, Data Architect et de BI & Analytics Engineer. Participer aux cérémonies agiles organisées par la squad : daily, sprint planning, sprint review, sprint rétrospective Effectuer une veille technologique continue sur de nouvelles solutions et tendances Data.

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.