Trouvez votre prochaine offre d’emploi ou de mission freelance SPARQL

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Pour le compte de l’un de mes clients dans le secteur bancaire, je recherche un(e) Data Domain Owner Senior pour une mission stratégique avec un démarrage ASAP. Vos missions principales : Piloter et faire évoluer les frameworks data Contribuer à la digitalisation des données Assurer le contrôle de la qualité des données Faire le lien entre les équipes métiers et techniques Profil recherché : Expérience confirmée en environnement data Vision transverse métier / IT Capacité à piloter des sujets stratégiques

📢 Data Engineer Scala Spark – Environnement Cloud (H/F) 🧩 Contexte Dans le cadre du renforcement d’une équipe Data, nous recherchons un(e) Data Engineer expérimenté(e) afin d’intervenir sur des sujets à forte volumétrie, autour de pipelines de données complexes et d’optimisation des traitements. Vous évoluerez dans un environnement technique exigeant, avec des enjeux de performance, scalabilité et qualité de la donnée. 🚀 Missions principales Développement de pipelines data en Scala / Spark (batch principalement) Optimisation des traitements et gestion de volumétries importantes Mise en place et amélioration des bonnes pratiques de développement Participation à l’architecture et aux choix techniques Collaboration avec les équipes métiers et techniques Contribution au mentoring et partage de connaissances 🧰 Stack technique Scala / Spark Maven Environnement Cloud (AWS ou Azure) Databricks (selon contexte) API HTTP Stack ELK (optionnel) ✅ Must have Solide expérience en Scala / Spark (batch) Maîtrise des optimisations Spark Expérience sur fortes volumétries de données Bonnes pratiques de développement (clean code, build, versioning) Expérience en environnement Cloud (AWS ou Azure) Minimum 5 ans d’expérience en Data Engineering ➕ Nice to have Expérience avec Databricks Développement d’ API HTTP Connaissance de la stack ELK Expérience en environnement multi-projets 🤝 Soft skills Esprit d’analyse et rigueur Autonomie et force de proposition Bon relationnel et esprit d’équipe Capacité à comprendre les enjeux métiers Sens des priorités et gestion des délais 🎓 Profil Formation Bac+3 à Bac+5 en informatique Anglais technique requis 8 ans d'expériences MINIMUM ! 📍 Modalités Télétravail partiel (jusqu’à 3 jours / semaine) Mission longue Démarrage : ASAP

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Ta mission sera de Garantir la robustesse de la platforme Monitorer et prendre des actions proactive de management de la plateforme de compute Assurer le support et l'accompagnement d'équipes sur Spark, Databricks et EMR Travailler sur les optimisations des traitements Athena/Pyspark Accompagner et former Définir et promouvoir les bonnes pratiques de software engineering et de data engineering sur les technologies proposées au sein de l'équipe participer et conseiller lors de la conception des pipelines de données des équipes Développer le futur Travailler sur le concept d'accessibilité et de gouvernance de la donnée Tester de nouveaux outils / features intéressants à intégrer dans notre stack

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Profil Data Analyst pour un projet logistique, chargé de réaliser les spécifications et analyses de données. Exploitation et transformation des données avec Talend dans un environnement Big Data. Maîtrise des technologies Hadoop, Spark et Cloudera pour le traitement volumineux de données. Création de tableaux de bord et visualisations avancées avec Power BI pour le suivi opérationnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. Data Ingénieur - Expert Spark H/F Vous êtes passionné·e par les architectures de données à grande échelle et le traitement temps réel ? Ce poste est fait pour vous. En tant qu' Expert Spark Data Engineer , vous êtes responsable de l'analyse, de l'optimisation et de l'évolution de notre pipeline de données au cœur de notre écosystème BI et statistiques. Côté build Conception et préconisations d'architecture Réaliser l'analyse et l'état des lieux technique de la solution existante (Kafka Connect, Spark, Kubernetes, MongoDB sur OVH) Produire les préconisations d'amélioration du Spark streaming pour le traitement temps réel Définir le dimensionnement infrastructure adapté au streaming temps réel (350 bases, 5 000 req/s, 1 To/an) Proposer une stratégie de dimensionnement MongoDB et de structuration de la donnée (standardisation des patterns) Rédiger le document d'architecture cible et le dossier de préconisations Côté run Optimisation et maintien en condition opérationnelle Assurer la fiabilité et la performance du pipeline de données en production sur l'infrastructure OVH Superviser les flux Kafka Connect et garantir la continuité du traitement des données entrantes Monitorer les performances Spark et intervenir sur les axes d'optimisation identifiés Veiller à la cohérence et à la qualité de la donnée stockée dans MongoDB Participer aux revues techniques et accompagner les équipes internes ENOVACOM dans la montée en compétences C'est votre parcours Vous avez au moins 5 ans d'expérience dans des environnements Data Engineering exigeants, avec une forte exposition aux architectures de traitement temps réel et à la gestion de volumétries importantes. Vous aimez diagnostiquer, optimiser et concevoir sans jamais cesser d'innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C'est votre expertise Apache Spark – maîtrise avancée du streaming et du batch, tuning et optimisation des performances MongoDB – modélisation, structuration de la donnée et bonnes pratiques de dimensionnement Kafka / Kafka Connect – conception et exploitation de pipelines de données en flux continu Déploiement Apache Spark sur Kubernetes – configuration, orchestration et gestion des ressources OVH Cloud – déploiement et exploitation d'infrastructures cloud dans un contexte de production C'est votre manière de faire équipe Capacité d'analyse et de synthèse : vous transformez des états des lieux complexes en préconisations actionnables Rigueur documentaire : vos livrables (architecture cible, dossiers techniques) sont clairs et exploitables Posture conseil : vous savez challenger l'existant et proposer des axes d'amélioration concrets Esprit de collaboration : vous travaillez en proximité avec les équipes internes et partagez vos expertises Autonomie et sens des priorités dans un environnement technique à fort enjeu de performance C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Marseille Contrat : CDI Télétravail : Hybride Salaire : De 40000 € à 45000 € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big data/Teradata Vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ Teradata CONTROL-M Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) SQL sur SGBD relationel (Teradata) TPT Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea Spark HDFS Python Hadoop

Dans un contexte d’accélération des projets data et de modernisation des plateformes analytiques, notre client recherche un Architecte Big Data / Expert Databricks H/F; Votre rôle sera clé pour concevoir des architectures data modernes, optimiser les performances et les coûts, tout en accompagnant les équipes dans leur montée en compétences. Vos missions Concevoir des architectures Big Data / Modern Data Stack robustes et scalables Réaliser des études techniques et cadrages des besoins data Définir et valider des architectures data sur Databricks et AWS Conduire des audits de performance et de code Produire des dossiers d’architecture (6 à 8 par an) Élaborer des supports de formation (10 à 12 par an) Animer des sessions de formation et de montée en compétences Rédiger des comptes-rendus d’audit (4 à 6 par an) Conseiller sur les bonnes pratiques d’optimisation des coûts et des performances

Vos missions : Collaborer avec le métier pour concevoir des transformations data / AI pertinentes pour le business, Industrialiser et gérer des pipelines de traitement de données en production, Contribuer à l’implémentation d’évolutions des plateformes data de nos clients, Accompagnement du métier dans le cadrage et le delivery de leurs cas d’usage data Être force de proposition auprès du client dans l’évolution de sa plateforme data Participation éventuelle à des avant-ventes afin d’aider à la conception de solutions techniques pour nos futurs clients Qualifications ? Vos atouts pour nous rejoindre : Cloud Data / IA Platform : Snowflake Orchestrateur : Airflow Framework de calcul distribué : Spark Langage : Python, PySpark, Scala, Java Infrastructure As Code : Terraform CI/CD : GitlabCI, Jenkins Containers : Docker, Kubernetes Versioning : Git

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations