Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Vous rejoindrez un grand groupe du secteur audiovisuel et médias pour concevoir et développer le MVP d'une plateforme Data On-Premise innovante. Ce projet stratégique vise à moderniser l'infrastructure data existante en intégrant une stack Open Source performante (Kafka, NiFi, Spark, Iceberg, Trino) et à faciliter la transition vers le traitement temps réel tout en validant l'interopérabilité avec les services cloud publics. Au sein de la Direction IT Transverse, vous piloterez l'architecture et la mise en œuvre d'une plateforme data scalable et robuste, intégrée au socle technique existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Vous travaillerez en collaboration étroite avec les équipes métiers et techniques du groupe pour transformer des flux ETL existants, démontrer la faisabilité de migration depuis les systèmes actuels, et établir les bonnes pratiques de la nouvelle plateforme. Ce rôle combine architecture data, ingénierie de plateforme et mentorat technique dans un environnement moderne et exigeant, avec un fort impact sur la modernisation de l'écosystème data du groupe. Responsabilités : - Architecturer une plateforme Data On-Premise scalable, robuste et intégrée à l'infrastructure existante (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) - Sélectionner, configurer et déployer les composants Open Source clés : Apache Kafka (streaming), Apache NiFi (ingestion et orchestration), Apache Spark (traitement distribué), Apache Iceberg (gestion de tables analytiques) et Trino (requêtage SQL distribué) - Implémenter des cas d'usage concrets en transformant des flux ETL existants et en mettant en place des pipelines de données en streaming (Kafka + Spark Structured Streaming) - Alimenter et optimiser un datalake On-Premise basé sur Iceberg, avec requêtage via Trino - Valider l'interopérabilité et les patterns d'intégration avec les services Big Data en environnement cloud public (GCP) - Collaborer avec l'équipe Data et IA pour aligner les besoins métiers et techniques, et avec les équipes DevOps/Infrastructure pour l'intégration du socle - Documenter les choix architecturaux, les décisions techniques et établir les bonnes pratiques de la plateforme - Former et accompagner les équipes internes sur les nouveaux outils, processus et méthodologies Télétravail : 2/3 jours par semaine Localisation : Paris / Rennes

Rejoignez une squad data au sein d'un grand groupe du secteur financier, en charge de la construction d'une vision client 360 en temps réel. Vous contribuerez à la modernisation de l'écosystème data marketing et à l'évolution d'une stack big data ambitieuse (Spark, Kafka, Hadoop Cloudera) dans un environnement Agile structuré. Notre client, un acteur majeur du secteur bancaire, constitue une équipe de 12 personnes autour d'une Squad Profil Client 360 pilotée par un Product Owner et un Scrum Master. L'objectif : servir des usages digitaux avancés tout en assurant la modernisation continue du système d'information et le bon fonctionnement des produits existants. Vous évoluerez dans un cadre Scrum rigoureux, fondé sur les pratiques agiles et l'amélioration continue de la qualité. En tant que Data Engineer confirmé, vous serez responsable de la conception, du développement et de la mise en production de solutions data robustes. Vous travaillerez sur des architectures de données complexes, des pipelines streaming et batch, et participerez activement à l'automatisation des tests et au déploiement en environnements multi-niveaux. Vous accompagnerez également vos pairs dans l'adoption des bonnes pratiques de développement et contribuerez au transfert progressif du patrimoine applicatif historique vers les équipes propriétaires en cible. Responsabilités : - Concevoir et développer de nouvelles fonctionnalités data (user stories) selon les critères d'acceptation définis, en respectant les règles de gestion applicables - Définir les architectures techniques des solutions de données en collaboration avec la squad - Implémenter des pipelines Spark (streaming et batch) performants et scalables, en exploitant Kafka pour l'ingestion événementielle - Développer et maintenir les API de données et les couches d'exposition (Hive, HBase, Phoenix) - Automatiser les tests (JUnit, XRay) et appliquer les principes de software craftmanship pour garantir la qualité du code - Assurer le déploiement régulier dans les différents environnements (GitLab CI/CD, Jenkins, Artifactory) - Monitorer et garantir la stabilité en production à l'aide des outils de supervision (ELK, Grafana, SonarQube) - Accompagner l'équipe dans l'amélioration continue des pratiques agiles et de la qualité du code - Participer à la migration et au transfert progressif des produits existants vers les squads cibles Télétravail : 3 jours par semaine sur site Localisation : Nantes

Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation

Dans le cadre d'un programme stratégique au sein d'une direction informatique, nous recherchons un Tech Lead Data expérimenté pour intervenir sur un périmètre lié à la gestion de solutions data critiques. Intégré à une équipe Agile organisée en train SAFe, vous participerez à la conception, au développement et à la maintenance d'applications du système d'information. Vous interviendrez en tant que référent technique de l'équipe data, avec un rôle clé dans l'accompagnement des développeurs et l'amélioration continue des pratiques. Vos principales responsabilités : Assurer le leadership technique de l'équipe data Promouvoir et mettre en œuvre de nouvelles pratiques (architecture événementielle, APIsation, modernisation technologique) Participer activement aux choix d'architecture et aux décisions techniques Collaborer avec les autres équipes data pour assurer la cohérence globale Être force de proposition sur les outils et innovations du marché, notamment autour de la data et de l'IA

Dans le cadre d'un projet stratégique en Banque / Finance, nous recherchons 2 Tech Leads Big Data / Data Engineering expérimentés pour rejoindre une équipe intervenant sur des sujets à fort enjeu autour des environnements BFI et Risk. 🎯 Profil recherchéExpérience confirmée en Big Data / Data Engineering Bonne connaissance des environnements Banque de Financement et d'Investissement (BFI) et des problématiques Risk Capacité à évoluer dans des environnements techniques complexes et à accompagner les équipes 💻 Compétences techniques indispensablesSpark / PySpark / Scala Python Hive / SQL Elasticsearch / Kibana Jenkins Ansible Oozie Méthodologie Agile 🚀 Vos missionsConcevoir et développer des solutions Big Data performantes Accompagner les équipes sur les choix techniques et les bonnes pratiques Participer à l'industrialisation des traitements et à l'optimisation des performances Intervenir sur des projets stratégiques à fort impact dans le secteur bancaire 📍 2 postes à pourvoir immédiatement 👉 Vous êtes intéressé(e) ou connaissez un profil correspondant ? N'hésitez pas à me contacter en message privé.

Notre client dans le secteur Réseaux et télécommunications recherche un/une Technical Manager Data & AI H/F Description de la mission : Fiche de poste – Technical Manager Data & AI Contexte et objectif de la mission Dans le cadre de l'intégration de l'Intelligence Artificielle au sein de l'entreprise, la mission consiste à définir et piloter la stratégie d'intégration de l'IA dans les processus opérationnels télécom, déployer les projets techniques associés, représenter l'expertise technique de l'entité lors des échanges groupe sur les thématiques AI, et encadrer techniquement une petite équipe. Le rôle est présenté comme un rôle de terrain et d'expertise technique. Missions principales 1. Stratégie & architecture IA • Analyser les processus opérationnels télécom existants et identifier les opportunités d'intégration de l'IA • Définir la roadmap technique IA adaptée aux enjeux métiers • Proposer des architectures robustes, scalables et sécurisées pour les solutions Data & AI • Assurer la cohérence entre les choix technologiques et les contraintes IT / CyberSecurity 2. Déploiement & implémentation de projets IA • Piloter techniquement l'implémentation des projets IA de bout en bout • Superviser et contribuer activement au développement des pipelines de données et des modèles IA • Mettre en place les pratiques MLOps pour industrialiser et maintenir les modèles en production • Garantir la qualité, la performance et la sécurité des solutions déployées 3. Expertise IA générative & LLM • Concevoir et implémenter des solutions basées sur les LLM (Large Language Models) • Développer des architectures RAG (Retrieval-Augmented Generation) adaptées aux cas d'usage télécom • Évaluer et sélectionner les modèles et frameworks IA les plus pertinents • Assurer une veille technologique active sur l'IA générative et ses évolutions 4. Gestion de la donnée • Superviser la gouvernance, la qualité et la sécurité des données • Concevoir et optimiser les pipelines de données (ingestion, transformation, exposition) • S'assurer de la conformité des pratiques data avec les réglementations en vigueur 5. Encadrement technique de l'équipe • Animer techniquement une équipe de 5 collaborateurs (data engineers / AI engineers) • Définir les priorités techniques et assurer le suivi des livrables • Monter en compétences l'équipe sur les technologies IA et data • Conduire les revues de code et valider les choix d'architecture 6. Représentation & échanges groupe • Participer aux comités techniques et stratégiques sur les thématiques AI • Présenter les avancées, les choix technologiques et les résultats des projets • Contribuer aux échanges de bonnes pratiques et aux synergies groupe sur l'IA Profil recherché Formation • Bac+5 en Informatique, Data Science, IA ou équivalent Expérience • Minimum 7 à 10 ans en IT, dont 3 à 5 ans sur des projets Data & AI • Habitude de travailler dans un contexte grand groupe / multi-entités appréciée Compétences techniques requises • IA générative : maîtrise des modèles génératifs tels que GPT, Mistral, LLaMA • LLM : fine-tuning, prompt engineering, évaluation de modèles • RAG : conception et déploiement d'architectures RAG • MLOps : MLflow, Kubeflow, DVC, CI/CD pour les modèles ML • Frameworks ML/DL : PyTorch, TensorFlow, Scikit-learn, LangChain, LlamaIndex • Data engineering : conception de pipelines batch & streaming • Technologies data : Apache Spark, Kafka, Airflow, dbt • Bases de données vectorielles : Pinecone, Weaviate, ChromaDB, FAISS • Architecture data : Data Lakehouse, Data Mesh, gouvernance des données • Cloud & infrastructure : maîtrise d'au moins un cloud provider parmi Azure, AWS ou GCP • Services managés AI/ML : Azure OpenAI, AWS SageMaker, Vertex AI • Conteneurisation & orchestration : Docker, Kubernetes • Développement : Python avancé, API REST, microservices • Ingénierie logicielle : DevOps, GitOps, revue de code, tests automatisés • Sécurité & conformité : cybersécurité appliquée aux systèmes IA, RGPD, AI Act, sécurisation des pipelines de données et des modèles Compétences comportementales • Leadership technique • Communication et capacité à vulgariser des sujets complexes • Autonomie dans la prise de décision technique • Pragmatisme et orientation résultats • Curiosité intellectuelle et veille technologique • Travail en équipe et partage de connaissances Indicateurs de succès • Livraison de la roadmap IA dans les délais définis • Nombre de cas d'usage IA déployés en production • Mesure de l'impact opérationnel des solutions IA sur les processus télécom • Niveau de maturité MLOps atteint par l'équipe • Qualité et régularité des contributions aux échanges groupe Informations complémentaires • Département : IT & CyberSecurity • Type de mission : terrain / expertise technique • Taille de l'équipe encadrée : 5 personnes • Secteur : télécommunications • La fiche de poste est susceptible d'évoluer en fonction des besoins du département et des orientations stratégiques du groupe Compétences / Qualités indispensables : Data & AI, LLM et IA générative, Architecture RAG, MLOps, Python, Leadership technique Compétences / Qualités qui seraient un + : Expérience dans le secteur Telecom, expérience en contexte grand groupe / multi-entitésInformations concernant le télétravail : Oui — 2 jours/semaine

Contexte de la mission Dans le cadre du renforcement d'une équipe Data au sein d'un grand groupe, nous recherchons un Data Engineer expérimenté pour intervenir sur des projets stratégiques de collecte, transformation et valorisation de la donnée dans un environnement Big Data. Le consultant évoluera au sein d'une equipe agile en collaboration avec les équipes métiers, PO/BA, architectes et développeurs. Vos missions Participer à la définition de l'architecture Data en lien avec les architectes et l'équipe projet. Analyser les besoins métiers avec les PO/BA et proposer des solutions adaptées. Concevoir et développer des pipelines Data et des traitements ETL. Développer des solutions d'ingestion, de stockage et de transformation de données provenant de multiples sources. Automatiser et orchestrer les flux de données batch et streaming. Mettre en place les tests unitaires et automatisés. Déployer les solutions sur les différents environnements. Assurer le support de production, le suivi des incidents et l'amélioration continue des performances. Contribuer à l'amélioration des bonnes pratiques de développement et de qualité de code. Environnement technique Big Data : Hadoop Cloudera Traitement de données : Spark (Batch et Streaming) Langages : SQL, xDI Bases de données SQL : Teradata, Hive, Phoenix Bases NoSQL : HBase, MongoDB DevOps & CI/CD : Git, Jenkins, Artifactory, XL Release Monitoring : ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Méthodologie : Agile / Scrum

Vous rejoindrez une équipe de data engineering au sein d'un acteur majeur du secteur bancaire français. Cette mission vous permettra de concevoir et d'optimiser des pipelines de données critiques sur une infrastructure moderne, en pilotant des traitements sophistiqués en Spark et en gérant des flux de données à forte volumétrie. Intégrant une équipe agile de data engineers, vous participerez au développement, à l'optimisation et à l'industrialisation de solutions data au cœur du système d'information. L'environnement technique repose sur une stack Big Data complète (Spark, Kafka, HDFS, Cassandra), complétée par des outils cloud modernes. Vous travaillerez en cycles itératifs, en étroite collaboration avec les métiers et les équipes transversales, dans un cadre de bonnes pratiques d'ingénierie (versioning, CI/CD, monitoring). Le projet couvre plusieurs domaines : traitements batch complexes, flux streaming en temps réel et intégrations API, avec des enjeux de performance, de scalabilité et de fiabilité en production. Vous serez amené(e) à intervenir sur l'ensemble du cycle de vie des données, de la conception à l'exploitation, en tenant un rôle de support tournant pour assurer la continuité de service. Responsabilités : - Développer, maintenir et optimiser des pipelines de données Spark (Scala) sur des architectures batch, streaming et API - Concevoir et industrialiser des traitements complexes en garantissant performance, scalabilité et qualité de code - Assurer l'intégration et la gestion de flux de données via Kafka et HDFS - Exploiter, administrer et optimiser des bases de données NoSQL (Cassandra) - Participer à la gestion du run en tant que support de production : monitoring, incident resolution, amélioration continue - Escalader les anomalies critiques auprès des experts métier et des stakeholders - Participer aux ateliers métier pour traduire les besoins en solutions techniques adaptées - Documenter et vulgariser les travaux réalisés pour faciliter l'appropriation par l'équipe et les parties prenantes - Mettre en œuvre les bonnes pratiques de versioning (git) et d'intégration continue Poste à pourvoir en CDI

Dans le cadre de la transformation des SI vers des architectures modulaires, vous interviendrez pour concevoir et faire évoluer les plateformes data. Vos responsabilités incluront : Réaliser un état des lieux et préparer l'évolution des data platforms. Concevoir les solutions techniques pour ingestion, flux, stockage et traitement des données. Définir le type de BDD (SQL/NoSQL) adapté aux inventaires et référentiels techniques. Spécifier la modélisation des données et les relations entre tables. Rédiger les spécifications techniques et fonctionnelles. Environnement technique : Base de données SQL / NoSQL (SQLite, autres). Suite Data Lakehouse : Spark, MinIO, stockage S3, Iceberg, Trino. Infrastructure conteneurisée et solutions de stockage : Elastic Suite, InfluxDB. Vous participerez à la conception des solutions, à la rédaction des documents d'architecture et accompagnerez les équipes techniques dans la mise en œuvre des chaînes Data, en tenant compte des contraintes opérationnelles et en assurant le respect des normes.

Contexte : Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif de couvrir les évolutions réglementaires du dispositif big data de stress tests. Missions : Développement des moteurs de calculs réglementaires (Capital interne, IFRS9, Bâle IV, Climat...) Clarification et qualification du besoin Implémentation de la solution en Java / Spark dans l'environnement CDP, et au besoin en Java / Angular en cohérence avec l'IHM Conception et choix de la solution technique en fonction des différentes contraintes (budget, temps, performance…) Support auprès de la MOA et des utilisateurs finaux Vision de bout en bout de la prise en compte du besoin à la livraison

Dans le cadre d'un programme de transformation digitale et de la mise en place d'une plateforme data Big Data, un grand groupe d'assurance français renforce son dispositif avec plusieurs développeurs et tech leads Java / Spark. Vous prendrez en charge le design et le développement des traitements batch et streaming de traitement des données, depuis les sources jusqu'à leur exposition dans des zones dédiées ou via des API. Vos missions : • Analyser les spécifications et les besoins des métiers avec les Product Owners • Designer et développer les traitements batch et streaming via Spark SQL et Java Spark • Produire la documentation technique sous Confluence • Assurer le support et la maintenance des produits déjà en production • Participer à l'ensemble des cérémonies agiles de votre Squad (Scrum) Environnement technique : distribution Big Data Cloudera/MapR, Spring Boot, Java 11, Kafka, MongoDB, Jenkins, K8S, ArgoCD, Sonar, et plusieurs autres technologies à la pointe.

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)Dans le cadre du renforcement d'une plateforme Big Data stratégique d'un grand groupe bancaire, nous recherchons un Expert Hadoop / Cloudera CDP pour intervenir sur des projets d'évolution, d'industrialisation et de maintien en conditions opérationnelles d'une infrastructure critique. Vos missionsAdministrer, maintenir et optimiser des clusters Hadoop (Cloudera CDP). Assurer la disponibilité, la performance et la sécurité de la plateforme Big Data. Automatiser les déploiements, patchs et configurations avec Ansible et Terraform. Participer aux montées de version des composants Hadoop. Intervenir sur des incidents complexes et contribuer aux task forces techniques. Déployer de nouvelles fonctionnalités d'infrastructure. Collaborer avec l'éditeur et les équipes techniques internes. Produire et maintenir la documentation technique. Environnement techniqueHadoop / Cloudera CDP 7.1.x Apache Kafka Apache NiFi Spark Ansible Terraform / Terragrunt Shell scripting GitHub / AWX Profil recherchéSolide expérience d'administration de plateformes Hadoop / Cloudera. Très bonne maîtrise d'Ansible et de l'automatisation d'infrastructure. Expérience sur Kafka, NiFi et Spark. Bonne connaissance des environnements Linux et des pratiques DevOps. Capacité à intervenir sur des problématiques techniques complexes et à accompagner les évolutions d'une plateforme Big Data. Informations complémentaires📍 Localisation : Île-de-France 🏢 Mission en présentiel 📅 Démarrage : ASAP ⏳ Mission longue durée (12 mois renouvelables) 📩 Si cette opportunité vous intéresse, n'hésitez pas à me contacter en message privé ou à envoyer votre CV.