Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming à Paris

Mission : Data Engineer Confirmé – Python / Spark / Databricks / AWS Dans le cadre de l’évolution d’une plateforme Data centralisée, nous recherchons un Data Ingénieur confirmé pour intervenir sur le développement et l’optimisation de pipelines de données dans un environnement Big Data et Cloud AWS. Stack technique : Python • Spark • Databricks • SQL AWS (S3, Airflow, Glue, CloudWatch) Git • CI/CD • Agile / Scrum ✅ Profil recherché : Expérience confirmée en Data Engineering Bonne maîtrise de Spark / Databricks Expérience Cloud AWS

Dans le cadre du renforcement d’une équipe projet Data, nous recherchons un chef de projet Data senior pour notre client engagé dans une mise en place d’une Data Platform . L’objectif est de reprendre la maîtrise technique en interne en constituant une équipe d’experts, avec un appui initial de prestataires externes. Dans ce cadre, un projet stratégique autour de la connaissance des usages et de la mobilité est en cours de refonte de réalisation "mode agile" et en lien avec plusieurs équipes techniques et métiers. Missions principales : Pilotage de projet en méthodologie Agile Gestion du backlog et animation des sprints (JIRA) Coordination d’équipes pluridisciplinaires : Data Engineer, Data Viz, UX/UI, OPS/métiers. Animation des rituels Agile (daily, comités, ateliers) Suivi des charges, priorités et budgets Contribution aux choix stratégiques Supervision des tests et du delivery Maintien en condition opérationnelle (MCO) Environnement technique: Cloud & Data : Azure Data Factory, Data Lake Traitement Data : Spark, Databricks Langages : Python, Scala, SQL Data Viz : Power BI CI/CD & outils : Jenkins, Git, Maven, Ansible Gouvernance & communication : Remonter les informations clés aux équipes de pilotage et sponsors Participer aux instances de gouvernance (comités projet, tribu, etc.) Contribuer aux orientations et choix stratégiques Organisation agile : Animer l’ensemble des cérémonies Agile (daily, sprint planning, review, retrospective) Piloter le backlog : priorisation, chiffrage et réestimation du reste à faire Garantir la bonne application des pratiques Agile

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données