Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Contexte : Au sein d’une petite équipe en charge d’une plateforme d’hypervision de services (projet data novateur), vous apportez une expertise Python / Spark. Rôle mêlant développement personnel, conseil et interventions ponctuelles à fort enjeu. Missions : -Développer et faire évoluer des traitements Python / PySpark (batch & streaming) au sein de la plateforme. -Être force de conseil sur les choix techniques (performance, coût, maintenabilité). -Intervenir sur opérations exceptionnelles : gestion d’incidents majeurs (ex. swap mémoire, saturation), planification & conduite d’upgrades (ex. Spark 3 → Spark 4). -Accompagner les bonnes pratiques : tests, revues de code, Git, CI/CD et qualité. -Collaborer avec l’équipe (Data/Produit) et contribuer à la documentation. Objectifs & livrables : -Apporter une expertise Python + Spark / PySpark opérationnelle. -Livrables de dev (features, fixes), guides techniques (upgrade, tuning, exploitation) et recommandations. Profil recherché : - >8 ans d’expérience en développement backend/data, dont ≥3 ans sur Python & Spark en environnement de prod. -Solide pratique PySpark. -Expérience PostgreSQL. -À l’aise Linux.

En tant qu’Ingénieur Data Senior, vous jouerez un rôle clé dans la conception, le développement et l’optimisation de solutions data innovantes pour le secteur bancaire. Vous serez un membre essentiel de l’équipe Data Engineering et collaborerez avec des experts métiers, data scientists et développeurs pour transformer les plateformes digitales de nos clients. Vos missions principales Concevoir, développer et maintenir des solutions big data robustes et évolutives avec Hadoop, Spark, Kafka… Mettre en œuvre des pipelines de données temps réel et batch pour des cas d’usage complexes Garantir la qualité, la sécurité et la conformité des données à chaque étape du cycle de vie Intégrer des solutions de streaming avec Kafka pour des analyses quasi temps réel Développer et maintenir des microservices en Node.js Encadrer les ingénieurs juniors et promouvoir les bonnes pratiques

Contexte : Nous recherchons un Data Engineer pour participer à une mission sur un environnement cloud AWS. Le candidat évoluera au sein d’une équipe digitale internationale et contribuera à la conception, au développement et à la mise en production de solutions data à grande échelle. Profil recherché : Expérience confirmée en tant que Data Engineer ou rôle équivalent. Capacité à collecter les besoins métiers et utilisateurs et à les traduire en architecture de données. Expérience dans la conception et le développement de pipelines de données robustes et évolutifs. Autonomie et rigueur dans la mise en production et la maintenance d’architectures data. Bonnes capacités de communication et aptitude à travailler en équipe multidisciplinaire. Compétences techniques requises : Python – maîtrise avancée (4/4) PySpark – maîtrise avancée (4/4) Databricks – niveau confirmé (3/4) AWS – niveau confirmé (3/4) Anglais – professionnel (3/4) Conditions de travail : Télétravail : 2 jours par semaine Présence obligatoire sur site : 3 jours par semaine Lieu : Paris Début de mission : 08/12/2025 Processus de sélection : Codingame à compléter dans les 48h après réception. Proctoring appliqué pour le codingame. Soutenances techniques prévues après le codingame.

Au sein de l'équipe Silver, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d'un productowner, d'un data steward et d'un data ingénieur. Notre technique de stack est principalement constituée de Python, Spark, SQL, dbt, BigQuery, Airflow pour l'orchestration des traitements et Terraform ainsi que Terragrunt pour l'industrialisation. Le stack inclut également d'autres services de la Google Cloud Platform. En interaction avec les membres de l'équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe • Construire et maintenir des pipelines de données robustes et évolutifs • Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures évolutives capables de répondre aux besoins et à l'évolution rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l'intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l'évolutivité, la fiabilité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Livrables attendus : 1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets Expertises demandées pour la réalisation de la prestation.

Redlab cherche pour le compte d'un client grand compte , un ingénieur big Data /bases de données Expert des architectures data : bases de données SQL & NoSQL, Big Data, pipelines, gouvernance, performance, sécurité. Missions clés Administrer et optimiser bases SQL & NoSQL. Concevoir pipelines ETL/ELT sur données hétérogènes. Travailler sur Hadoop, Spark, Hive, Delta Lake. Mettre en place partitionnement, Mettre en place sharding, caches. Déployer en cloud (AWS/Azure/GCP). Forte maitrise des Bases de données

Intégré(e) aux équipes Data (Data Engineers, BI, Sécurité, Infrastructure), vous interviendrez sur la conception, le développement et l’industrialisation des pipelines data dans un environnement Azure. Vos principales responsabilités : Concevoir des pipelines d’ ingestion et de transformation (batch et near-real-time) Développer et maintenir des flux sous Azure Data Factory Implémenter des traitements Spark via Databricks Mettre en place la qualité des données , le monitoring et la reprise sur erreur Versionner, packager et livrer via des pipelines CI/CD Collaborer avec les équipes BI, sécurité et infra 🛠️ Industrialisation & DataOps Respect des standards de développement et de nommage Mise en œuvre de pipelines CI/CD Documentation et maintien des bonnes pratiques Data Contribution à la performance et à la robustesse des traitements

En quelques mots Cherry Pick est à la recherche d'un "Tech Lead Data IoT – Java & Cloud" pour un client dans le secteur du retail. Description⚡ Le Contexte Au sein d'une plateforme IoT gérant des millions d'objets connectés (Smart Devices, vélos, équipements sportifs), nous recherchons le Référent Technique Data . Il ne s'agit pas d'un poste de Data Engineer classique qui ne fait que des pipelines, mais d'un rôle de Software Engineer / Tech Lead spécialisé dans le traitement de la donnée. Vous êtes le "Tech Lead Data" unique de la plateforme : vous portez la responsabilité technique et architecturale de tout ce qui touche à la donnée au sein de l'écosystème IoT. 🎯 Votre Mission : Architecturer et Construire le Backend Data Votre rôle est central : vous construisez le moteur qui ingère, traite et structure les événements remontés par les objets connectés. Vous êtes garant de la cohérence de la donnée, du capteur jusqu'au stockage. 1. Développement Backend & Traitement IoT (80-90% du poste) Développement Java : Concevoir et développer les briques Backend chargées du traitement des flux (Temps Réel & Événementiel). Gestion de la complexité IoT : Gérer les problématiques de connectivité instable. Exemple concret : Reconstituer une session de sport ("Ride") complète même en cas de perte de réseau, gérer les règles de début/fin de session automatiquement. Privacy by Design : Intégrer les contraintes RGPD et le respect des consentements utilisateurs directement dans l'architecture de collecte (filtrage à la source, anonymisation). 2. Architecture & Lead Data Référent Technique : Vous êtes le point de contact unique pour toutes les décisions impactant la data sur la plateforme. Conseil & Gouvernance : Vous auditez et conseillez les autres équipes Backend. Si une feature touche à la structure de la donnée, vous intervenez pour valider le modèle. Modélisation : Définir les modèles de données pour garantir leur exploitabilité future. 3. Analytics & Maintenance (10% du poste) Maintenir les flux ETL existants et les jobs d'analytics. Intervenir ponctuellement sur du Spark / Scala pour des besoins de BI ou de Data Science. 🛠 La Stack Technique Un environnement Multi-Cloud et moderne : Cloud Principal : GCP (Google Cloud Platform). IoT : AWS IoT Core (gestion de la flotte et connectivité). Langage Principal : Java (Expertise demandée). Analytics/Data : Databricks , Spark, Scala.

Notre client migre ses flux ETL d’Informatica vers Microsoft Fabric pour ses besoins en data ingestion et analytics. Le projet concerne principalement le domaine Finance, avec un modèle pivot centralisant contrats, positions, instruments de couverture, flux futurs, contreparties et données de marché. Environnement technique : * ESB (Software AG), * ETL (Informatica), * Data Platform (Fabric/Power BI) Mission En tant que Tech Lead Data, vous serez responsable de : * Définir les standards techniques (Fabric, Spark, Python) et bonnes pratiques de développement. * Piloter la migration des flux Informatica vers Fabric : * Évaluer l’existant (flux, modèles pivots, dépendances). * Concevoir le framework d’ingestion/transformation (Spark, Notebooks). * Mettre en place la CI/CD (Azure DevOps/GitHub). * Assurer le monitoring et la qualité des données. * Encadrer une équipe de 3 Data Engineers (mentorat, optimisation des performances). * Collaborer avec les équipes métiers (Finance/Risque) et l’architecture IT.

Missions Gestion des incidents dans un environnement front-office trading / finance de marché. Forte activité RUN : incidents, demandes, livraisons. Gestion autonome des arrêts/relances, supervision, mises en production, upgrades. Investigation des incidents techniques et performances. Expertise technique autour de Sophis et du pricer (tests de performance, disponibilité…). Contribution aux projets en cours : DevOps (Jenkins, XL Deploy, XL Release), upgrades Windows 2016, évolution de la distribution de calculs, framework Python vers Hadoop/Spark/Hive, upgrade majeur Sophis.

Mission longue durée – Paris / Aix-en-Provence / Lausanne (Suisse) Secteur d’activité : Horlogerie de luxe Missions Pilotage complet du projet : planning, jalons, risques, reporting, animation des comités. Suivi financier : budget, consommés, prévisionnels, arbitrages, revues internes/client. Coordination et validation des livrables techniques et fonctionnels. Leadership technique sur Azure (IAM, architecture cloud), Databricks (pipelines, optimisation, ingestion), Power BI (modélisation, datasets, gouvernance). Gestion du relationnel client multi-acteurs, communication claire, gestion des attentes et décisions. Coordination d’une équipe pluridisciplinaire et diffusion des bonnes pratiques data & cloud . Compétences techniques Maîtrise de Microsoft Azure (Data Lake, Data Factory, SQL/Synapse, DevOps). Expertise Databricks (Spark, optimisation, CI/CD, ingestion/transformation). Très bon niveau Power BI (DAX, modélisation, datasets, gouvernance). Bonne compréhension des architectures data modernes et environnements CI/CD. Compétences gestion & relationnel Méthodologies Agile et cycle en V. Pilotage planning/risques/livrables, gestion budgétaire avancée. Leadership, communication, diplomatie, gestion de situations sensibles. Capacité à décider rapidement et à fédérer une équipe.

Contexte de la mission Un grand groupe du secteur média / audiovisuel mène plusieurs projets stratégiques autour de la valorisation de la donnée au sein de sa Direction Technique du Numérique. L’objectif global est d’utiliser la donnée comme levier de croissance , d’optimisation des produits numériques et d’amélioration de la connaissance utilisateur. La mission est intégrée à une équipe transverse (Product Owner + Data Engineers) en charge d’un produit interne visant à fournir des données fiables, structurées et exploitables pour le pilotage des activités numériques. Objectifs principaux Maximiser la collecte de données dans le respect des normes légales. Améliorer la connaissance et l’expérience utilisateur via la donnée. Mettre à disposition des outils d’aide à la décision basés sur des données fiables. Garantir la disponibilité, la qualité et la gouvernance des pipelines data. Environnement technique Python, SQL, dbt, Apache Spark BigQuery, Dataplex Universal Catalog Airflow Terraform, Terragrunt GitLab CI/CD Google Cloud Platform Responsabilités attendues Au sein de l’équipe data Maintenir et faire évoluer le produit data existant ainsi que les dispositifs associés. Mettre en place et suivre un contrôle qualité rigoureux des données. Accompagner les utilisateurs internes dans l’usage des datasets. En tant que Data Engineer Participer aux phases de conception, planification et développement. Construire et maintenir des pipelines robustes, scalables et résilients. Structurer et organiser le stockage des données. Déployer et optimiser les infrastructures cloud en réponse à la croissance des volumes. Contribuer aux initiatives de gouvernance : qualité, intégrité, fiabilité. Maintenir les workflows CI/CD et sécuriser les environnements. Documenter les développements et partager les bonnes pratiques au sein de l’équipe. Réaliser une veille technologique continue. Compétences requises Expérience Minimum 3 ans en tant que Data Engineer (7 à 10 ans souhaité pour le niveau sénior). Compétences techniques indispensables Python, SQL, Spark, dbt BigQuery, Dataplex Airflow Terraform, Terragrunt GitLab CI/CD Méthodologies Agile (Scrum / Kanban) Compétences transverses Capacité à vulgariser des sujets techniques. Rigueur, autonomie, communication claire. Modalités d’exécution Présence sur site : 50 % minimum . Pas d’astreinte prévue. Matériel conforme aux normes de sécurité (chiffrement, antivirus, mises à jour…). Langue de travail : français

Descriptif du poste En tant que Développeur DataStage, la mission consiste à intégrer les équipes projet du programme de migration vers la nouvelle solution DataFactory, et à contribuer activement à la migration de la solution actuelle vers cette nouvelle plateforme. Ce projet a pour objectif de remplacer la solution actuellement utilisée pour le stockage et le traitement des données comptables et de performance, la plateforme actuelle devant être décommissionnée d'ici 2025. Dans le cadre de la stratégie Data, il a été décidé d'adopter la solution DataFactory, actuellement développée par les équipes IT/ADM. La mission s'inscrit dans un environnement technique large : Technologies actuelles : Spark (Java), Ab Initio, Oozie, MapR… Technologies cibles : DataStage (bientôt NG), PostgreSQL Dans ce contexte, la mission inclut des activités de développement sous IBM DataStage et SQL, ainsi que des tâches d'analyse et d'expertise liées à l'adaptation technologique de la solution. Vous rejoindrez une équipe d'une dizaine de personnes (chef de projet, business analysts, développeurs, scrum master, architectes…) réparties entre Pantin, Lisbonne et Chennai. Responsabilités principales Analyse, développement, tests et intégration sur les technologies du périmètre. Application des bonnes pratiques technologiques et méthodologiques définies. Acquisition d'une expertise fonctionnelle et/ou technique sur les composants clés du portefeuille applicatif. Maintenance et support niveau 3 des applications concernées. Participer au cycle complet de développement (analyse, développement, tests, déploiement) — principalement sur IBM DataStage et SQL. Contribuer à la définition des solutions techniques. Développer et personnaliser les composants de la solution. Participer activement aux sprints en tant que membre de la squad de développement. Garantir la qualité via la réalisation des tests unitaires et d'intégration. Livrer les projets avec un fort souci de qualité et de performance.

La prestation consistera à : - Exploiter le socle de data pour mettre en place le pilotage des actions, en construisant des dashboards (Power BI) pour le suivi des profils, le suivi de l’engagement, le suivi des segments RF, le suivi des objectifs - Analyser les profils et comportements des utilisateurs, en mettant en place les analyses des profils de vidéonautes, décortiquant les comportements selon les canaux d’acquisition, les contenus consommés, en analysant l’impact de la pression pub sur nos utilisateurs, … - Mettre en place la data science et l’IA au service de l’amélioration de l’expérience utilisateur et l’amélioration de nos process internes - Prédiction des audiences - Enrichissement du catalogue via l’IAG - Prédiction de l’inactivité, des appétences, … - Segmentations - Expériences en analyses de connaissance clients / utilisateurs du type cycle de vie client, churn, recrutés… - Expériences en data science sur des sujets de type prévision, algo de reco, score d’appétence, anti churn… - Expériences sur des sujets d’ IA Générative - Maitrise SQL indispensable, solides connaissances en Python et/ou Spark - Expériences sur un environnement Google Cloud Platform / Big Query - Bonne connaissance des données et des outils dans un écosystème digital (de type Piano Analytics, Google Analytics..) - Capacité à synthétiser et à restituer des résultats à des interlocuteurs ayant des niveaux de maturité data différent - Capacité à mener plusieurs sujets en même temps - Curiosité, dynamisme, enthousiasme, esprit d’équipe, rigueur et autonomie

Nous recherchons un expert data capable de concevoir, structurer et optimiser des solutions data modernes pour accompagner la croissance et les enjeux business d’une organisation en pleine transformation numérique. Votre rôle sera central : transformer la donnée en levier stratégique, garantir sa qualité et développer les pipelines, modèles et analyses qui permettront aux équipes métiers de prendre de meilleures décisions. 🎯 Livrables & responsabilités Concevoir et mettre en œuvre des solutions data complètes pour répondre aux besoins business. Analyser, interpréter et valoriser des données complexes pour produire des insights actionnables. Travailler avec des équipes pluridisciplinaires (IT, produit, métier, sécurité…) afin d’identifier et résoudre les problématiques data. Développer et maintenir des pipelines de données , des modèles analytiques et des outils de reporting. Garantir la qualité, l’intégrité et la sécurité des données sur tout leur cycle de vie. Fournir une expertise technique et des recommandations pour soutenir la prise de décision data-driven. 🧩 Expertise requise 5 ans d’expérience minimum en data engineering, data analytics ou poste similaire. Expérience solide dans la livraison de solutions data dans des environnements dynamiques. Maîtrise des architectures et technologies data modernes : plateformes cloud (AWS, Azure, GCP), frameworks Big Data, data warehousing. Excellentes compétences en Python, SQL, Spark . Maîtrise de la modélisation de données , des processus ETL et des pipelines de transformation. Expertise sur les outils de visualisation et de reporting : Power BI, Tableau . Connaissance des bonnes pratiques de gouvernance, sécurité et conformité des données.

Lead dev python / spark, freelance, 6 mois de contrat initial, paris intramuros Attractives opportunité pour un(e) Lead Developer / Python de rejoindre notre client final basé dans Paris intramuros et qui accompagne quotidiennement des millions de particuliers et de professionnels. Vous interviendrez en tant qu’expert en développement Python / Spark au sein d'une petite équipe sur un projet data innovant. Tâches principales · Lead Dev Python + Spark / PySpark · Fournir des conseils · Intervention sur des opérations exceptionnelles · Faire évoluer la plateforme · Organiser et structurer des mises à jour de versions

CONTEXTE : la Direction Technique a besoin d’être accompagnée sur une prestation d’Architecture Data pour l’ensemble de la Data Platform et des dispositifs associés. MISSIONS Au sein des équipes Data composées de product owners, de data engineers, de data scientists et autres profils, la prestation portera sur l’accompagnement des équipes dans les domaines suivants : · Architecture technique : o Garantir le respect des normes et la cohérence de la stack technique entre les différentes équipes o Contribuer et s’assurer de la mise en place de contrats d’interface entre les différentes équipes o Connaître les standards du marché et assurer une veille technologique o Participer aux tests et à l’introduction de nouvelles technologies o Comprendre et auditer l’architecture existante afin de proposer des améliorations · Developer expérience : o Contribuer à l’écriture de nouveaux modules Terraform o Accompagner les équipes dans leur montée en compétence de l’Infrastructure as Code et des nouvelles technologies o Définir les standards concernant les équipes de développement, en particulier sur la CI/CD · FinOps : o Mettre en place un plan de suivi du budget par équipe o Implémenter les outils de monitoring (alertes, seuils, etc.) o Identifier les optimisations et contribuer à leur priorisation Expertises demandées pour la réalisation de la prestation : · Au moins 3 ans d’expérience en tant qu’Architecte Data dans un environnement data · Compétences solides en data : structures de données, code, architecture · Expériences approfondies des meilleures pratiques des architectures en général et data en particulier · Expérience dans la sécurisation d’application dans le Cloud · Expériences dans un environnement du cloud Google (GCP) · Expériences intégrant BigQuery, Cloud Composer (Airflow) et Dataplex Universal Catalog · Expériences intégrant les langages Python et SQL · Expériences intégrant Spark · Expériences intégrant dbt · Expériences intégrant Terraform et Terragrunt