Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Profil : Tech Lead Expert ODI Compétences techniques : Expertise ODI XP ≥5 ans sur des chaînes d’intégration complexes et critiques, en production. Maîtrise des architectures ETL/ELT, Exadata SQL avancé, optimisation de flux, gestion de volumétrie et tuning. Expérience sur projets Big Data (Hadoop, Spark, Kafka), intégration continue (Git, Jenkins, SonarQube), sécurité by design. Expérience secteur energie Pilotage technique : validation des choix d’architecture encadrement d’équipe industrialisation des process qualité logicielle.

Je recherche un Data Ingénieur afin de rejoindre l' équipe Gold Pilotage. L’équipe est constituée d’un Product Owner et de deux Data ingénieurs, est en charge de la mise à disposition des données utiles pour le pilotage des offres numériques et à l’ensemble des dashboards et reporting via son produit “Data4All”.afin de maintenir et faire évoluer la Data4all et les différents dispositifs de l’équipe Accompagne les utilisateurs des données dans leurs usages, Mettre en place le contrôle qualité sur les données traitées par l’équipe Notre stack technique est principalement constituée de Python, SQL, dbt , BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. La stack inclut aussi d’autres services de la Google Cloud Platform Prestations attendues : En interaction avec les membres de l’équipe, la mission consiste à : Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe Construire et maintenir des modèles de données et des pipelines data robustes et scalables Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données Organiser et structurer le stockage des données Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données Construire et maintenir les workflows de la CI/CD Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur Assurer l’évolutivité, la sécurité, la stabilité des environnements Participer aux différentes instances des data ingénieurs Contribuer et veiller à la mise à jour de la documentation Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : Compétences solides en data : structures de données, code, architecture Expériences dans la conception et la réalisation de pipelines data Expériences dans un environnement du cloud Google (GCP) Expériences intégrant BigQuery et Dataplex Universal Catalog Expériences intégrant les langages Python et SQL Expériences intégrant Spark Expériences intégrant dbt Expériences intégrant Terraform et Terragrunt Expériences intégrant Gitlab et Gitlab CI/CD Expériences intégrant les méthodologies Agile : Scrum ou Kanban Capacité à vulgariser et à communiquer sur des aspects purement techniques

Pour l’équipe en charge de l’ingestion des données dans le datalake d’entreprise, nous sommes à la recherche d’un Lead Data Engineer pour une mission freelance en région Parisienne. Profil : Lead Data Engineer / Data Engineer Senior 1/ Les critères de choix sont : · Avoir +5 ans d’expérience en conception, développement et industrialisation de pipelines Big Data et Cloud. · Expertise en Spark, Databricks, NiFi, Kafka et environnement Azure. · Expérience confirmée en lead technique et gestion de projets data. · La connaissance de Dataiku est un atout apprécié pour l’orchestration et la gestion des flux de transformation. · Langages : Scala ou Java, Python, SQL · Maitrise outils d'ETL (Extract Transform Load) : Apache Spark, Apache Nifi, Dataiku (atout apprécié) · Ingestion & Streaming : Apache Kafka · Orchestration & Automatisation : Apache Airflow, Ansible · Cloud & Plateformes : Microsoft Azure, Azure Databricks · CI/CD & DevOps Data : Azure DevOps, Git

Dans le cadre du renforcement de notre capacité de support sur une nouvelle offre Data, nous recherchons des prestataires spécialisés dans l’exploitation et le support de ces plateformes. La prestation visera à : · Assurance de support de niveau 2 en production des plateformes mentionnées (PROD). · Intervention dans la gestion des incidents, l’analyse des root causes et la résolution. · Participation à l’optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst · Accompagnement des équipes métiers dans l’utilisation efficace et sécurisée des plateformes. · Contribution à la documentation et à l’amélioration continue de l’écosystème d’exploitation.

Contexte : Nous recherchons un Data Engineer pour participer à une mission sur un environnement cloud AWS. Le candidat évoluera au sein d’une équipe digitale internationale et contribuera à la conception, au développement et à la mise en production de solutions data à grande échelle. Profil recherché : Expérience confirmée en tant que Data Engineer ou rôle équivalent. Capacité à collecter les besoins métiers et utilisateurs et à les traduire en architecture de données. Expérience dans la conception et le développement de pipelines de données robustes et évolutifs. Autonomie et rigueur dans la mise en production et la maintenance d’architectures data. Bonnes capacités de communication et aptitude à travailler en équipe multidisciplinaire. Compétences techniques requises : Python – maîtrise avancée (4/4) PySpark – maîtrise avancée (4/4) Databricks – niveau confirmé (3/4) AWS – niveau confirmé (3/4) Anglais – professionnel (3/4) Conditions de travail : Télétravail : 2 jours par semaine Présence obligatoire sur site : 3 jours par semaine Lieu : Paris Début de mission : 08/12/2025 Processus de sélection : Codingame à compléter dans les 48h après réception. Proctoring appliqué pour le codingame. Soutenances techniques prévues après le codingame.

Contexte : Nous recherchons un Data Engineer / Data Manager senior pour un projet stratégique autour de l’automatisation des processus de production liés à l’actuariat et au Risk Management. L’objectif est de simplifier et industrialiser les traitements de pré et post-processing d’un outil de projection, actuellement très manuel et dispersé sur plusieurs outils. Missions principales : Concevoir et développer une solution intégrée dans Databricks pour automatiser la préparation et le traitement des données. Créer une interface utilisateur (via Streamlit, Gradio ou Dash) permettant de : Consulter, modifier et versionner les hypothèses avec workflow de validation. Orchestrer et automatiser les jobs de pré/post-processing. Sécuriser et tracer les échanges d’inputs/outputs (qualité, audit). Gérer le stockage des données dans des tables Delta avec schémas typés et versioning. Assurer la gestion des accès et le suivi de la qualité des données.

Au moins 5 ans d’expérience en tant que Tech Lead. Principales missions : - Assurer un leadership technique auprès des équipes de développement. - Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. - Participer activement aux phases de conception, développement et tests. - Porter la vision technique au sein des équipes Agile. - Garantir la qualité des livrables et veiller à la réduction de la dette technique. - Réaliser la modélisation des données. - Assurer une veille technologique et participer aux POCs. - Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/GCP Le data ingénieur avec la stack Python, Spark, SQL, dbt, BigQuery, Airflow, Terraform, Terragrunt, GCP . Ses missions : Déployer des datasets normés Accompagner les utilisateurs dans leurs usages. Mettre en place du contrôle qualité sur les datasets. En détail : Participer aux phases de conception, planification et réalisation. Construire et maintenir des pipelines data robustes et scalables. Organiser et structurer le stockage des données. Mettre en place et maintenir des infrastructures scalables et sécurisées. Contribuer à la gouvernance des données (qualité, fiabilité, intégrité). Construire et maintenir les workflows de CI/CD. Partager et appliquer les bonnes pratiques data engineering. Assurer évolutivité, sécurité et stabilité des environnements. Participer aux instances data engineers et à la mise à jour de la documentation. Assurer une veille technologique active .

Nous sommes un leader mondial dans la fabrication de matériaux composites et de solutions innovantes . Depuis plus d’un siècle, nous repoussons les limites de la science des matériaux pour contribuer au progrès humain et à un monde plus durable . Grâce à notre expertise technologique dans les composites polymères , nous innovons continuellement pour produire des solutions de haute qualité destinées à des applications critiques dans des secteurs exigeants tels que la mobilité, la construction, l’aéronautique, les énergies bas carbone ou la santé . L’attention que nous portons à nos produits et notre connaissance fine des usages de nos clients nous permet d’offrir des expériences exceptionnelles , qu’il s’agisse de solutions connectées et intelligentes pour des flottes professionnelles , ou de services uniques pour nos consommateurs finaux .

Nous recherchons un Ingénieur Production expérimenté pour rejoindre une équipe projet dans le secteur bancaire. Vous interviendrez sur des environnements critiques à forte volumétrie de données. Compétences obligatoires : Apache Spark Apache Airflow CI/CD Kubernetes OpenShift Python Anglais courant Profil recherché : +7 ans d’expérience en environnement de production Bonne capacité à travailler dans un contexte exigeant et international Esprit collaboratif et sens de la communication Conditions de mission : Lieu : Paris (2 jours de télétravail/semaine) Démarrage : ASAP Durée : longue mission (renouvelable)

Tech Lead Spark ; Azure ; Microsoft Fabric, CI/CD: Contexte : Déployer une Data Factory structurée autour de trois volets : Program Management : pilotage global et coordination. Tech Enablers : mise en place des briques techniques de la plateforme. Data Usecases : livraison de cas d’usage métiers concrets. Objectifs : Livrer 2 à 3 cas d’usage prioritaires. Implémenter une plateforme data moderne, basée sur Microsoft Fabric, intégrée à l’écosystème Azure. Structurer une organisation Séniorité : Senior à très senior (5+ ans d’expérience, rôle de référent technique).

Nous recherchons pour le compte de notre client un Lead Data Engineer / Data Engineer Senior H/F pour une mission en freelance ou portage salarial de 6 mois renouvelable à pourvoir dès que possible dans le département 92 (Ile-de-France). Un début de mission en janvier 2026 peut-être envisageable. Notre client propose 2 jours de télétravail maximum par semaine. Responsabilités principales : Mise en place de standards de développement et bonnes pratiques Expertise en performance, fiabilité et scalabilité Participation à la communauté des Tech Leads avec les différentes Lines of Business de Geodis Développement de flux d’ingestion

Contexte du poste Rejoignez notre Centre d'Excellence Digital au sein d'une entreprise leader dans le secteur de la distribution. Basée à Chatillon, notre équipe est à la pointe de la transformation numérique, en particulier sur les projets de données et d'analytics visant à optimiser les performances commerciales de nos points de vente. Dans un contexte d'industrialisation accélérée et d'organisation agile, nous recherchons un Tech Lead Data Engineer pour renforcer notre équipe Data Lab. Votre rôle est crucial dans des projets ambitieux destinés à concevoir et déployer des produits analytiques innovants pour l'ensemble des fonctions métiers. Ce poste est à pourvoir dans une optique de prolonger notre croissance et d'accompagner notre transformation digitale. Missions Principales Missions : Assurer un leadership technique auprès des équipes de développement et coordonner les activités autour de Databricks, Spark et Azure. Conseiller et accompagner les parties prenantes dans la traduction des exigences stratégiques en solutions techniques sécurisées, scalables et fiables. Réaliser la conception technique des applications, des échanges et garantir la qualité des livrables tout en veillant à réduire la dette technique. Faire de la veille technologique et participer activement aux proof-of-concepts (POCs). Missions Annexes : Enrichir la communauté Data Engineers via le partage de connaissances. Participer aux phases de développement et aux tests des solutions.

Contexte de la mission : Au sein de la Direction des Systèmes d’Information d’un grand groupe du secteur financier, vous intégrerez une équipe en charge du pilotage des risques structurels et du reporting financier . L’objectif de la mission est de maintenir et faire évoluer une plateforme technique basée sur la technologie ClickHouse® , en garantissant sa stabilité, ses performances et sa sécurité . Missions principales : La prestation consiste à contribuer aux activités suivantes : Surveillance et monitoring de l’infrastructure ; diagnostic des incidents et anomalies Maintien en conditions opérationnelles de la plateforme (composants, performances, dette technique, montées de version) Rédaction et exécution de scripts de maintenance de l’infrastructure (équilibrage des disques, tuning système, automatisation) Application des exigences de sécurité et des procédures internes (remédiation des vulnérabilités, patching, CI/CD) Définition, estimation et planification des activités techniques Rédaction de spécifications et documentation techniques Support et accompagnement des équipes internes dans la gestion quotidienne de la plateforme

Axone by Synapse, cabinet de conseil IT innovant, recherche pour l’un de ses clients pour une mission de longue durée un Lead Data Engineer H/F chargé de concevoir, développer et industrialiser des pipelines Big Data dans un environnement Azure et Databricks. Le rôle implique l’ingestion, le streaming, la mise en place de standards techniques et la participation active à une communauté de Tech Leads. Objectif et livrable: Concevoir et industrialiser des pipelines d’ingestion Big Data haute performance. Mettre en place des standards de développement, bonnes pratiques et guidelines techniques. Optimiser la performance, la fiabilité et la scalabilité des traitements Spark/Databricks. Assurer l’intégration et l’orchestration des flux via NiFi, Kafka et Airflow. Accompagner techniquement l’équipe et jouer un rôle de référent au sein de la communauté Tech Leads. Produire une documentation claire, complète et pérenne couvrant architectures, patterns, et flux d’ingestion. Compétences attendues: Spark (expert) Databricks Kafka NiFi Azure Airflow Ansible Scala/Java, Python, SQL CI/CD (Azure DevOps, Git) N'hésitez pas à m'envoyer votre CV!! (L’objectif est de pérenniser ce poste en interne, les pré-embauches sont fortement privilégiées.)

Administrer les clusters Big Data et les briques logicielles OpenShift, Cloudera Data PlatForm du Socle DataLake Groupe ; Prendre en charge l’Expertise des technologies Big Data (principalement OpenShift, Cloudera Data PlatForm) utilisées par le OneDataLake avec un focus sur les niveaux de service rendus par la Plate-Forme et des ROI associés ; Concevoir et développer une solution à l’état de l’art sur les couches infra et techniques de la plateforme One Data Lake pour offrir le meilleur niveau de réponse aux exigences fonctionnelles des métiers ainsi qu’aux exigences de performance, de scalabilité, de résilience, d’évolutivité, d’exploitabilité et de conformité aux règlements PSSI et RGPD Assurer le support de Niveau N3 (Heures Ouvrées); Maitriser les enjeux du cycle de vie de la Plate-Forme OneDataLake : conception, développement, intégration et déploiement techniques de briques socle, d’applications ou de solutions Big Data/IA ; Diffuser l’expertise et accompagner les équipes Socle Outils, Socle Applicatifs et DataFactories pour un bon usage du Socle Technique, dans l’appropriation du cadre technologique et de sa bonne mise en application ; Assurer ou veiller à la mise à jour exhaustive et complète de la documentation du Produit Socle DataLake ; S’inscrire dans une organisation opérationnelle SAFe, Scrum, XP ; Reporter aux PM/POs Socle DataLake ; S’inscrire dans la démarche qualité et la gouvernance de la DIWO / DSI.