Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Expert en systèmes distribués, votre mission est de concevoir, déployer et administrer les clusters Apache Kafka au cœur de l'échange de données en temps réel de la banque. Vous intervenez sur la configuration fine des brokers, la gestion des topics, des schémas (Schema Registry) et des partitions pour garantir une haute disponibilité et une tolérance aux pannes maximale. Vous accompagnez les équipes de développement dans l'implémentation des producteurs et consommateurs, ainsi que dans l'utilisation de Kafka Streams ou ksqlDB pour le traitement de flux. Vous assurez le monitoring proactif des performances (latence, débit), la sécurité des flux (SSL/SASL/ACLs) et le troubleshooting complexe en environnement de production critique. Vous êtes le référent sur les stratégies d'archivage et de réplication inter-sites.

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Ilest composé de 300 experts passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre Mission : En tant que Développeur(se) Fullstack Java AWS, vous interviendrez sur des projets innovants, au cœur des enjeux de transformation de nos clients. Vous participerez à la conception, au développement et à l’industrialisation de solutions modernes, robustes et évolutives. Concrètement vous allez : Concevoir et développer des applications Java / Spring Boot performantes. Contribuer au développement front (Angular, React ou Vue.js selon les projets). Participer à la définition des architectures techniques. Travailler en méthodologie agile au sein d’équipes pluridisciplinaires. Collaborer avec nos experts DevOps, Cloud et Data pour industrialiser et optimiser les solutions. Contribuer à l’amélioration de la qualité du code (tests automatisés, revues, bonnes pratiques). Développer en respectant les bonnes pratiques de production logicielle et de CraftsManship. Votre futur environnement technique : Back-end : Java 21, Spring Boot, API REST, microservices Front-end : Angular / React / Vue.js DevOps : CI/CD (GitLab, Jenkins, Azure DevOps…), Docker, Kubernetes Cloud : Azure, AWS ou GCP Modélisation de données : Kafka Qualité : tests unitaires, tests d’intégration, Sonar, automatisation

Support Technique et Expérience Développeur Assurer un support quotidien aux ingénieurs et data scientists. Identifier et contribuer à la gestion de la dette technique ; fournir des outils d'automatisation et de test. Collaborer avec les équipes plateforme pour optimiser l'expérience développeur globale. Adoption de la plateforme et bonnes pratiques Promouvoir l'utilisation efficace des outils et fonctionnalités de la plateforme. Se tenir informé(e) des tendances du secteur et des technologies cloud/données pertinentes. Développement des compétences et animation de la communauté Évaluer les compétences de l'équipe et dispenser des formations ciblées. Animer une communauté de pratique pour présenter les améliorations et partager les bonnes pratiques. Produire de la documentation technique et des supports de formation. Retours d'information et évolution de la plateforme Recueillir les retours des utilisateurs et contribuer à l'amélioration du produit. Valider les livrables d'ingénierie de la plateforme par des tests alignés sur des cas d'utilisation réels. Défendre les intérêts des ingénieurs et des data scientists en interne.

Pour l'un de nos clients du secteur bancaire, nous recherchons un architecte IT end-to-end (data, backend, frontend). Objectifs de la mission : Apporter de l’expertise architecture tout en étant pédagogue (vulgarisation, acculturation des équipes). IT : architecte end to end, maitrise Google Cloud Platform, Data compute (Apache spark, gestion de gros volumes de données), langages : Java et/ou .NET, conteneurisation : OpenShift / Kubernetes et outil agentique. (MANDATORY : SANS CES COMPETENCES, INUTILE DE POSTULER)

Bonjour, Dans le cadre d’un programme stratégique autour de la data, nous recherchons plusieurs Data Engineers Databricks pour intervenir sur une plateforme à fort enjeu. 📍 Localisation : France – 100% Remote 📅 Démarrage : ASAP 📆 Fin de mission : 31/12/2026 💰 TJM (selon séniorité et localisation) Paris : Séniorité 3 : 580 € Séniorité 4 : 660 € Séniorité 5 : 740 € Province : Séniorité 3 : 520 € Séniorité 4 : 590 € Séniorité 5 : 670 € 🚀 Contexte & Missions Dans le cadre du développement d’une usine data (plateforme Databricks) , vous interviendrez pour accélérer la mise en œuvre de cas d’usage data à forte valeur ajoutée. L’objectif est de renforcer les équipes avec 6 Data Engineers (confirmés à seniors). À ce titre, vos missions seront : Développer et industrialiser des pipelines de données sur Databricks Participer à la mise en œuvre de cas d’usage data Optimiser les traitements et la performance des workflows data Contribuer à l’architecture et à l’évolution de la plateforme data Garantir la qualité, la fiabilité et la traçabilité des données 🛠️ Environnement technique Databricks (Data Intelligence Platform) Azure Databricks Apache Spark Python SQL 🎯 Profil recherché Data Engineer Databricks Expérience : à partir de 3 ans (profils confirmés à seniors) Bonne maîtrise des environnements data modernes et distribués Capacité à travailler en autonomie dans un contexte agile ✅ Compétences clés Développement de pipelines data sur Databricks Maîtrise de Spark (PySpark) Solide niveau en Python & SQL Bonne compréhension des architectures data (batch / streaming) 💡 Mission long terme avec forte visibilité.

MISSION GLOBALE : Rattaché à la direction Data/Analytics, vous concevez, industrialisez et opérez des pipelines à l’échelle sur Databricks intégrés à l’écosystème AWS pour accélérer les cas d’usage data du secteur de l’énergie. Vous mettez en œuvre des traitements batch et streaming avec Spark , Delta Lake et Delta Live Tables , structurez des zones Bronze/Silver/Gold et garantissez qualité, sécurité et gouvernance via Unity Catalog, IAM et Lake Formation . Vous orchestrez l’ingestion depuis S3 , bases et API/IoT, optimisez coûts et performances ( FinOps ) et mettez en place CI/CD , tests et observabilité . En étroite collaboration avec les Data Scientists/Analysts, vous industrialisez des modèles et fonctionnalités MLOps avec MLflow pour des usages tels que prévision consommation/production , optimisation réseau , maintenance prédictive IoT et reporting quasi-temps réel . Vous contribuez aux standards d’ingénierie, à la documentation, au mentoring et à la fiabilité opérationnelle de la plateforme. TÂCHES ET RESPONSABILITÉS PRINCIPALES : • Concevoir, développer et opérer des pipelines sur Databricks (batch et streaming) • Modéliser les données Delta Lake et structurer les zones Bronze/Silver/Gold • Intégrer l’écosystème AWS : S3, Glue, EMR, Lambda, Step Functions, Lake Formation • Assurer qualité, sécurité et gouvernance avec Unity Catalog et IAM • Mettre en place CI/CD, tests et observabilité : optimiser coûts et performances • Orchestrer les workflows (Databricks Workflows, Airflow, Step Functions/ADF) • Industrialiser MLOps avec MLflow en lien avec les Data Scientists • Optimiser les jobs Spark (partitionnement, Z-Ordering, AQE, caching) • Gérer environnements, secrets, artefacts et conformité sécurité • Collaborer avec métiers et data teams pour cadrer et livrer les use cases énergie LIVRABLES CLÉS : • Pipelines Databricks prêts production : traitements batch/streaming robustes et monitorés • Modèle de données Delta Lake : zones Bronze/Silver/Gold documentées et versionnées • Intégrations AWS opérationnelles : S3, Glue Catalog, EMR/Lambda, Lake Formation/IAM • Cadre CI/CD et tests : pipelines de déploiement, validations data et qualité automatisées • Observabilité et FinOps : métriques, alerting, SLO et optimisation des coûts • Chaînes d’orchestration fiables : Databricks Workflows/Airflow/Step Functions prêtes • Capacités MLOps avec MLflow : traçabilité, registry modèles et déploiements contrôlés • Documentation et standards : runbooks, guides d’architecture et bonnes pratiques

🌟 Quel sera ton poste ? 🌟 💼 Poste : Ingénieur Infrastructure H/F 📍 Lieu : Paris (75) 🏠 Télétravail : 3 jours sur site par semaine 📝 Contrat : CDI 👉 Contexte client : Tu rejoins un acteur majeur du secteur financier , engagé dans la modernisation, la sécurisation et l’industrialisation de ses plateformes Data à grande échelle. En tant qu’ Ingénieur Infrastructure tu interviens sur le maintien en conditions opérationnelles, l’évolution technologique et la performance d’environnements Data complexes (CDP 7.1.x, Hadoop, stockage distribué, ingestion API…). 🎯 Tu auras pour missions de : Tu auras pour missions de : Recueillir les besoins métiers. Développer l’ingestion (API) et concevoir les stockages (Ozone, Hadoop…). Automatiser les traitements (batchs/pipelines). Nettoyer, transformer et structurer les données. Documenter les bases et garantir la conformité RGPD. Assurer la maintenance corrective/évolutive. Déployer et industrialiser les modèles ML. Assurer validation, monitoring et robustesse. Participer au design, à l’installation et à la qualification des plateformes. Contribuer à l’industrialisation continue. Support aux équipes métiers/applicatives/infra. Communication régulière au chef de projet. Astreintes + interventions HNO. Amplitude équipe : 8h–19h. 🧰 Stack technique : Cloudera CDP 7.1.x : HBase, Hive, Kafka, Solr, Knox, Spark, Ranger, Zookeeper, Kerberos, LDAP Systèmes : RedHat 8, RedHat 9 Langages & DevOps : Python, Bash, Java, Maven, Gradle, Ansible, DevOps Stockage & Data : Ozone, Hadoop, Druid, Clickhouse Traitement & orchestration : Airflow, Flink, Trino, Starburst Containers : Openshift, Kubernetes (K8s), Cloudera Data Services Autres : écosystème Apache, automatisation, migration clusters Hadoop

🏢 Contexte Au sein d’une organisation publique innovante spécialisée dans la gestion et la valorisation de données à grande échelle , vous rejoignez la direction technique en charge de la conception, de l’implémentation et de la maintenance d’une plateforme Data sécurisée. Vous intégrerez une équipe technique dédiée à l’infrastructure, évoluant dans un environnement agile et collaboratif, en interaction avec des profils Data, Produit et Ops. La plateforme repose sur des technologies cloud modernes et des pratiques d’ Infrastructure as Code dans un contexte exigeant en matière de sécurité. 🚀 Missions En tant que Développeur Infrastructure / DevOps, vous interviendrez sur : 🔧 Développement & automatisation Développement et maintenance de l’infrastructure as code Automatisation des déploiements cloud à grande échelle Intégration de composants techniques au sein d’environnements Kubernetes ⚙️ Plateforme & performance Déploiement et maintenance de composants applicatifs et techniques Contribution à la stabilité, performance et évolutivité de la plateforme Collaboration avec les équipes Data pour répondre aux besoins métiers 🔐 Sécurité & bonnes pratiques Application des standards de sécurité et conformité Participation aux évolutions d’architecture Veille technologique et amélioration continue 📚 Documentation & collaboration Rédaction et mise à jour de la documentation technique Participation aux échanges techniques et partage de bonnes pratiques 🛠️ Environnement technique Cloud : Azure Infrastructure as Code : Terraform, Terragrunt, Packer, Ansible Conteneurisation : Kubernetes, Docker, Helm Scripting : Bash, Python Outils : Git, CI/CD, GitLab Data tools : Jupyter, Spark, PostgreSQL

Contexte Dans le cadre du développement d’une Squad Usages Data Avancés & IA , nous recherchons un(e) Data Engineer confirmé(e) pour contribuer à la conception, l’industrialisation et l’amélioration continue de solutions data à forte valeur ajoutée. Vous évoluerez dans un environnement orienté DataOps , MLOps et industrialisation de solutions analytiques, au sein d’une équipe pluridisciplinaire (Data Scientists, DevOps, Product Owner…). La squad intervient sur : La conception et la maintenance d’applications data L’amélioration continue des produits existants La construction de nouveaux usages Data & IA Vos missions Conception & Architecture Participer à la définition des solutions applicatives data Contribuer aux choix d’architecture (batch, streaming, microservices data) Concevoir des pipelines robustes, scalables et performants Développement & Intégration Construire et maintenir des pipelines ETL / ELT (données structurées et non structurées) Développer des traitements en Python (PySpark, FastAPI) et SQL Intégrer des flux temps réel via Kafka / Spark Réaliser les phases d’intégration et de recette technique Industrialisation – DataOps / MLOps Mettre en œuvre des chaînes CI/CD et de déploiement (Docker, Kubernetes, GitHub/GitLab Actions) Industrialiser des modèles statistiques ou de Machine Learning Versionner données, modèles et code Monitorer la performance, la qualité et les coûts des traitements Assurer l’observabilité des solutions (ELK, Prometheus/Grafana, MLflow) Qualité & Amélioration Continue Mettre en place des tests automatisés (Pytest) Maintenir un haut niveau de qualité de code (SonarQube) Améliorer l’efficacité des processus Maintenir une documentation claire et à jour Collaboration Travailler en étroite collaboration avec les membres de la squad Préparer des datasets pour l’exploration et l’analyse Accompagner les utilisateurs dans la prise en main des solutions Docker Kubernetes GitHub Actions ou GitLab CI Compétences techniques requises Langages & Frameworks: Python (PySpark, FastAPI), SQL Big Data & Streaming: Apache Spark, Apache Kafka Bases de données: PostgreSQL, Teradata, MySQL MLOps / CI-CD / Conteneurisation: Docker, Kubernetes, GitHub Actions ou GitLab CI Qualité & Observabilité: Pytest, SonarQube, Stack ELK, Prometheus / Grafana, MLflow

Nous recherchons un Lead Data Engineer chevronné pour rejoindre un acteur majeur de la Tech Parisienne. Au sein d'une équipe dynamique, votre mission sera de piloter l'acquisition de données à grande échelle et d'orchestrer une migration technologique stratégique. Votre Mission En tant que garant technique de l'acquisition de données, vous intervenez sur l'ensemble de la chaîne de valeur, du cleaning à l'enrichissement. Vos responsabilités principales incluent : Architecture & Design : Concevoir et refondre des pipelines de données robustes dans le cadre d'une migration majeure de GCP vers AWS. Ingestion Massive : Gérer l'ingestion de types de données variés (Listing, etc.) et assurer leur qualité. Optimisation : Assurer le nettoyage et l'enrichissement des données pour les rendre exploitables par les équipes consommatrices. Snowflake : Exposer les données de manière optimale. Compétences Techniques Requises Cloud : Maîtrise avancée de l'écosystème AWS (tous services) et idéalement une expérience de migration depuis GCP. Data Processing : Expertise sur Spark / PySpark pour le traitement de données volumineuses. Infrastructure : Solides compétences en Terraform (IaC). Langages : Maîtrise de Python. Data : Connaissance de Snowflake pour la partie consommation.

Nous recherchons un Analytics Engineer pour rejoindre une équipe dédiée à la centralisation et à la fiabilisation des données dans un environnement data-driven. Votre mission consistera à concevoir et maintenir des pipelines de données (Azure Data Factory, Databricks, Spark SQL) pour alimenter un datamart utilisé par les métiers via des outils self-BI (Power BI, BusinessObjects). Vos missions principales : Concevoir et développer des pipelines d’ingestion via Azure Data Factory , en assurant leur robustesse et leur évolutivité. Transformer et optimiser les données en utilisant Spark SQL (Databricks) pour répondre aux besoins métiers. Maintenir et améliorer les indicateurs de qualité des données , en garantissant leur cohérence et leur fiabilité. Implémenter des tests unitaires pour sécuriser les pipelines et assurer la stabilité des solutions. Collaborer avec les équipes techniques et métiers pour affiner les besoins et proposer des améliorations continues. Participer à la maintenance des outils de monitoring pour suivre les performances et la santé des applications. Ce poste est idéal pour un professionnel souhaitant impacter directement la stratégie data d’une organisation en pleine transformation digitale.

On cherche un(e) Data Engineer pour renforcer une équipe qui fait tourner la plateforme data au quotidien. Le sujet est très concret : ramener des données qui viennent de partout , les centraliser proprement , les rendre fiables , et garder une plateforme qui tient la charge (et qui ne casse pas en prod au premier pic). Vous travaillerez avec un Product Owner, un Data Steward et d’autres data engineers. On est sur une logique : ingestion, standardisation, stockage, et tout ce qui va avec côté run (monitoring, reprise, sécurité, doc). Vos missions : Collecter et centraliser des sources hétérogènes (API, fichiers, bases, événements). Construire des pipelines robustes : gestion des erreurs, reprises, backfills, alerting, qualité. Développer les traitements en Python / SQL / Spark (volumes en hausse, donc on fait attention à la perf et aux coûts). Orchestrer les flux avec Airflow . Structurer le stockage sur Cloud Storage avec une approche Delta Lake (évolution de schémas, merge/upsert, partitionnement, rétention). Industrialiser l’ensemble : Terraform / Terragrunt , GitLab CI/CD , environnements propres (dev/staging/prod). Contribuer à la gouvernance et à la conformité : catalogage et métadonnées via Dataplex + documentation utile (pas un wiki fantôme). Environnement technique : Python, SQL, Spark Airflow (orchestration) GCP : BigQuery, Dataproc, Pub/Sub, Cloud Storage Delta Lake Terraform + Terragrunt GitLab + GitLab CI/CD Méthodes : Agile (Scrum/Kanban)

Contexte Intégration d'une équipe de développeurs data (Java, Spark, Spring) dont le rôle est la mise en place de pipelines de données à destination de vues NoSQL (Cassandra, MongoDB, Elasticsearch). Expérience requise Développement objet en environnement de production Expérience de 5 ans minimum en développement data Expérience dans un grand groupe (expérience de l'inertie et des contraintes d'un groupe) Expérience sur tout le cycle de vie d'une application (besoin, conception, développement, déploiement, maintenance) Expérience souhaitée en amélioration d'une solution existante (contrainte de SLA, performance, montée en charge, refactoring, voir refonte)

CONTEXTE : L’équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Le stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure MISSIONS : 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 5 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Dans le cadre du projet DataBoost , nous recherchons un Analytics Engineer pour participer à la migration des rapports SAP Business Objects vers Power BI . Ce projet vise à décommissionner SAP BO en industrialisant l’intégration des données dans une architecture lakehouse moderne (Bronze → Silver → Gold), et à construire un référentiel analytics centralisé pour l’ensemble des datamarts. Vos missions consisteront à : Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory (POC avec Airflow). Développer des pipelines d’intégration de données en PySpark (Spark Declarative Pipeline). Transformer et optimiser les flux de données en SQL avec le framework DBT . Développer de nouveaux indicateurs de qualité de données sur DBT. Garantir la qualité du code et le respect des normes de développement. Implémenter des tests unitaires pour assurer la fiabilité des solutions. Maintenir les outils de monitoring pour suivre les performances. Ce poste est idéal pour un professionnel souhaitant contribuer à une transformation majeure des outils BI et travailler sur une architecture data moderne .