Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Python/Spark/GCP Le data ingénieur avec la stack Python, Spark, SQL, dbt, BigQuery, Airflow, Terraform, Terragrunt, GCP . Ses missions : Déployer des datasets normés Accompagner les utilisateurs dans leurs usages. Mettre en place du contrôle qualité sur les datasets. En détail : Participer aux phases de conception, planification et réalisation. Construire et maintenir des pipelines data robustes et scalables. Organiser et structurer le stockage des données. Mettre en place et maintenir des infrastructures scalables et sécurisées. Contribuer à la gouvernance des données (qualité, fiabilité, intégrité). Construire et maintenir les workflows de CI/CD. Partager et appliquer les bonnes pratiques data engineering. Assurer évolutivité, sécurité et stabilité des environnements. Participer aux instances data engineers et à la mise à jour de la documentation. Assurer une veille technologique active .

Nous recherchons un Ingénieur Production expérimenté pour rejoindre une équipe projet dans le secteur bancaire. Vous interviendrez sur des environnements critiques à forte volumétrie de données. Compétences obligatoires : Apache Spark Apache Airflow CI/CD Kubernetes OpenShift Python Anglais courant Profil recherché : +7 ans d’expérience en environnement de production Bonne capacité à travailler dans un contexte exigeant et international Esprit collaboratif et sens de la communication Conditions de mission : Lieu : Paris (2 jours de télétravail/semaine) Démarrage : ASAP Durée : longue mission (renouvelable)

CONTEXTE Contexte La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Silver, la mission se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et d’un data ingénieur. Notre stack technique est principalement constitué de Python, Spark, SQL, dbt, BigQuery, Airflow pour l’orchestration des traitements et Terraform ainsi que Terragrunt pour l’industrialisation. Le stack inclut aussi d’autres services de la Google Cloud Platform. MISSIONS : 1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets En interaction avec les membres de l’équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir des pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l’accroissement rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l’intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant dbt • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques

Vous rejoindrez notre Data Factory dont la mission est de concevoir et de déployer des produits analytiques innovants à destination des magasins, des fonctions support, de la logistique et des consommateurs. Face à la montée en puissance des besoins, nous avons adopté une organisation Agile en Domaines/Squads, avec une forte volonté d’industrialiser nos pratiques pour accélérer les livraisons tout en valorisant notre patrimoine de données. En tant que Tech Lead Data Engineer, vous serez impliqué dans les phases de design des applications et garant de la solution technique. À ce titre, vos principales responsabilités seront : Assurer un leadership technique auprès des équipes de développement. Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. Participer activement aux phases de conception, développement et tests. Porter la vision technique au sein des équipes Agile. Garantir la qualité des livrables et veiller à la réduction de la dette technique. Réaliser la modélisation des données. Assurer une veille technologique et participer aux POCs. Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques. 2. Compétences Techniques Requises Nous recherchons un profil senior avec une expérience d’au moins 2 ans en tant que Tech Lead et une certification sur Spark ou Databricks sont exigées. Compétence Expérience minimale demandée : Data Engineering 5 ans Azure 3 ans Architecture Lakehouse 3 ans Databricks 5 ans Spark 5 ans SQL, Python 5 ans Scala 2 ans CI/CD, Azure DevOps 5 ans

Contexte du projet : Dans le cadre d’un vaste programme de transformation digitale, CBX Group accompagne un grand acteur dans la mise en place et l’industrialisation d’une plateforme Big Data. Nous recherchons un Tech Lead Data Engineer expérimenté pour renforcer l’équipe Data et piloter la conception, le développement et la mise en production de traitements batch et temps réel, tout en encadrant les Data Engineers de la squad. Missions principales : Piloter la conception et le développement de pipelines en Spark SQL et Java Spark (batch & streaming). Définir les standards de développement et garantir la qualité technique de la squad (revues de code, bonnes pratiques, CI/CD). Concevoir et optimiser des traitements temps réel (Kafka, MongoDB, event-driven). Accompagner le design des usages Data en lien avec les Product Owners et le métier. Assurer l’optimisation et le tuning des traitements Spark pour garantir performance et scalabilité. Encadrer et coacher les Data Engineers de l’équipe, favoriser le partage de connaissances. Documenter l’architecture et les traitements dans Confluence, assurer le support et la maintenance. Participer aux rituels agiles et contribuer à la roadmap technique de la plateforme. Stack technique : Cloudera / MAPR, Java 11/17/21, Spark 2/3, Spring Boot, Kafka, MongoDB, Jenkins, Kubernetes, ArgoCD, SonarQube ; cloud GCP

Au sein de l'équipe Silver, la prestation se déroulera en collaboration avec les autres équipes de la Data, au cœur de la plateforme Data. Cette équipe est composée d'un productowner, d'un data steward et d'un data ingénieur. Notre technique de stack est principalement constituée de Python, Spark, SQL, dbt, BigQuery, Airflow pour l'orchestration des traitements et Terraform ainsi que Terragrunt pour l'industrialisation. Le stack inclut également d'autres services de la Google Cloud Platform. En interaction avec les membres de l'équipe, la prestation consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe • Construire et maintenir des pipelines de données robustes et évolutifs • Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures évolutives capables de répondre aux besoins et à l'évolution rapide du volume de données • Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l'intégrité des données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l'évolutivité, la fiabilité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Livrables attendus : 1. Déployer les datasets normés sur un ou plusieurs des data domain suivants : Utilisateurs, Comportements et Référentiels 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets Expertises demandées pour la réalisation de la prestation.

o Déployer les ensembles de données normés sur un ou plusieurs des domaines de données suivants : Utilisateurs, Comportements et Référentiels o Accompagner les utilisateurs dans leurs usages o Mettre en place le contrôle qualité sur ces ensembles de données En interaction avec les membres de l'équipe, la prestation consiste à : o Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l'équipe o Construire et maintenir des pipelines de données robustes et scalables o Accompagner les membres de l'équipe dans l'exploitation et le requêtage des données o Organisateur et structurer le stockage des données o Mettre en place et maintenir des infrastructures scalables capables de répondre aux besoins et à l'autonomie rapide du volume de données o Participer aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l'intégrité des données o Construire et maintenir les workflows de la CI/CD o Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur o Assurer l'évolutivité, la sécurité, la stabilité des environnements o Participer aux différentes instances des data ingénieurs o Contribuer et veiller à la mise à jour de la documentation o Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation.

Au sein du département IT, l'équipe a pour vocation de fournir aux services Technologies & Opérations et Banque de Proximité et Assurance, l’ensemble des applications nécessaires à leur fonctionnement. L'appel d'offre vise à renforcer notre binôme de data engineers, en priorité sur le projet DatOps que nous opérons pour le compte de la Direction des Opérations. Celui-ci s'appuie sur la plateforme GCP, et représentera l'activité majeure du consultant. En mineure, il interviendra en parallèle sur un second projet, qui vise à le doter d'une plateforme data basé sur le Hadoop on premise du groupe. Nous recherchons un profil data engineer GCP + Hadoop qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les demandes métier sur le projet DatOps. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiés au consultant : Mettre en œuvre de nouvelles ingestions de données, data prep/transformation Maintenir et faire évoluer nos outils de gestion des pipeline de données Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Nous recherchons un DATA Engineer Sénior pour une mission longue à Paris pour un démarrage ASAP. Profil: expérience entre 8 à 15 ans d'expérience, expertise en Spark Scala, AWS Databricks, AWS S3, SONAR ou équivalent.

Lead dev python / spark, freelance, 6 mois de contrat initial, paris intramuros Attractives opportunité pour un(e) Lead Developer / Python de rejoindre notre client final basé dans Paris intramuros et qui accompagne quotidiennement des millions de particuliers et de professionnels. Vous interviendrez en tant qu’expert en développement Python / Spark au sein d'une petite équipe sur un projet data innovant. Tâches principales · Lead Dev Python + Spark / PySpark · Fournir des conseils · Intervention sur des opérations exceptionnelles · Faire évoluer la plateforme · Organiser et structurer des mises à jour de versions

Définition du besoin La Direction Technique du Numérique de France Télévisions mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes activités : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constitué de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. Prestations attendues : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données

CONTEXTE Au sein de l’équipe Bronze, la mission se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. MISSIONS : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation du data ingénieur En interaction avec les membres de l’équipe, la mission consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques

La Direction Technique du Numérique mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data. La Direction Data, au sein de la Direction du Numérique, a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. La Direction Data a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, développer la connaissance et l’expérience utilisateurs et mettre à disposition auprès des équipes internes des outils de pilotage et d’aide à la décision. Au sein de l’équipe Bronze, la prestation se déroulera en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Cette équipe est composée d’un product owner, d’un data steward et de deux autres data ingénieurs. Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données, Airflow pour l’orchestration et Cloud Storage et Delta lake pour le stockage. La stack inclut aussi les services BigQuery, Dataproc, PubSub et Cloud Storage de la Google Cloud Platform et Terraform et Terragrunt pour la gestion de l’infrastructure. Prestations attendues : Prestation de cette équipe 1. Collecter et centraliser les différentes sources de données non homogènes 2. Assurer la conformité et la sécurité des données 3. Participer aux initiatives de gouvernance des données Prestation du data ingénieur : En interaction avec les membres de l’équipe, la mission consiste à : • Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe • Construire et maintenir de pipelines data robustes et scalables • Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données • Organiser et structurer le stockage des données • Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données • Construire et maintenir les workflows de la CI/CD • Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur • Assurer l’évolutivité, la sécurité, la stabilité des environnements • Participer aux différentes instances des data ingénieurs • Contribuer et veiller à la mise à jour de la documentation • Faire de la veille technologique active dans le domaine Expertises demandées pour la réalisation de la prestation : • Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery et Dataplex Universal Catalog • Expériences intégrant les langages Python et SQL • Expériences intégrant Spark • Expériences intégrant delta lake • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques N’hésitez pas à me transmettre vos propositions en indiquant les informations ci-dessous : - TJM - Disponibilité contractuelle - Statut (en cours de recrutement, CDI ou Freelance) Nous vous rappelons que la sous-traitance de rang 2 n’est pas autorisée. Nous restons à votre disposition pour tout complément d'informations, et revenons vers vous sous 72h après traitement des profils reçus.

Détails pratiques Poste : Data scientiste Expérience requise : 5 ans et plus TJM : 620 Localisation : Paris 15 / 50% télétravail Date limite de réponse : 24/11/2025 Date de début de mission : janvier 2026 Durée de la mission : 3 ans Description du client Notre client est une entreprise de grande envergure dans le domaine des Média. Il compte un grand nombre d'employés et mène des projets transverses en étroite collaboration avec ses différentes directions, notamment la direction Data. Mission La mission se déroulera au sein de la Direction Technique du Numérique de l'entreprise, plus précisément au sein de l'équipe Bronze. Cette équipe est composée d'un product owner, d'un data steward et de deux autres data ingénieurs. La prestation consistera à travailler en collaboration avec les autres équipes de la Data, au coeur de la plateforme Data. Compétences requises Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data Compétences solides en data : structures de données, code, architecture Expériences dans la conception et la réalisation de pipelines data Expériences dans un environnement du cloud Google (GCP) Expériences intégrant BigQuery et Dataplex Universal Catalog Expériences intégrant les langages Python et SQL Expériences intégrant Spark Expériences intégrant delta lake Expériences intégrant Terraform et Terragrunt Expériences intégrant Gitlab et Gitlab CI/CD Expériences intégrant les méthodologies Agile : Scrum ou Kanban Capacité à vulgariser et à communiquer sur des aspects purement techniques

Contexte Dans un programme stratégique de convergence Risques / Finance , le client vise à unifier et fiabiliser la production des reportings réglementaires (FINREP, COREP, SURFI…). L’objectif : mettre en place un socle unique pour la collecte, la préparation, le contrôle et la traçabilité des données réglementaires. Le consultant interviendra sur les volets Collecte et/ou Socle Technique , autour du développement de nouvelles fonctionnalités ou de l’amélioration du existant, dans un cadre méthodologique en V au sein d’une équipe fonctionnant en Scrum . Une montée en responsabilités vers un rôle de référent Dataiku est prévue selon la maîtrise des sujets. Missions Développer des fonctionnalités data au sein de Dataiku (recettes, scénarios, pipelines). Améliorer les bonnes pratiques de développement, d’industrialisation et de tests. Participer à la conception avec la Product Team et challenger les solutions proposées. Réaliser les tests , diagnostics et optimisations des pipelines existants. Contribuer au partage de connaissances et à la montée en compétence des développeurs juniors. Participer activement à la vie de l’équipe agile (daily, sprint planning, refinement, reviews). Compétences Techniques Requises Dataiku (recettes avancées, scénarios, API, partitions) – certifications appréciées. Python (manipulation data, librairies standards). Datastage . Spark . Unix / Shell . Bases de données relationnelles : DB2, Oracle… SQL avancé. Compétences appréciées Environnements OpenShift / Kubernetes / Docker . Connaissances en programmation objet (Java, C#…). Culture data dans des environnements Risk/Finance ou réglementaire bancaire. Profil recherché Minimum 5 ans d’expérience en développement Dataiku dans des contextes complexes. Capacité à évoluer en mode produit et à travailler en interaction avec Risques, Finance, IT. Autonomie, rigueur, capacité d’analyse et communication claire. Expérience en environnement bancaire fortement appréciée.

Détails pratiques Poste : Data Ingénieur Expérience requise : 3 ans et plus TJM : 500 à 540€ Localisation : Paris 15 / 50% télétravail Date limite de réponse : 25/11/2025 Date de début de mission : janvier 2026 Durée de la mission : 3 ans Description du client Notre client est une entreprise majeure dans le domaine des Média en France. Il mène des projets transverses en étroite collaboration avec ses différentes directions, notamment la direction Data. Cette dernière a été créée avec la volonté de faire de la Data un levier de croissance des offres numériques. Mission La prestation se déroulera au sein de l’équipe Gold Pilotage de la Direction Data. Cette équipe est en charge de la mise à disposition des données utiles pour le pilotage des offres numériques et à l’ensemble des dashboards et reporting via son produit “Data4All”. La mission consistera principalement à maintenir et faire évoluer Data4all, accompagner les utilisateurs des données dans leurs usages et mettre en place le contrôle qualité sur les données traitées par l’équipe. Compétences requises Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data Compétences solides en data : structures de données, code, architecture Expériences dans la conception et la réalisation de pipelines data Expériences dans un environnement du cloud Google (GCP) Expériences intégrant BigQuery et Dataplex Universal Catalog Expériences intégrant les langages Python et SQL Expériences intégrant Spark Expériences intégrant dbt Expériences intégrant Terraform et Terragrunt Expériences intégrant Gitlab et Gitlab CI/CD Expériences intégrant les méthodologies Agile : Scrum ou Kanban Capacité à vulgariser et à communiquer sur des aspects purement techniques