Find your next tech and IT Job or contract PySpark

66 results
Permanent

Job VacancyData Engineer PySpark confirmé, équipe AILP / Branchements - Lyon F/H

█ █ █ ██ █ █
Published on
Confluence
Data Engineering
DevOps

50k-80k €
Lyon, Auvergne-Rhône-Alpes

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Permanent

Job VacancyData Engineer confirmé - Paris F/H

█ █ █ ██ █ █
Published on
Data Engineering
Git
JIRA

50k-80k €

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Contractor
Permanent

Job VacancyData Engineer Senior / Expert – AWS / Spark / Iceberg / dbt (H/F)

ASAP TECHNOLOGIES
Published on
Apache Spark
AWS Glue
DBT

1 year
55k-61k €
450-520 €
Nantes, Pays de la Loire
Contexte de la mission : Dans le cadre du renforcement de l'équipe Marketing Data, au sein d'un pôle Data Fabric, nous recherchons un Data Engineer Senior / Expert pour accompagner l'un de nos clients grands comptes dans la conception, l'industrialisation et l'exploitation de solutions Data. Vous évoluerez dans un environnement Lakehouse AWS, avec des enjeux forts autour de la performance, de la qualité des données, de la fiabilité des traitements et de leur maintien en conditions opérationnelles. Nous recherchons un profil technique, autonome et expérimenté, capable d'intervenir sur l'ensemble du cycle de vie des pipelines Data, de leur conception jusqu'à leur exploitation en production. Vos missions : Concevoir, développer, optimiser et industrialiser des pipelines de données. Développer des traitements Big Data avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Concevoir et orchestrer des workflows avec Airflow. Déployer et maintenir les traitements sur AWS (S3, Glue, EMR). Contribuer à l'automatisation des infrastructures avec Terraform. Mettre en place des tests automatisés, des contrôles de Data Quality et des mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et à la résolution des problèmes de production. Contribuer à la documentation technique et fonctionnelle, au Data Lineage, aux Data Contracts et au Data Catalog. Collaborer avec les Product Owners et les équipes métier pour traduire les besoins Marketing en solutions Data robustes et maintenables.
View this job
Contractor
Permanent

Job VacancyData Engineer Senior - BigData

VISIAN
Published on
Apache Spark
DBT
PySpark

1 year
Nantes, Pays de la Loire
ContexteDans le cadre du renforcement d'une équipe, nous recherchons un consultant Data Engineer Senior/Expert capable d'intervenir de manière autonome sur la conception, l'industrialisation et l'exploitation de produits et pipelines Data. La mission s'inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN. MissionsLe consultant interviendra notamment sur les activités suivantes : Concevoir, développer et optimiser des pipelines de données. Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Orchestrer les traitements avec Airflow. Déployer et maintenir les traitements sur AWS et contribuer à l'Infrastructure as Code avec Terraform. Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et au traitement des causes racines. Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog. Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables. LivrablesLes livrables de la prestation pourront comprendre : Pipelines Data développés, testés et industrialisés. Transformations Spark et Modèles dbt. Workflows Airflow. Infrastructure Terraform nécessaire aux traitements. Tests automatisés et contrôles de Data Quality. Monitoring et alerting associés aux traitements. Documentation technique et fonctionnelle. Documentation des modèles et règles métier. Contribution aux Data Contracts, lineage et métadonnées. Analyse et résolution des incidents. Plans de remédiation pour les incidents ou problèmes récurrents. Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.
View this job
Contractor

Contractor jobData Engineer Big Data Confirmé (H/F)

Insitoo Freelances
Published on
Apache Airflow
Data Engineering
Databricks

12 months
400-450 €
Lyon, Auvergne-Rhône-Alpes
Nous recherchons un(e) Data Engineer Confirmé(e) pour rejoindre une équipe produit agile au sein d'un acteur majeur du secteur de l'énergie. Vous évoluerez dans un environnement innovant dédié au traitement et à la valorisation de données issues d'équipements connectés et d'infrastructures à l'échelle nationale. Votre terrain de jeu : des produits data en constante évolution, traitant des volumes massifs (plus de 25 millions d'adresses et 40 millions de clients), avec un enjeu stratégique majeur de migration vers le Cloud (Databricks) à l'horizon 2027. Descriptif de la mission : Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD). Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données (en lien avec le DevOps), et assurer le maintien en condition opérationnelle (MCO) et la gestion des incidents en production. Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation. Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake. Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) et jouer un rôle de référent technique auprès des autres équipes.
View this job
Permanent

Job VacancyData Engineer Databricks / Pigment (H/F) - Finance transformation - CDI F/H

█ █ █ ██ █ █
Published on
Data Engineering
Microsoft Power BI
PySpark

90k-91k €

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Contractor

Contractor jobData Scientist senior – Prévision de la demande et des ventes (Supply Chain)

KUBE Partners S.L. - Pixie Services
Published on
Databricks
Deep Learning
Machine Learning

3 years
Paris, France
Data Scientist senior – Prévision de la demande et des ventes (Supply Chain) – Freelance / Portage – Paris Nous cherchons pour l'un de nos clients, un grand groupe international, un Data Scientist senior pour une mission longue à Paris. La mission en bref Lieu : Paris Rythme : 3 jours sur site, 2 jours de télétravail par semaine Durée : 3 ans Contrat : freelance ou portage salarial Démarrage : 04/01/2027 Le contexte Vous rejoignez une équipe data qui développe des solutions IA de prévision de la demande et des ventes. L'objectif : optimiser les commandes de produits, des fournisseurs jusqu'aux centres d'approvisionnement continentaux. Vos missions Améliorer en continu les signaux de demande et de ventes Développer de nouvelles features et covariables Tester de nouveaux modèles de deep learning et des modèles de fondation Segmenter intelligemment les produits Produire des prévisions probabilistes (distributions de probabilités, intervalles de prédiction) Votre profil Vous avez déjà développé des modèles de prévision de la demande ou des ventes, idéalement en supply chain ou en retail : Important Très bon niveau en Machine Learning, séries temporelles et Python : Important Bonne pratique de Databricks, PySpark, Airflow et AWS (S3, EC2) Des notions sur SAP et sur les modèles de fondation pour séries temporelles sont un plus Vous savez expliquer vos résultats aux équipes métier Pourquoi cette mission Une mission de 3 ans, avec de la visibilité Un sujet au cœur de l'activité, avec un impact direct sur les commandes et les stocks Des volumes de données importants et une stack moderne De la place pour tester des approches récentes (deep learning, modèles de fondation) Cette mission vous intéresse ? Postulez.
View this job
Permanent

Job VacancyData Scientist Finance et Actuariat F/H

█ █ █ ██ █ █
Published on
Data science
Machine Learning
PySpark

42k-46k €
Nanterre, Ile-de-France

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Permanent

Job VacancyPrincipal Data Engineer - Contract (London)

█ █ █ ██ █ █
Published on
Apache Kafka
Data Engineering
Docker

EC4V 4LA, London, England, United Kingdom

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Contractor

Contractor jobLead Data Engineer

MEETSHAKE
Published on
Azure
CI/CD
Databricks

12 months
Brussels, Brussels-Capital, Belgium
CONTEXTE La plateforme repose sur Databricks. L'organisation opère actuellement la migration de ses Data Products vers un nouvel espace de travail gouverné et conçu. Ces données sont exploitées via des agents conversationnels IA. Et mises à disposition d'une communauté grandissante d'analystes techniques et d'Analytics Engineers au sein des métiers qui développent en autonomie sur la plateforme. Les ingénieurs évoluent au sein de petites équipes delivery accompagnées d'un Scrum Master et livrent de manière incrémentale en étroite collaboration avec les parties prenantes métiers. MissionsVous encadrez une équipe de 5 à 7 Data Engineers responsables des capacités socles de la plateforme et des Data Products sur des domaines métiers clés (Commercial, Opérations, Matériel Roulant / Rolling Stock, Relation Client). Votre temps est réparti à parts égales entre le pilotage d'équipe et le leadership technique. A. Leadership d'équipe & Pilotage (~50 %) Management & Coaching : Fixer des attentes claires, accompagner et faire grandir les ingénieurs, et contribuer aux entretiens d'évaluation menés par l'Engineering Manager. Delivery Agile : Collaborer avec l'Engineering Manager, le Scrum Master et les Data Product Owners pour prioriser le backlog, répartir la charge et garantir le respect des engagements. Interface Métiers : Être l'interlocuteur technique référent auprès de vos domaines métiers. Communauté Analytics Engineering : Définir les standards de développement des Analytics Engineers métiers, relire leur code et leurs conceptions, et piloter leur intégration. Recrutement & Onboarding : Conduire les entretiens techniques et assurer l'intégration technique des nouveaux arrivants. B. Leadership technique & Hands-on Engineering (~50 %) Standards d'ingénierie & Run : Définir et faire appliquer les bonnes pratiques de développement, revue de code, tests et CI/CD. Rester actif dans le code, la conception et les revues, tout en portant la responsabilité du MCO (Run) et des coûts (FinOps) des produits de l'équipe. Templates & Industrialisation : Concevoir et maintenir des modèles de projets réutilisables (Databricks Asset Bundles), des bibliothèques partagées et des pipelines CI/CD afin que chaque nouveau Data Product suive un chemin éprouvé. Données : Enrichir les métadonnées et définitions sémantiques, structurer et maintenir les espaces Databricks, et accompagner le passage en production fiable des agents IA data. Outils & EnvironnementDatabricks (Unity Catalog, Delta Lake, DLT/Lakeflow, Genie) Python, PySpark, SQL dbt Azure Méthodes Scrum FinOps sur Databricks Conditions de travailLocalisation : Hybride – 1 jour par semaine sur site (Londres ou Bruxelles) Durée : 12 mois, renouvelable Répartition du rôle : 50 % Leadership humain & pilotage d'équipe | 50 % Leadership technique & Hands-on Positionnement & posture attendueNous recherchons un(e) ingénieur(e) techniquement solide, doté(e) d'une vision claire de l'état de l'art en Data Engineering et du leadership nécessaire pour fédérer les équipes. Vous définissez les standards de qualité, d'architecture et de modélisation des données, tout en instaurant une relation de confiance durable avec les ingénieurs, les partenaires externes et les métiers. Une forte crédibilité technique : Vous restez hands-on sur Databricks, Spark, Python et SQL. Vous savez résoudre les problèmes les plus complexes par vous-même et mener des revues de code avec légitimité. Une vision d'ingénierie affirmée : Vous avez des convictions structurées et argumentées sur la manière de concevoir les plateformes, et vous les traduisez en standards, templates et patterns adoptés par tous. L'exigence sur la qualité, le design et la modélisation : Vous considérez qu'une modélisation rigoureuse est le socle indispensable de Data Products fiables : vous concevez avant de coder. Un leadership fédérateur : Vous échangez avec la même aisance avec les équipes techniques, les prestataires et les décideurs métiers pour orienter les choix et faire monter l'équipe en compétence. Un bâtisseur de fondations : Vous privilégiez la création d'un template réutilisable plutôt que de résoudre dix fois le même problème, en intégrant la sécurité et la préparation à l'IA dès la conception (« by design »). Ce rôle n'est pas adapté si : Vous souhaitez manager uniquement par délégation en vous éloignant du code et de l'architecture. Vous recherchez un poste purement technique sans responsabilité humaine ni animation des parties prenantes.
View this job
Contractor
Permanent

Job VacancyData Engineer PySpark / Hadoop — Datalake du financement du commerce international

CAT-AMANIA
Published on
Apache Hive
Apache Spark
Hadoop

1 year
45k-55k €
390-490 €
Paris, France
Vous aimez les pipelines de données qui tournent en production, et les reprendre pour qu'ils tournent mieux ? Rejoignez l'équipe technique Big Data de la banque de financement et d'investissement d'un grand groupe bancaire. L'équipe est transverse : elle construit et fait vivre les traitements de données de cinq domaines métier (risques, financement du commerce international, conformité, finance, ESG), soit une quinzaine d'applications. Le datalake, entièrement Hadoop et hébergé sur les serveurs de la banque, a repris l'ancien entrepôt de données des prêts, lettres de crédit et garanties, dont les chaînes ETL avaient été recopiées telles quelles. La feuille de route 2026-2027 : sortir de l'ETL et réécrire les workflows en code. Vous intervenez sur le périmètre du financement du commerce international (trade finance). Vos principales missions : Développer et optimiser les pipelines de données en PySpark sur la plateforme Hadoop (HDFS, Hive, Iceberg). Analyser les workflows Informatica existants et les réécrire en code, en réutilisant les composants transverses de l'équipe. Rationaliser les traitements pour réduire les coûts d'exploitation et les incidents de production. Préparer l'ordonnancement Control-M avec l'équipe de production applicative. Proposer des évolutions de l'existant : dans la plupart des cas, l'équipe choisit la refonte plutôt que le maintien du legacy. Ce que la mission vous apporte : Un chantier de fond : la sortie d'un ETL au profit du code, sur deux ans. Une plateforme Big Data en production, avec des données bancaires sensibles et des utilisateurs métier exigeants. Une équipe qui attend qu'on remette en cause l'existant et qui décide en conséquence.
View this job
Contractor

Contractor jobDevOps / Intégrateur Data Senior - Python & PySpark (H/F)

Insitoo Freelances
Published on
Azure DevOps
Azure Kubernetes Service (AKS)
Kubernetes

2 years
450-500 €
Lyon, Auvergne-Rhône-Alpes
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un DevOps / Intégrateur Data Senior - Python & PySpark (H/F) à Lyon, France. Les missions attendues par le DevOps / Intégrateur Data Senior - Python & PySpark (H/F) : Vos missions : Construire et optimiser les pipelines CI/CD pour des applications web et des traitements Python / PySpark. Garantir le Maintien en Conditions Opérationnelles (MCO) et l'observabilité (logs, métriques) des produits. Maintenir et faire évoluer l'Infrastructure-as-Code. Administrer les environnements de dev, préprod, prod et les espaces "lab" dédiés aux Data Scientists. Gérer le traitement des vulnérabilités cyber et la montée en version des dépendances. Votre profil : Expérience : Au moins 5 ans en tant que DevOps, dont 2 ans minimum sur des projets Data Science / Machine Learning à fort volume. Stack technique : Kubernetes, Helm, Docker, GitLab CI/CD, Jenkins, Ansible, Python, PySpark, PostgreSQL, Kafka, Hadoop. Savoir-faire : Solides compétences en IaC, sécurité TLS, administration système/VM, réseaux et monitoring. Qualités : Autonomie, proactivité, rigueur et excellente communication pédagogique avec les équipes métiers et techniques. Les modalités : Lieu : Lyon Télétravail : 50 % Durée : Mission longue Démarrage : 1er janvier 2027
View this job
Contractor
Permanent

Job VacancyData Engineer Databricks/Azure/PySpark/Terraform

OBJECTWARE
Published on
Azure
Databricks
PySpark

3 years
40k-74k €
400-550 €
Ile-de-France, France
Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données
View this job

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us