Find your next tech and IT Job or contract PySpark

66 results
Contractor
Permanent

Job VacancyData Engineer Senior - PySpark

VISIAN
Published on
Apache Spark
AWS Glue
DBT

1 year
Nantes, Pays de la Loire
ContexteDans le cadre du renforcement d'une équipe , nous recherchons un consultant Data Engineer Senior/Expert capable d'intervenir de manière autonome sur la conception, l'industrialisation et l'exploitation de produits et pipelines Data. La mission s'inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN. MissionsLe consultant interviendra notamment sur les activités suivantes : Concevoir, développer et optimiser des pipelines de données. Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Orchestrer les traitements avec Airflow. Déployer et maintenir les traitements sur AWS et contribuer à l'Infrastructure as Code avec Terraform. Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et au traitement des causes racines. Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog. Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables. LivrablesLes livrables de la prestation pourront comprendre : Pipelines Data développés, testés et industrialisés. Transformations Spark et Modèles dbt. Workflows Airflow. Infrastructure Terraform nécessaire aux traitements. Tests automatisés et contrôles de Data Quality. Monitoring et alerting associés aux traitements. Documentation technique et fonctionnelle. Documentation des modèles et règles métier. Contribution aux Data Contracts, lineage et métadonnées. Analyse et résolution des incidents. Plans de remédiation pour les incidents ou problèmes récurrents. Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.
View this job
Permanent

Job VacancyData Engineer PySpark H/F

█ █ █ ██ █ █
Published on
Amazon DynamoDB
Amazon Redshift
Apache Airflow

Paris, France

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Contractor

Contractor jobData Engineer Spark & PySpark / Databricks (F/H)

CELAD
Published on

1 year
370-390 €
Lyon, Auvergne-Rhône-Alpes
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 à 3 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez travailler sur toute la chaîne de traitement de la donnée, de la compréhension des besoins métier jusqu'à sa restitution ? Nous recherchons actuellement un.e Data Engineer Spark & PySpark / Databricks pour rejoindre l'équipe Data/BI de l'un de nos clients. Votre mission : faire évoluer l'architecture décisionnelle existante, développer et optimiser les traitements de données et participer à une migration vers Databricks. Un poste qui combine développement, modélisation de données et échanges avec les équipes métier. Votre mission : faire évoluer la plateforme Data Vous interviendrez sur les différentes étapes de la chaîne décisionnelle, depuis l'identification des données jusqu'à leur exploitation pour le reporting métier. Concrètement, vous serez amené à : - Comprendre les besoins métier : échanger avec les interlocuteurs métier, analyser leurs attentes et identifier les données nécessaires. - Concevoir et faire évoluer les modèles de données : enrichir les entrepôts de données et les datamarts pour répondre aux besoins de reporting. - Développer les traitements Data : concevoir des pipelines d'intégration et des traitements Spark pour transformer et préparer les données. - Améliorer la qualité et les performances : contrôler, nettoyer les données et optimiser les traitements existants. - Participer à la migration vers Databricks : contribuer à l'évolution de l'architecture et des traitements dans le cadre de cette migration. - Assurer la fiabilité des développements : réaliser les tests, documenter les solutions, participer aux déploiements et assurer la maintenance.
View this job
Permanent

Job VacancyData Engineer Spark & PySpark / Databricks (F/H)

CELAD
Published on

38k-42k €
Lyon, Auvergne-Rhône-Alpes
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 🏠 2 à 3 jours de télétravail / semaine - 📍 Lyon (07) - 🛠 Expérience de 5 ans minimum Vous aimez travailler sur toute la chaîne de traitement de la donnée, de la compréhension des besoins métier jusqu'à sa restitution ? Nous recherchons actuellement un.e Data Engineer Spark & PySpark / Databricks pour rejoindre l'équipe Data/BI de l'un de nos clients. Votre mission : faire évoluer l'architecture décisionnelle existante, développer et optimiser les traitements de données et participer à une migration vers Databricks. Un poste qui combine développement, modélisation de données et échanges avec les équipes métier. Votre mission : faire évoluer la plateforme Data Vous interviendrez sur les différentes étapes de la chaîne décisionnelle, depuis l'identification des données jusqu'à leur exploitation pour le reporting métier. Concrètement, vous serez amené à : - Comprendre les besoins métier : échanger avec les interlocuteurs métier, analyser leurs attentes et identifier les données nécessaires. - Concevoir et faire évoluer les modèles de données : enrichir les entrepôts de données et les datamarts pour répondre aux besoins de reporting. - Développer les traitements Data : concevoir des pipelines d'intégration et des traitements Spark pour transformer et préparer les données. - Améliorer la qualité et les performances : contrôler, nettoyer les données et optimiser les traitements existants. - Participer à la migration vers Databricks : contribuer à l'évolution de l'architecture et des traitements dans le cadre de cette migration. - Assurer la fiabilité des développements : réaliser les tests, documenter les solutions, participer aux déploiements et assurer la maintenance.
View this job
Permanent

Job VacancyData Engineer PySpark F/H

█ █ █ ██ █ █
Published on
Amazon DynamoDB
Amazon Redshift
Apache Airflow

Imported from

Job from the tech market, identified automatically to give you a complete view of the opportunities.

Restricted access to the community

Join our platform to access the details of this job and get access to the best offers on the market.

View this job
Permanent

Job VacancyData Engineer Scala, Python, Spark (H/F)

JEMS
Published on
PySpark
Python

40k-51k €
Ile-de-France, France
Ne postulez pas si vous ne justifiez pas d'au moins 5 ans d'expérience et d'une parfaite maîtrise de Python et de Spark. Contexte de la mission Dans le cadre du renforcement de ses équipes Data, notre client, acteur majeur du secteur des services financiers, recherche un Data Engineer Scala ou Python / Spark. Vous intégrerez une équipe technique en charge de la conception, du développement et de la maintenance de solutions de traitement et d'exploitation de données à grande échelle. Missions principales Concevoir, développer et maintenir des pipelines de traitement de données. Développer des traitements distribués avec Apache Spark en Scala ou Python. Participer à la collecte, à la transformation et à l'intégration de données provenant de différentes sources. Optimiser les performances et la fiabilité des traitements Data. Garantir la qualité, la cohérence et la disponibilité des données. Participer à l'industrialisation et à l'automatisation des flux de données. Collaborer avec les équipes Data, IT et métiers. Contribuer aux bonnes pratiques de développement, de documentation et de mise en production. Compétences techniques requises Bonne maîtrise de Scala ou Python. Expérience significative avec Apache Spark. Bonne connaissance des architectures et traitements Big Data. Maîtrise des concepts ETL / ELT et des pipelines de données. Bonne compréhension des bases de données SQL. Connaissance des environnements distribués. Utilisation de Git et des bonnes pratiques de développement.
View this job
Contractor

Contractor jobData Engineer Big Data Confirmé (H/F)

Insitoo Freelances
Published on
Data Engineering
PySpark
Python

2 years
400-440 €
Lyon, Auvergne-Rhône-Alpes
Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Engineer Big Data Confirmé (H/F) à Lyon, France. Les missions attendues par le Data Engineer Big Data Confirmé (H/F) : Développement & Industrialisation Big Data : Concevoir, développer et optimiser des pipelines de données massives en pySpark, gérer leur ordonnancement et garantir un haut niveau de qualité logicielle (couverture de tests > 80 %, CI/CD). Supervision & Run : Mettre en place des tableaux de bord de suivi de performance et de qualité de données et assurer le MCO et la gestion des incidents en production. Architecture & Accompagnement : Proposer des évolutions d'architecture de données (approche Médaillon compatible Cloud) et accompagner les Data Scientists de l'équipe dans l'industrialisation de leurs modèles et codes d'expérimentation. Migration Cloud (Databricks) : Préparer, tester et réaliser la migration des pipelines existants (Hadoop/HDFS) vers Databricks / Delta Lake. Conseil & Partage : Assurer une veille technologique active, animer des ateliers de bonnes pratiques (performance Spark, qualité de code) Environnement technique Langages & Big Data : Python, pySpark, SQL (PostgreSQL) Plateformes Data : Hadoop / HDFS (actuel) /Databricks / Delta Lake (cible 2027) Orchestration & DevOps : Airflow, GitLab, GitLab-CI/CD BI & Gestion de projet : PowerBI, Jira, Confluence Impératifs Data Engineering & pySpark massif : Au moins 5 ans d'expérience en Data Engineering, dont une pratique approfondie de pySpark (conception et mise en production de pipelines traitant plusieurs dizaines de millions de lignes). Maîtrise Spark en production (Databricks / Hadoop) Expérience avérée du Run en production : Une expérience significative en mise en production, optimisation, maintenance (MCO) et supervision de pipelines Spark (monitoring, contrôles qualité de données, gestion des incidents). Localisation : Lyon Démarrage : ASAP TJM : 440 €
View this job
Contractor
Permanent

Job VacancyData Engineer / Data Quality – Microsoft Fabric - ENERGIE (H/F)

Linkup Partner
Published on
Microsoft Fabric
PySpark
Python

1 year
55k-70k €
450-600 €
Paris, France
Dans le cadre de l'amélioration et de la structuration de son environnement Data nous recherchons un(e) Data Engineer spécialisé(e) en Data Quality. Vous interviendrez sur des données opérationnelles issues d'une plateforme de supervision industrielle, avec pour objectif d'améliorer durablement leur qualité, leur fiabilité et leur exploitabilité. Vous évoluerez au sein d'une architecture Data en médaillon sous Microsoft Fabric et contribuerez à l'industrialisation des flux et traitements nécessaires aux activités de supervision, de suivi de performance et de reporting. Vos missions En tant que Data Engineer / Data Quality, vous serez notamment amené(e) à : Définir et maintenir des règles de qualité sur les données de production, de disponibilité, de pertes et d'états opérationnels. Mettre en place des contrôles automatisés, des indicateurs de qualité et des mécanismes d'alerte. Concevoir, développer et maintenir des pipelines d'ingestion et de transformation de données. Développer des traitements en SQL et Python/PySpark dans un environnement Microsoft Fabric. Garantir la robustesse, la traçabilité et la réexécution des pipelines. Mettre à disposition des jeux de données fiables et documentés pour les équipes BI et les usages analytiques. Appliquer les bonnes pratiques de développement : versionnement, tests, journalisation, revue de code et déploiement. Assurer la documentation technique et le transfert de connaissances. Collaborer avec les équipes Data, IT, Exploitation et Performance ainsi qu'avec les différents interlocuteurs techniques. Livrables attendus Référentiel de règles et de contrôles qualité. Pipelines et traitements industrialisés, testés et documentés. Tableau de bord de suivi de la qualité des données. Documentation technique et procédures d'exploitation. Supports et sessions de transfert de compétences.
View this job
Premium Job
Permanent

Job VacancyData Engineer Databricks CDI

Hexateam
Published on
Apache Airflow
Apache Spark
AWS Cloud

44k-54k €
Paris, France
Au sein de l'équipe, vous concevez, développez et maintenez les pipelines de données et les architectures de données de la plateforme, en lien avec les enjeux métiers. Missions principales Être force de proposition et participer à la conception des solutions techniques avec les membres de l'équipe Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc. Concevoir et faire évoluer les architectures de données selon l'approche Databricks Medallion Architecture (Bronze, Silver, Gold) Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API Contribuer à l'amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations Activités Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers Mettre en œuvre et orchestrer les traitements de données avec Databricks Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d'exécution Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD Concevoir, développer et maintenir des API pour l'exposition et la consommation des données Mettre en place des mécanismes de Data Quality, de monitoring et d'alerting Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives Rédiger et maintenir la documentation technique des solutions mises en œuvre Accompagner les équipes dans l'adoption des bonnes pratiques de Data Engineering Environnement technique Langages : Python, SQL Data processing : Spark, PySpark, DBUtils API et tests : FastAPI, Pytest Data platform : Databricks, Unity Catalog Orchestration : Airflow, avec migration vers Databricks Workflows AWS : Lambda, Secrets Manager, S3, ECS Versioning : Git Industrialisation : pipelines CI/CD
View this job

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us