Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark à Paris

Orcan Intelligence recherche pour l'un de ses clients un Data Engineer senior. Le Data Engineer senior devra construire, livrer, maintenir et documenter des pipelines de données dans le périmètre des fondations Risque. Livrables attendus : Pipelines de données pour les fondations Risque, livrés dans les délais. Code documenté et testé unitairement. Mises en œuvre des contrôles de qualité et de santé ( health checks ). Expérience et compétences requises :

Contexte : Notre client, un acteur majeur du secteur énergie, renforce son pôle Data Platform dans le cadre de la modernisation de ses pipelines de données sur Azure. Missions : · Développer et maintenir des pipelines de données sur Azure Data Factory et Databricks · Assurer la qualité, la fiabilité et la performance des flux · Participer à la migration vers une architecture Cloud · Collaborer avec les équipes DataOps et Data Science Stack technique : · Azure Data Factory, Databricks, PySpark, SQL, Delta Lake, Git, CI/CD · Environnement Agile / DevOps Profil recherché : · 4+ ans d’expérience en Data Engineering · Bonne maîtrise des environnements Azure / Databricks · Esprit analytique, autonome et orienté delivery

Contexte Dans le cadre du renforcement de ses équipes Data, notre client du secteur de l’énergie recherche 2 Data Engineers spécialisés en Python , PySpark , Microsoft Fabric et maîtrisant l’environnement Azure Cloud . Les prestations débuteront début / mi-janvier 2026 pour une mission longue à Paris. Objectifs de la mission Le Data Engineer interviendra sur la conception, le développement et la mise en production de l’architecture de données de l’entreprise. Il aura notamment pour missions : Objectifs Concevoir une architecture Data performante, scalable et conforme aux besoins métiers. Industrialiser les flux de données au sein de l’écosystème Azure et Microsoft Fabric. Garantir la fiabilité, la qualité et la disponibilité des données. Livrables attendus Architecture cible documentée Pipelines de données développés et testés Pipelines mis en production et monitorés Documentation technique complète Plan de maintenance et évolutions techniques recommandées Responsabilités détaillées Recueillir et analyser les besoins des métiers et utilisateurs. Concevoir l’architecture de données : modèles, schémas, stockage, orchestration. Développer des pipelines data robustes sous Python , PySpark , Microsoft Fabric . Mettre en production les différents flux (CI/CD, monitoring…). Maintenir et faire évoluer l’architecture existante. Assurer un support technique de niveau expert sur la chaîne de traitement des données. Contribuer à l’amélioration continue des pratiques Data et Cloud. Compétences requises Techniques CompétenceNiveau Python ⭐⭐⭐⭐ (Expert) PySpark ⭐⭐⭐⭐ (Expert) Microsoft Fabric ⭐⭐⭐ (Confirmé) Certification « Microsoft Certified: Fabric Data Engineer Associate » Souhaitée / requise Azure Cloud ⭐⭐⭐ (Confirmé) Anglais ⭐⭐⭐ (Courant) Soft Skills Rigueur et autonomie Communication claire avec les métiers Capacité à travailler en équipe dans un environnement Agile/Cloud Bon sens de l’analyse et de la résolution de problèmes Modalités Lieu : Paris Type : Prestation de Data Engineering Présence obligatoire : 3 jours sur site / semaine Télétravail : 2 jours Début de mission : début / mi-janvier 2026

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

Nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer notre équipe data et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste s’adresse à un profil autonome, passionné par les bonnes pratiques de développement , capable de challenger les architectures existantes et de proposer des solutions robustes et scalables . 🧩 Missions principales Concevoir, développer et optimiser des pipelines de données performants, scalables et résilients . Encadrer et accompagner techniquement les équipes sur les choix d’architecture et de stack technologique . Déployer et orchestrer des traitements distribués (PySpark, AWS Glue, Airflow). Concevoir et exposer des APIs de données (via AWS API Gateway / Lambda). Industrialiser les environnements via Terraform et des pipelines CI/CD (GitLab, Jenkins…). Garantir la fiabilité, la performance et la sécurité des flux et services de données. Mettre en place du monitoring et de l’alerting pour la supervision des traitements. Contribuer à la diffusion des bonnes pratiques (tests, code review, documentation, CI/CD). Participer à la formation et au mentoring des ingénieurs juniors. 📦 Livrables attendus Schémas et modélisation des structures de données . Pipelines industrialisés et interconnectés avec les assets produits. Mise à disposition de la data vers des systèmes externes (APIs, exports, injections). Documentation technique et dashboards de suivi. Solutions conformes aux exigences RGPD / Data Privacy / éco-conception . Mise en place du monitoring et alerting en production. Contribution à l’ usine logicielle (intégration continue, tests automatisés, déploiements). Présentation régulière des réalisations techniques aux équipes métiers et produit. 🧠 Compétences techniques requises (Must Have) Python (expert). PySpark et Pandas (traitement et transformation de données). AWS (Glue, Lambda, API Gateway, ECS, IAM). Terraform (infrastructure as code). CI/CD (GitLab, Jenkins ou équivalent). Observabilité et supervision (logs, metrics, alerting). Pratiques de code propre, testé et documenté . 🌱 Compétences appréciées (Nice to Have) Airflow pour l’orchestration des jobs. AWS SageMaker pour le déploiement ou l’entraînement de modèles IA. Sensibilité MLOps et DataOps . Connaissance des standards de l’éco-conception et de la sécurité des données . Expérience en mentorat technique ou lead technique data .

CONTEXTE : Experience : 7 ans et plus Métiers Fonctions : Data Management, Software engineer Spécialités technologiques : Data Compétences Technologies et Outils AWS Spark Airflow Snowflake Secteurs d'activités Services Informatiques Conseil en organisation, stratégie MISSIONS Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à : - Développer des pipelines et ETL sur AWS vers Snowflake - Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake - Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars) - Réaliser les traitements de volume de données massives avec PySpark - Développer et maintenir des infrastructures avec de l’IaC et en particulier avec Terraform - Orchestrer les différents traitements via Airflow - Déployer et maintenir des applications via la CI/CD - Participer aux réflexions et au design d’architecture - Bonne capacité de vulgarisation et de communication - Participer aux rituels agiles de l’équipe - Contribuer à la documentation technique et fonctionnelle 5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS. Un positionnement en tant que techlead serait un plus. De l’expérience dans un contexte BI serait un plus. Un positionnement ou une expérience en tant que DevOps serait un plus. Expertise souhaitée Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.

Contexte : Au sein d’une petite équipe en charge d’une plateforme d’hypervision de services (projet data novateur), vous apportez une expertise Python / Spark. Rôle mêlant développement personnel, conseil et interventions ponctuelles à fort enjeu. Missions : -Développer et faire évoluer des traitements Python / PySpark (batch & streaming) au sein de la plateforme. -Être force de conseil sur les choix techniques (performance, coût, maintenabilité). -Intervenir sur opérations exceptionnelles : gestion d’incidents majeurs (ex. swap mémoire, saturation), planification & conduite d’upgrades (ex. Spark 3 → Spark 4). -Accompagner les bonnes pratiques : tests, revues de code, Git, CI/CD et qualité. -Collaborer avec l’équipe (Data/Produit) et contribuer à la documentation. Objectifs & livrables : -Apporter une expertise Python + Spark / PySpark opérationnelle. -Livrables de dev (features, fixes), guides techniques (upgrade, tuning, exploitation) et recommandations. Profil recherché : - >8 ans d’expérience en développement backend/data, dont ≥3 ans sur Python & Spark en environnement de prod. -Solide pratique PySpark. -Expérience PostgreSQL. -À l’aise Linux.

Contexte Un acteur majeur du secteur de l’énergie recherche un Data Engineer expérimenté afin de renforcer son équipe Data & Analytics dans le cadre d’un programme stratégique d’industrialisation de la donnée. Missions • Concevoir, développer et maintenir les pipelines de données sur Azure. • Garantir la qualité, la fiabilité et la performance des traitements. • Participer à la modélisation et à l’optimisation des entrepôts de données. • Intégrer et exploiter Snowflake pour la gestion et la transformation des datasets. • Collaborer avec les équipes Data Science, Architecture et Produit. • Contribuer à la mise en place de bonnes pratiques CI/CD, sécurité et monitoring. Compétences techniques attendues • Maîtrise d’Azure Data Platform (ADF, Databricks, Data Lake, Synapse). • Solide expérience en Databricks (PySpark impératif). • Très bonne compréhension de Snowflake : ingestion, transformations, optimisation. • Compétences avancées en Python. • Connaissance des architectures data orientées cloud. • Bonne pratique CI/CD (Azure DevOps). • Compréhension des enjeux de qualité, performance et gouvernance data. Profil recherché • 5 à 6 ans d’expérience en Data Engineering. • Expérience en environnement cloud Azure indispensable. • Expérience confirmée sur Snowflake appréciée et attendue. • Capacité à travailler dans des environnements complexes. • Aisance en communication et travail en équipe. Environnement de travail • Projet data stratégique à très forte visibilité. • Équipe internationale et pluridisciplinaire. • Environnement cloud moderne et structuré. • Mission long terme.

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery • Expériences intégrant les langages Python et SQL • Expériences intégrant PySpark • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques 1 . Déployer les cas d’usages en lien avec la personnalisation de l’expérience utilisateur 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets