Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer notre équipe data et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste s’adresse à un profil autonome, passionné par les bonnes pratiques de développement , capable de challenger les architectures existantes et de proposer des solutions robustes et scalables . 🧩 Missions principales Concevoir, développer et optimiser des pipelines de données performants, scalables et résilients . Encadrer et accompagner techniquement les équipes sur les choix d’architecture et de stack technologique . Déployer et orchestrer des traitements distribués (PySpark, AWS Glue, Airflow). Concevoir et exposer des APIs de données (via AWS API Gateway / Lambda). Industrialiser les environnements via Terraform et des pipelines CI/CD (GitLab, Jenkins…). Garantir la fiabilité, la performance et la sécurité des flux et services de données. Mettre en place du monitoring et de l’alerting pour la supervision des traitements. Contribuer à la diffusion des bonnes pratiques (tests, code review, documentation, CI/CD). Participer à la formation et au mentoring des ingénieurs juniors. 📦 Livrables attendus Schémas et modélisation des structures de données . Pipelines industrialisés et interconnectés avec les assets produits. Mise à disposition de la data vers des systèmes externes (APIs, exports, injections). Documentation technique et dashboards de suivi. Solutions conformes aux exigences RGPD / Data Privacy / éco-conception . Mise en place du monitoring et alerting en production. Contribution à l’ usine logicielle (intégration continue, tests automatisés, déploiements). Présentation régulière des réalisations techniques aux équipes métiers et produit. 🧠 Compétences techniques requises (Must Have) Python (expert). PySpark et Pandas (traitement et transformation de données). AWS (Glue, Lambda, API Gateway, ECS, IAM). Terraform (infrastructure as code). CI/CD (GitLab, Jenkins ou équivalent). Observabilité et supervision (logs, metrics, alerting). Pratiques de code propre, testé et documenté . 🌱 Compétences appréciées (Nice to Have) Airflow pour l’orchestration des jobs. AWS SageMaker pour le déploiement ou l’entraînement de modèles IA. Sensibilité MLOps et DataOps . Connaissance des standards de l’éco-conception et de la sécurité des données . Expérience en mentorat technique ou lead technique data .

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

CONTEXTE : Experience : 7 ans et plus Métiers Fonctions : Data Management, Software engineer Spécialités technologiques : Data Compétences Technologies et Outils AWS Spark Airflow Snowflake Secteurs d'activités Services Informatiques Conseil en organisation, stratégie MISSIONS Rattaché(e) au périmètre du Responsable Data Platform, vos missions consisteront à : - Développer des pipelines et ETL sur AWS vers Snowflake - Mettre en place des stockage optimisé grâce aux technologies lakehouse et en particulier DeltaLake - Créer des jobs manipulant la donnée avec SQL et Python (pandas et ou Polars) - Réaliser les traitements de volume de données massives avec PySpark - Développer et maintenir des infrastructures avec de l’IaC et en particulier avec Terraform - Orchestrer les différents traitements via Airflow - Déployer et maintenir des applications via la CI/CD - Participer aux réflexions et au design d’architecture - Bonne capacité de vulgarisation et de communication - Participer aux rituels agiles de l’équipe - Contribuer à la documentation technique et fonctionnelle 5 à 10 ans en tant que Data Engineer, avec une expérience significative sur AWS. Un positionnement en tant que techlead serait un plus. De l’expérience dans un contexte BI serait un plus. Un positionnement ou une expérience en tant que DevOps serait un plus. Expertise souhaitée Python, PySpark, AWS (EMR, S3, Lambda), Airflow, SQL, Snowflake, Terraform, Databricks, Gitlab.

Contexte : Au sein d’une petite équipe en charge d’une plateforme d’hypervision de services (projet data novateur), vous apportez une expertise Python / Spark. Rôle mêlant développement personnel, conseil et interventions ponctuelles à fort enjeu. Missions : -Développer et faire évoluer des traitements Python / PySpark (batch & streaming) au sein de la plateforme. -Être force de conseil sur les choix techniques (performance, coût, maintenabilité). -Intervenir sur opérations exceptionnelles : gestion d’incidents majeurs (ex. swap mémoire, saturation), planification & conduite d’upgrades (ex. Spark 3 → Spark 4). -Accompagner les bonnes pratiques : tests, revues de code, Git, CI/CD et qualité. -Collaborer avec l’équipe (Data/Produit) et contribuer à la documentation. Objectifs & livrables : -Apporter une expertise Python + Spark / PySpark opérationnelle. -Livrables de dev (features, fixes), guides techniques (upgrade, tuning, exploitation) et recommandations. Profil recherché : - >8 ans d’expérience en développement backend/data, dont ≥3 ans sur Python & Spark en environnement de prod. -Solide pratique PySpark. -Expérience PostgreSQL. -À l’aise Linux.

Contexte Un acteur majeur du secteur de l’énergie recherche un Data Engineer expérimenté afin de renforcer son équipe Data & Analytics dans le cadre d’un programme stratégique d’industrialisation de la donnée. Missions • Concevoir, développer et maintenir les pipelines de données sur Azure. • Garantir la qualité, la fiabilité et la performance des traitements. • Participer à la modélisation et à l’optimisation des entrepôts de données. • Intégrer et exploiter Snowflake pour la gestion et la transformation des datasets. • Collaborer avec les équipes Data Science, Architecture et Produit. • Contribuer à la mise en place de bonnes pratiques CI/CD, sécurité et monitoring. Compétences techniques attendues • Maîtrise d’Azure Data Platform (ADF, Databricks, Data Lake, Synapse). • Solide expérience en Databricks (PySpark impératif). • Très bonne compréhension de Snowflake : ingestion, transformations, optimisation. • Compétences avancées en Python. • Connaissance des architectures data orientées cloud. • Bonne pratique CI/CD (Azure DevOps). • Compréhension des enjeux de qualité, performance et gouvernance data. Profil recherché • 5 à 6 ans d’expérience en Data Engineering. • Expérience en environnement cloud Azure indispensable. • Expérience confirmée sur Snowflake appréciée et attendue. • Capacité à travailler dans des environnements complexes. • Aisance en communication et travail en équipe. Environnement de travail • Projet data stratégique à très forte visibilité. • Équipe internationale et pluridisciplinaire. • Environnement cloud moderne et structuré. • Mission long terme.

• Au moins 3 ans d’expérience en tant que Data Ingénieur dans un environnement data • Compétences solides en data : structures de données, code, architecture • Expériences dans la conception et la réalisation de pipelines data • Expériences dans un environnement du cloud Google (GCP) • Expériences intégrant BigQuery • Expériences intégrant les langages Python et SQL • Expériences intégrant PySpark • Expériences intégrant Terraform et Terragrunt • Expériences intégrant Gitlab et Gitlab CI/CD • Expériences intégrant les méthodologies Agile : Scrum ou Kanban • Capacité à vulgariser et à communiquer sur des aspects purement techniques 1 . Déployer les cas d’usages en lien avec la personnalisation de l’expérience utilisateur 2. Accompagner les utilisateurs dans leurs usages 3. Mettre en place le contrôle qualité sur ces datasets