Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Mission : Un profilData ingénieur / Software ingénieur orienté Data avec une expérience significative sur Azure Databricks, python (software engineering) et PySpark. La connaissance des concepts de Machine Learning, notamment des algorithmes de type bagging et boosting, constitue un atout apprécié. En tant que Data/Software ingénieur, le prestataire interviendra au sein d'une équipe agile SAFe et contribuera, au travers de user stories, aux activités suivantes : -Conception et développement des pipelines Data et ML industrialisées et robustes o Pipelines Batch sous Azure Databricks o Utilisation avancée de PySpark, Delta Lake, MLFlow, , Workflows o Optimisation des performances : partitionnement, gestion mémoire, exploitation GPU o Mise en place de mécanismes de reprise d'erreur, de traçabilité et de monitoring o Collaboration étroite avec les data scientists pour transformer les prototypes en solutions industrielles -Développement logiciel et services o Conception et développement de packages python o Respect des standards de développement du socle (qualité du code, tests unitaires, CI/CD, documentation, …) o API sous Azure Function et/ou Azure Container Apps -Contribution aux phases projets (étude de faisabilité, architecture, conception, réalisation, MEP) et aux différents activités de RUN et d'amélioration continue -Participation active aux rituels agiles 3j/semaine sur site Compétences techniques requises : Azure Databricks PySpark Delta Lake Python

Nous recherchons actuellement un Data Engineer pour intervenir au sein d’un grand groupe international du secteur du luxe (cosmétique & parfums), dans le cadre du renforcement de ses équipes data. Contexte Vous interviendrez sur la mise en place et l’optimisation d’une plateforme data moderne basée sur Microsoft Fabric, avec des enjeux autour de la centralisation, de la transformation et de la valorisation des données métiers. Missions principales Développer et maintenir des pipelines de données sur Microsoft Fabric Participer à la conception de l’architecture data (Lakehouse, Data Warehouse) Intégrer et transformer des données issues de multiples sources Assurer la qualité, la fiabilité et la performance des flux de données Collaborer avec les équipes Data, BI et métiers Contribuer aux bonnes pratiques Data Engineering (CI/CD, monitoring, documentation) Stack technique Microsoft Fabric Azure Data Factory / Synapse (ou équivalent) Python / SQL Data Lake / Lakehouse Git / CI-CD Profil recherché 3 à 4 ans d’expérience en Data Engineering Première expérience sur Microsoft Fabric ou forte appétence sur l’écosystème Microsoft data Bonne maîtrise de Python et SQL Expérience sur des environnements cloud (idéalement Azure) Bon niveau d’anglais Soft skills Esprit analytique Autonomie Capacité à monter rapidement en compétence Bonne communication avec les équipes métiers

Introduction & Résumé : Emagine recherche un Développeur Databricks / Python capable d'accompagner des équipes dans des projets à forte valeur ajoutée autour des données. Le candidat idéal disposera d'une expertise avancée en développement sur Databricks et Python, et aura un rôle clé dans la conception et la maintenabilité des solutions techniques. Principales responsabilités : Accompagner les équipes sur des projets data. Concevoir et maintenir des solutions robustes sur Databricks. Intégration de données Développer des notebooks Python (PySpark)/SQL/R. Documenter les développements pour assurer la maintenabilité. Industrialiser les notebooks (jobs, workflows, automatisation). Exigences clés : Minimum 5 ans d'expérience. Expertise avancée sur Databricks/Python. Anglais courant, méthodologie agile Excellent relationnel, travail en équipe Présence obligatoire de 2 jours sur site. Atouts : Expérience dans des projets similaires. Compétences en gestion de projet.

Bonjour, Pour le compte de l'un de mes clients parisiens, je suis à la recherche d'un développeur AAzure Databricks en pré-embauche. La mission : En tant que Développeur / Data Engineer Azure Databricks, vous intervenez au cœur de la Data Factory Entegra pour concevoir, développer et industrialiser les pipelines de données critiques du groupe. Vous travaillez en étroite collaboration avec : Le Head of Data, le Tech Lead Data, les équipes métiers et IT locales (France, UK, IT, ES, NL…), & les équipes partenaires. Responsabilités principales : Concevoir et développer des pipelines de données robustes et scalables sur Azure Databricks (PySpark, Delta Lake) Mettre en œuvre les chaînes d’ingestion, transformation et exposition des données (Bronze / Silver / Gold) Participer à l’industrialisation des traitements data (qualité, monitoring, performance, reprise sur incident) Contribuer à la structuration du socle Data Factory et aux bonnes pratiques de développement Documenter les développements et garantir la qualité du code et la maintenabilité. Travailler avec les équipes régionales pour : Comprendre les besoins fonctionnels, Accompagner la montée en compétences, Assurer le transfert de connaissances, Intervenir dans un contexte international, avec une forte dimension métier et “customer facing”.

Data vizualisation SQL / BIG QUERY JUNIOR 330 e / J Maîtriser SQL et BigQuery, rédiger et optimiser des requêtes complexes pour extraire et analyser les données Gérer et modéliser les données, créer des pipelines performants dans BigQuery en garantissant qualité, cohérence et fiabilité Appliquer Python et ses bibliothèques analytiques (Pandas, NumPy, PySpark) pour le traitement et la transformation des données Concevoir et développer des dashboards interactifs et dynamiques sous Looker Studio et Lokker pour le pilotage des KPIs métiers Identifier et exploiter les données issues de bases SQL/NoSQL (PostgreSQL, MongoDB) et d’architectures Data Lake ou Data Warehouse Appliquer les principes DevOps et utiliser les environnements Cloud (GCP, Azure) pour automatiser et sécuriser les flux de données Mettre en œuvre CI/CD avec GitLab CI et gérer le versionning avec Git Travailler en méthodologies agiles, notamment Scrum, Sprint Planning et Backlog Refinement Former et accompagner les utilisateurs dans l’utilisation des dashboards et des outils d’analyse Collaborer efficacement avec les équipes métiers et techniques pour produire des visualisations fiables et exploitables 330 e par j