Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Bonjour, Pour le compte de mon client, nous recherchons un data engineer. L’équipe de BUILD (qui gère les données du socle relation client et du socle connaissance client. Cette équipe est en charge de mettre à disposition des données en fraicheur pour deux équipes business. Le Data Ingénieur sera intégré dans une équipe Marketing d’une dizaine de personnes. La ressource doit accompagner la direction dans la réalisation des outils BI et analyses ad hoc pour leur permettre la réalisation de leurs usages. La mission se décompose en deux volets : 1. DIR DATA : Apporter un appui à la capacité à faire de l’équipe BUILD du projet et d’épauler la capacité à faire des métiers sur des montées de versions de leurs produits data métiers. Contexte de migration des projets métiers data basé actuellement sur Synapse vers Unity Catalog (Databricks). 2. DIR MKT : L'objectif de la mission est de permettre à la direction de piloter les offres par la réalisation d'analyse et la construction de tableaux de bord. Les indicateurs mis en visibilité permettront à la direction de suivre l'adoption des offres et services et de prendre les décisions stratégiques. Actiivités du poste : Partie direction Data Participation active à l’appui des équipes métiers lors de la migration vers Unity Catalog / suppression de synapse. Appui aux métiers pour assurer la MCO de leurs produits data métiers Participation active à l’équipe de développement BUILD du projet et aux phases de recette et de validation sur les différentes livraisons des traitements de données en lien avec l’équipe de build projet. - Participation ponctuelle aux analyses d’écarts et à l’identification des causes racines sur des problèmes de qualité et incohérences de données remontées via les clients auprès de la Relation Client, l’équipe RGPD ou par d’autres canaux internes (ex : incohérences sur les dates de naissance, doublons de clients, de segments de voyages, problèmes de référentiels, etc.) - Participation ponctuelle à la construction et évolutions sur des tableaux de bord Power BI en lien avec les besoins de monitoring de la donnée des socles sous responsabilité de la direction Data . Partie Direction MKT : Construction et maintien de tableaux de bord : Élaboration et implémentation de modèles de données optimisés pour les tableaux de bord Construction du tableau de bord Validation de la conformité et de la fiabilité des données présentées dans les tableaux de bord Traitements de données Développement et maintien d’indicateurs Optimisation des performances des traitements de données Interne Automatisation de la chaine de traitements des données depuis le socle Data TGV-IC ou d'autres sources Supervision de la chaine de traitements Réalisation d’analyse Réalisation d'extractions et analyses data ad hoc pour répondre aux besoins spécifiques des métiers Actions de gouvernance de la donnée Catalogage de la donnée : Documentation des dictionnaires de données, du lineage et des produits data business Suivi de la qualité des données Mise en place d’un outil de supervision de la qualité des données Identification des anomalies et investigations

Les livrables sont Code Source Documentation KPI qualité Compétences techniques Python / Pyspark / SQL - Expert - Impératif Databricks - Expert - Impératif Datafactory - Confirmé - Important Modélisation BI - Confirmé - Souhaitable Description détaillée Contexte : Le projet Data-RH vise à centraliser et modéliser les données issues des systèmes dans un modèle unifié, permettant des analyses transverses et une exploitation optimale des données métier. Environnement technique : Azure Data Factory, Databricks, Python, PySpark, SQL, Azure DevOps et Power BI. Missions : - Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory. - Créer et optimiser des flux de transformation de données en PySpark/Python. - Maintenir et développer de nouveaux indicateur de qualité de données - Mettre en œuvre et industrialiser les pipelines CI/CD avec Azure DevOps. - Participer au refactoring du code existant pour améliorer sa performance et sa maintenabilité. - Garantir la qualité du code et veiller au respect des normes de développement au sein de l’équipe. - Implémenter des tests unitaires et assurer la fiabilité des solutions. - Mettre en place des solutions de monitoring et de supervision pour l’application Data-RH. Profil recherché : - Maîtrise avérée de SQL, Python, PySpark et Spark. - Expérience confirmée sur l’écosystème Microsoft Azure (Data Factory, Databricks, DevOps). - Bonne connaissance de Git et des pratiques DevOps. - Sens de la communication, force de proposition et capacité à travailler en équipe. - Rigoureux, attaché aux bonnes pratiques de développement et à la qualité du code. Définition du profil : Il est garant du bon fonctionnement et de la disponibilité des données dont il a la responsabilité. Il assure la prévention des dysfonctionnements des données et contribue à la bonne utilisation de celles-ci

CONTEXTE Métiers Fonctions : Data Management, Data Engineer Spécialités technologiques : Big Data Compétences Technologies et Outils : HadoopPyspark (2 ans) Dans le cadre d’un projet stratégique autour du recouvrement et de la lutte contre la fraude, nous recherchons un Data Engineer confirmé spécialisé en PySpark, pour rejoindre une équipe technique pilotée par un Tech Lead expérimenté. Le projet s’appuie sur des volumes massifs de données critiques (plusieurs milliards d’événements par jour) et vise à développer des cas d’usages à fort impact dans la détection d’anomalies et l’optimisation des processus de recouvrement. MISSIONS Missions principales - Participer à la construction et l’optimisation des pipelines de données sous PySpark. - Contribuer à la mise en place d’architectures Big Data sur un environnement Hadoop (bonus). - Assurer la qualité, la fiabilité et la performance des flux de données. - Collaborer étroitement avec les équipes data science et métier pour industrialiser les cas d’usage (fraude, scoring, recouvrement automatisé…). - Intervenir sur des problématiques de scalabilité et de traitement en temps réel / batch. - Garantir la sécurité et la conformité des traitements sur des données sensibles.

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer AWS" pour un client dans le secteur des transports Description 🎯 Contexte de la mission Au sein du domaine Data & IA , le client recherche un MLOps Engineer / Data Engineer confirmé pour intervenir sur l’ensemble du cycle de vie des solutions d’intelligence artificielle. L’objectif : industrialiser, fiabiliser et superviser la production des modèles IA dans un environnement cloud AWS à forte exigence technique et opérationnelle. Le poste s’inscrit dans une dynamique d’ industrialisation avancée et de collaboration étroite avec les Data Scientists , au sein d’une équipe d’experts en intelligence artificielle et data engineering. ⚙️ Rôle et responsabilités Le consultant interviendra sur les volets suivants : Industrialisation & CI/CD : Mise en place et maintenance de pipelines CI/CD avec GitLab, Docker, Terraform et Kubernetes . Infrastructure & automatisation : Gestion et optimisation des environnements AWS (S3, EMR, SageMaker, IAM, etc.) , mise en place de bonnes pratiques IaC. Data Engineering / Spark : Développement et optimisation de traitements Spark pour la préparation et la transformation de données à grande échelle. MLOps & Production : Déploiement, suivi et supervision des modèles IA via MLflow , et Datadog , gestion du monitoring et des performances. Collaboration transverse : Travail en binôme avec les Data Scientists pour fiabiliser le delivery, optimiser les modèles et fluidifier le passage en production. Amélioration continue & veille : Contribution à la montée en maturité technique, documentation, partage de bonnes pratiques et optimisation continue des pipelines.

Descriptif du poste Le prestataire interviendra comme développeur senior / Data Engineer sur les différentes applications IT du périmètre : Application de data management : ingestion, stockage, supervision et restitution de time series. Application de visualisation de données de marché et des analyses produites Application de calcul de prévision de prix Le prestataire devra accompagner les évolutions et assurer la maintenance corrective et évolutive sur ces différentes applications dans les meilleurs délais (time to market) tout en garantissant la qualité des livrables. Mission • Conception et développement d'outils d'aide à la décision • Conception et développement de nouvelles architectures data • Collecte, ingestion, traitement, transformation et restitution des données (météo, fundamentales..) • Optimisation des coûts et des performances • La gestion du cycle de développement, de l'infra et des mises en production (DevOps) • Maintenance évolutive et support technique / accompagnement des utilisateurs (analystes, data scientists...) • Coaching de l'équipe autour des thématiques Big Data et AWS : workshops, présentations…

Orcan Intelligence recherche pour l'un de ses clients un Data Engineer senior. Le Data Engineer senior devra construire, livrer, maintenir et documenter des pipelines de données dans le périmètre des fondations Risque. Livrables attendus : Pipelines de données pour les fondations Risque, livrés dans les délais. Code documenté et testé unitairement. Mises en œuvre des contrôles de qualité et de santé ( health checks ). Expérience et compétences requises :

Secteur d'intervention : Assurance Type de prestation : Assistance Technique avec facturation journalière Métiers et fonctions impliqués : Études & Développement, Développeur Compétences techniques requises : Technologies et outils : Python, React (React JS) Méthodes / Normes : IFRS17; Adapter Soft skills : Rigueur Description de la mission : Le projet concerne un client dans le secteur de l'assurance, pour lequel le développeur sera intégré à une équipe Data à mi-temps (2/3 jours par semaine). La mission principale est le développement d'outils pour soutenir les activités métiers telles que la modélisation, projection actuarielle et études statistiques, notamment pour répondre à la norme IFRS17. Les responsabilités incluent : Développement en Python des études actuarielle sur le produit Maintenance du front de l'application (React) – connaissances en React appréciées Recueil, analyse et formalisation des besoins utilisateurs Coordination avec les Engineering Managers pour assurer le delivery (développement, tests, opérations) en respectant les exigences de sécurité du client Communication et application des standards et bonnes pratiques au sein de la tribu et des équipes métier

Contexte : Notre client, un acteur majeur du secteur énergie, renforce son pôle Data Platform dans le cadre de la modernisation de ses pipelines de données sur Azure. Missions : · Développer et maintenir des pipelines de données sur Azure Data Factory et Databricks · Assurer la qualité, la fiabilité et la performance des flux · Participer à la migration vers une architecture Cloud · Collaborer avec les équipes DataOps et Data Science Stack technique : · Azure Data Factory, Databricks, PySpark, SQL, Delta Lake, Git, CI/CD · Environnement Agile / DevOps Profil recherché : · 4+ ans d’expérience en Data Engineering · Bonne maîtrise des environnements Azure / Databricks · Esprit analytique, autonome et orienté delivery

Notre client recherche un Développeur Senior disposant d’une double expertise en développement backend et en ingénierie des données, pour rejoindre son équipe dédiée à l’observabilité. Concevoir, développer et maintenir des services backend (Python, PySpark) et des APIs orientées observabilité Construire et orchestrer des pipelines de données robustes (Airflow, Spark, Python) Garantir la qualité, la sécurité et la gouvernance des flux (tests, lineage, monitoring) Gérer les données via PostgreSQL, ADLS, Blob Storage, ElasticSearch Développer des dashboards et visualisations avancées (Grafana, ELK) Collaborer étroitement avec les équipes produit et développement (Agile/Scrum)

Contexte Dans le cadre du renforcement de ses équipes Data, notre client du secteur de l’énergie recherche 2 Data Engineers spécialisés en Python , PySpark , Microsoft Fabric et maîtrisant l’environnement Azure Cloud . Les prestations débuteront début / mi-janvier 2026 pour une mission longue à Paris. Objectifs de la mission Le Data Engineer interviendra sur la conception, le développement et la mise en production de l’architecture de données de l’entreprise. Il aura notamment pour missions : Objectifs Concevoir une architecture Data performante, scalable et conforme aux besoins métiers. Industrialiser les flux de données au sein de l’écosystème Azure et Microsoft Fabric. Garantir la fiabilité, la qualité et la disponibilité des données. Livrables attendus Architecture cible documentée Pipelines de données développés et testés Pipelines mis en production et monitorés Documentation technique complète Plan de maintenance et évolutions techniques recommandées Responsabilités détaillées Recueillir et analyser les besoins des métiers et utilisateurs. Concevoir l’architecture de données : modèles, schémas, stockage, orchestration. Développer des pipelines data robustes sous Python , PySpark , Microsoft Fabric . Mettre en production les différents flux (CI/CD, monitoring…). Maintenir et faire évoluer l’architecture existante. Assurer un support technique de niveau expert sur la chaîne de traitement des données. Contribuer à l’amélioration continue des pratiques Data et Cloud. Compétences requises Techniques CompétenceNiveau Python ⭐⭐⭐⭐ (Expert) PySpark ⭐⭐⭐⭐ (Expert) Microsoft Fabric ⭐⭐⭐ (Confirmé) Certification « Microsoft Certified: Fabric Data Engineer Associate » Souhaitée / requise Azure Cloud ⭐⭐⭐ (Confirmé) Anglais ⭐⭐⭐ (Courant) Soft Skills Rigueur et autonomie Communication claire avec les métiers Capacité à travailler en équipe dans un environnement Agile/Cloud Bon sens de l’analyse et de la résolution de problèmes Modalités Lieu : Paris Type : Prestation de Data Engineering Présence obligatoire : 3 jours sur site / semaine Télétravail : 2 jours Début de mission : début / mi-janvier 2026

Dans le cadre du remplacement d’un consultant senior sortant, tu rejoindras l’équipe Pricing & Revenue Management afin d’assurer la continuité, l’évolution et la fiabilisation des modèles algorithmiques stratégiques. Ton rôle sera clé pour concevoir, développer et optimiser des modèles avancés de pricing et de revenue management, permettant de prévoir, indexer et optimiser les contrats clients dans un contexte business à forts enjeux. 🧠 Missions principales 1. Développement & optimisation de modèles Concevoir et développer des modèles avancés de pricing (indexation, forecasting, optimisation des revenus). Améliorer la performance des algorithmes existants (précision, vitesse, robustesse, explicabilité). Construire de nouveaux modèles data-driven liés au revenue management (élasticité, stratégie tarifaire, scénarios). 2. Engineering & Data Pipeline Développer, maintenir et optimiser des pipelines dans Azure Data Factory & Azure Databricks . Manipuler, transformer et structurer des données dans un environnement big data. Intégrer et orchestrer les données via Azure Lakehouse / ADLS . (Bonus) Utiliser PySpark pour gérer des volumes de données importants. 3. Collaboration & Interaction Business Travailler en étroite collaboration avec les équipes Pricing, Finance et Opérations. Comprendre les besoins business et les traduire en modèles statistiques exploitables. Documenter, présenter et vulgariser les résultats auprès des équipes métier. Garantir une forte réactivité et la fiabilité des livrables compte tenu des enjeux stratégiques. 🛠️ Stack technique Python : indispensable (modélisation, data processing, industrialisation). Azure Cloud : Databricks, ADF, ADLS / Lakehouse. PySpark : apprécié. Méthodes & domain expertise : Pricing algorithmique Revenue management Forecasting (séries temporelles, modèles ML) Optimisation (linéaire, stochastique, contraintes)

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

Responsabilités principales : Feuille de route Data : Définir et maintenir une roadmap de la plateforme de données alignée avec la stratégie de l’organisation. Évolution du Data Stack : Concevoir, déployer et faire évoluer l’architecture du data stack moderne (MSF). Données de référence : Mettre en place et gérer les données de référence (MDM), sources uniques de vérité pour réduire incohérences et redondances. Alignement métier : Traduire les besoins business en solutions architecturales sécurisées et évolutives. Cohérence des outils : Assurer l’intégration fluide entre systèmes existants, cloud, outils départementaux et solutions BI/ERP. Livraison transverse : Collaborer avec ingénieurs data, analystes BI et responsables métiers pour produire des données fiables et gouvernées. Normes et bonnes pratiques : Développer architectures de référence, modèles de données et protocoles de gouvernance. BI en libre-service : Permettre une analyse libre mais gouvernée via exposition structurée des données. Profil recherché : Formation : Diplôme d’ingénieur ou équivalent en informatique, data engineering ou discipline similaire. Expérience : 5+ ans en architecture de données dans des environnements complexes et hybrides. Expérience avec MDM et plateformes Microsoft Fabric. Expertise sur plateformes hybrides (legacy, on-prem, cloud-native). Pilotage d’initiatives transverse (IT, métier, gouvernance). Compétences clés : Cloud & Data Platform : Azure, conception d’architectures Azure, CI/CD avec Azure DevOps. Intégration & pipelines : Azure Data Factory, Fabric Pipelines, intégration avec CRM/ERP. Solutions unifiées modernes : Microsoft Fabric, Databricks / PySpark. Modélisation & stockage : SQL Server, Cosmos DB, modèles dimensionnels, normalisés, Lakehouse. Gouvernance & métadonnées : Data lineage, catalogue de données, intégration BI/MDM/qualité. Sécurité & conformité : Entra ID, Key Vault, RGPD, PasswordState. BI & analytique : Power BI, DAX, modélisation sémantique, Microsoft Fabric.

Contexte & Enjeux Projet stratégique à haute visibilité visant à construire une nouvelle Data Platform . L’infrastructure, livrée sur un modèle Kubernetes , constitue le socle du futur environnement Data. Une équipe backend est déjà en place et développe le socle applicatif en Python / Django . Objectif principal : Structurer et définir l’ architecture Data de la plateforme, dans une logique modulaire, scalable et sécurisée , et préparer l’intégration des premiers cas d’usage métiers. 🧩 Mission Le Data Architecte interviendra sur : Définir l’ architecture cible de la Data Platform après livraison de l’infrastructure ; Segmentation et ségrégation des stockages selon les typologies de données (temps réel, analytics, applicatif) ; Déploiement et orchestration des conteneurs dans l’environnement Kubernetes ; Mise en place du socle Data et des patterns de gouvernance : sécurité, qualité, monitoring, CI/CD Data ; Accompagnement sur les choix technologiques (préférence open source) ; Co-construction avec les équipes métiers utilisant des outils no-code / low-code pour leurs besoins analytiques. 🧠 Profil recherché Architecte Data confirmé, à l’aise sur les environnements Cloud Azure et Kubernetes ; Maîtrise des architectures temps réel , data pipelines et data storage (Data Lake / Data Warehouse) ; Expérience solide sur les environnements open source : Spark, Kafka, Airflow, etc. ; Capacité à intervenir sur des sujets d’ architecture globale (data + applicatif) ; Bon sens du travail en équipe et de la co-construction dans un contexte sensible et confidentiel ; Capacité à proposer des solutions adaptées aux contraintes existantes. ⚙️ Environnement technique (indicatif) Cloud : Azure Orchestration : Kubernetes Backend : Python / Django Data : Open source – Spark, Kafka, Airflow, etc. Usages métiers : No-code / Low-code

Contexte Le profil interviendra sur l’ensemble du cycle de vie des solutions d’Intelligence Artificielle (IA), incluant : Industrialisation et CI/CD : Mise en place et maintenance de pipelines CI/CD (GitLab, Docker, Terraform, Kubernetes). Infrastructure et automatisation : Gestion et optimisation des environnements AWS (S3, EMR, SageMaker, IAM…). Data Engineering & Spark : Développement et optimisation de jobs Spark pour la préparation et le traitement de données à grande échelle. MLOps / Production : Déploiement, suivi et supervision des modèles IA (MLflow, , monitoring Datadog). Collaboration transverse : Interaction quotidienne avec les Data Scientists pour fiabiliser le delivery et le suivi des modèles. Veille et amélioration continue : Participation active à l’optimisation des pipelines et à la montée en maturité technique de l’équipe. Description de la mission Le profil sera en charge de : Maintenir et faire évoluer les pipelines d’industrialisation (CI/CD, Terraform, Docker, Kubernetes). Participer à la mise en production et au suivi des modèles IA (Airflow, Datadog, , MLflow). Garantir la fiabilité des traitements Spark et la conformité des environnements AWS. Contribuer au suivi de la production et aux mises en production (MCO). Participer à l’amélioration continue des outils et pratiques Data/IA. Documenter les bonnes pratiques techniques et partager les retours d’expérience au sein de l’équipe AI Experts. Compétences techniques attendues Obligatoires (Must Have) : CI/CD (GitLab) Docker Terraform Kubernetes Spark Python AWS (S3, EMR, SageMaker, IAM…) Souhaitables (Nice to Have) : MLflow Airflow API / FastAPI Datadog Suivi de production / MEP Autres compétences : Expérience de collaboration avec des Data Scientists Veille technologique et amélioration continue Soft Skills recherchés Esprit d’équipe et forte culture du delivery Rigueur technique, curiosité et autonomie Capacité à collaborer efficacement dans un environnement pluridisciplinaire (DE, DS, OPS, PO, DEV, staff) Sens du partage et de la documentation Livrables et responsabilités principales Maintenir et faire évoluer les pipelines CI/CD et d’industrialisation Participer aux mises en production et au suivi des modèles IA Garantir la fiabilité des traitements Spark et la conformité AWS Contribuer à l’optimisation continue des outils et pratiques Documenter et partager les bonnes pratiques techniques

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).