Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Data/Data Engineer (H/F) à Charleroi, Belgique. Les missions attendues par le Développeur Data/Data Engineer (H/F) : Politique télétravail / venue sur site : 2 jours sur site / semaine Autre : Le site n’est pas facilement accessible en transports en commun, la possession d’un permis de conduire et d’un véhicule sera préférable pour les déplacements. Principales responsabilités : Développer les flux d'ingestion via Fabric Data Factory (et comprehension de Azure Data Factory) ; Développer les flux de transformation de données via Fabric Factory Notebook ; Optimiser les Queries des transformations, en particulier en prenant en compte les coûts Azure associés ; Contribuer à la modélisation du Lake House ; Établir le Design technique,implémentation de l'architecture médaillon (silver& gold) dans Microsoft Fabric ; Établir le plan de tests unitaires (automatisables) de la solution ; Suivre/exécuter les tests unitaires ; Participer à l’estimation de l’effort lié aux activités de développement lors du cadrage de la demande ; Rédiger la documentation technique ; Contribuer à l’amélioration continue (guidelines de développement) ; Contribuer à la maintenance & résolution des incidents (production).

Contexte de la mission Le data developer/engineer recherché rejoindra l’équipe Factory Data utilisant les technologies data Azure : Tâches principales • Développer les flux d’ingestion via Fabric Data Factory (et compréhension de Azure Data Factory) ; • Développer les flux de transformation de données via Fabric Factory Notebook ; • Optimiser les Queries des transformations, en particulier en prenant en compte les coûts Azure associés ; • Contribuer à la modélisation du Lake House ; • Établir le Design technique, implémentation de l’architecture médaillon (argent & or) dans Microsoft Fabric ; • Établir le plan de tests unitaires (automatisables) de la solution ; • Suivre/exécuter les tests unitaires ; • Participer à l’estimation de l’effort lié aux activités de développement lors du cadrage de la demande ; • Rédiger la technique de documentation ; • Contribuer à l’amélioration continue (guidelines de développement) ; • Contribuer à la maintenance & résolution des incidents (production).

L’équipe développe et maintient les modèles de prévision de la demande et des ventes pour l’ensemble des produits Décathlon, par centre d’approvisionnement continental. Aujourd’hui, notre pipeline est en production sur l’Europe, la Chine et l’Inde, et notre ambition pour 2026 est d’étendre la couverture à LATAM et MEA. Dans ce cadre, nous recherchons un Data Engineer Senior expérimenté sur PySpark et l’optimisation de pipelines. Notre Stack Data : AWS (S3, ECR, EKS); Databricks; Airflow; Pyspark; Python Et Github. La mission portera principalement sur la reprise, l’optimisation et la refonte partielle du module de “refining”, hérité d’une autre équipe. Ce module présente aujourd’hui plusieurs limites : lenteur d'exécution (compute), manque de gouvernance, faible modularité, documentation incomplète et difficulté à évoluer ou à scaler à l’échelle mondiale. Le contexte inclut également plusieurs dettes techniques autour de la stabilité, de la qualité du code et du renforcement des tests (unitaires et fonctionnels).

ans le cadre d’un programme de transformation Data mené au sein d’une grande organisation, une équipe projet pluridisciplinaire travaille à la mise en place d’une nouvelle plateforme Data. Nous recherchons un Data Engineer senior disposant d’une expérience confirmée sur les traitements de données en Spark et Python , capable d’intervenir sur l’ensemble de la chaîne de valeur de la donnée. Responsabilités principales En tant que Data Engineer Senior, vous serez amené à : Concevoir, développer et faire évoluer des pipelines d’ingestion de données en batch et en temps réel Mettre en œuvre des traitements Data fiables, industrialisés et facilement observables Participer à la définition et à la construction d’une architecture Lakehouse moderne Assurer la qualité, la traçabilité et la cohérence des données tout au long de leur cycle de vie Contribuer aux démarches d’ industrialisation et d’automatisation (CI/CD, DataOps) Travailler en étroite collaboration avec les architectes Data, les équipes plateforme, les responsables produit et les métiers Appliquer les principes de sécurité by design et veiller au respect des exigences de conformité Produire la documentation technique et participer au partage de connaissances au sein des équipes

Nous sommes à la recherche d'un(e) : Expert Data Référentiels -Se coordonner avec le Business Analyst du sujet pour définir la charge et définir les travaux à mener - Développer l’intégration des flux avec Azure Synapse / PySpark -S’appuyer sur les connaissances fonctionnelles de l’équipe en place - S’assurer de la qualité et de la cohérence de données intégrer pour anticiper les impacts sur les reporting (comparaison de données entre sources. - Expérience dans la mise en place de la qualité du code (Sonar) et l’amélioration continue

Dans le cadre d'un projet au sein de notre Data & IA Fabric, nous recherchons un développeur Data/BI (Databricks - Power BI) pouvant assister le Delivery Lead et la Tech Lead du projet pour : La mise en place des flux de données La réalisation des chaines d’alimentation d’intégration des données et autres fonctionnalités DATA du projet. La modélisation des données dans la base de données et l’infrastructure Databricks Participation aux rituels Agiles (Daily, Sprint Review, Sprint Planning, Démo) La mise en place de l’automatisation à l’aide des outils préconisés lors de la conception La recette unitaire et d’intégration La préparation de la livraison et la mise en production La construction de visuels PowerBI Expérience de plus de 2 ans dans la modélisation de données dans des systèmes décisionnels Expérience de réalisations et participations à des projets Data significatifs Expérience indispensable des bases de données relationnelles et du requêtage via du langage SQL Expérience indispensable dans la construction de visuels PowerBI et de son langage de programmation (DAX) Expérience appréciée sur le développement d’alimentation avec Spark et/ou Databricks Ce projet est réalisé en utilisant une méthodologie agile SCRUM. Paris 12 – 3 jours de TT Rythme hybride

But principal Le prestataire Tech Lead a pour mission principale de : • Contribuer au delivery du produit • Assurer les choix techniques en collaboration avec la squad dans le respect des standards, • Faire comprendre les choix techniques & obtenir l’adhésion des parties prenantes • Interagir au quotidien avec les parties prenantes (métier, tech authority...) • Garantir la qualité logicielle de la prestation de l'équipe Veiller à la bonne mise en œuvre du plan de développement du produit. Missions • Être le garant technique de la squad en la soutenant dans ses choix et dans la mise en œuvre des bonnes pratiques et standards • Garantir la qualité du code et suivre les KPIs pour le suivi de produit • Contribuer techniquement à la production du code • Remonter les alertes et garantir la résolution de problèmes dans un environnement agile en étroite collaboration avec Delivery Performance, Talent et Chapter leads • Être garant de la bonne mise en œuvre technique du plan de développement du produit.

🎯 Contexte Au sein de la direction IT Data Management & BI , vous intégrez l’équipe Big Data & API / Squad Financing & Risk . L’équipe développe et maintient un datalake , utilisé comme plateforme de données par les équipes IT et métiers (finance, risque). 🚀 Missions En tant que Data Engineer , vous intervenez sur le datalake FinLake avec les responsabilités suivantes : Assurer la gestion de la production (suivi des flux, incidents, performance) Réduire et maîtriser la dette technique Analyser l’ architecture existante et proposer des évolutions Réaliser les développements Big Data liés aux projets métiers Participer aux déploiements et à l’industrialisation des traitements 🛠️ Environnement technique Big Data : Spark, PySpark, Scala, Hadoop (on-premise) Data & requêtage : Hive, SQL/HQL, Starburst, Indexima Scripting : Unix / Bash DevOps & industrialisation : Jenkins, CI/CD, XLDeploy, XLRelease Outils projet : Jira

Contexte : La mission va se dérouler au sein de l'IT Data Management & BI dans l'équipe Big Data & API / Squad Financing & Risk qui aujourd'hui développe et gère un datalake (FinLake). Ce datalake est utilisé comme une data plateforme pour les équipes IT et métiers. Missions : L'objectif de la mission est d'assurer le rôle de Data Engineer du FinLake : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets

🎯 Contexte Nous recherchons un Data Engineer / Analyst expérimenté pour rejoindre un programme de transformation Data (secteur des assurances). 🔍 Vos missions Analyser et comprendre les scripts existants en PL/SQL / SQL Étudier les flux de données et les transformations entre les couches Bronze, Silver et Gold Piloter la qualité, complétude et fiabilité des données Développer et valider des traitements en PySpark / Spark SQL Participer à la conception et à la validation des dashboards Power BI Mettre en place et promouvoir les bonnes pratiques Data Déployer les rapports auprès d’autres entités métiers Contribuer à la documentation technique et fonctionnelle

Context Démarrage ASAP pour une mission de Data Engineer au sein d’une grande équipe data industrielle. La mission s’inscrit dans le remplacement d’un congé maternité, avec une forte probabilité de continuité sur une autre équipe à l’issue de cette période. Environnement structuré, déjà composé de plusieurs freelances intégrés. Mission Collecter, analyser et exploiter les données pertinentes afin d’améliorer le pilotage des activités et la création de valeur. Accompagner les équipes métier dans le développement, le déploiement et l’exploitation de solutions data. Être le référent data pour les sujets d’exposition et d’exploitation des données industrielles. Concevoir et maintenir des pipelines data robustes et optimisés. Produire des analyses et visualisations accessibles aux équipes métiers. Garantir la qualité, la gouvernance et l’éthique des données. Maintenir à jour le catalogue des datasets et la documentation associée. Participer aux tests, à la mise en production et à la formation des utilisateurs.

Dans un contexte Data & BI à forts enjeux, vous intervenez au sein d’une équipe Big Data & API , rattachée à une squad Financing & Risk , en charge du développement et de l’exploitation d’un datalake utilisé comme plateforme data centrale par les équipes IT et métiers. En tant que Data Engineer , vous jouez un rôle clé dans la gestion, l’évolution et la fiabilité de cette plateforme. Vos principales missions sont les suivantes : Assurer la gestion de la production du datalake (suivi, incidents, stabilité des traitements) Prendre en charge la dette technique et contribuer à l’amélioration continue de la plateforme Analyser l’architecture existante et proposer des évolutions techniques pertinentes Réaliser les développements Big Data liés aux projets en cours et à venir Participer à l’industrialisation et aux déploiements via les chaînes CI/CD Vous évoluez dans un environnement technique Big Data on-premise , au sein d’une équipe travaillant en interaction avec des équipes IT et métiers, sur des sujets à forte valeur ajoutée.

Forte expertise d’architecture Big Data et Cloud. Au sein de la Data & IA Fabric, couvrant les missions d’étude, de conception, de réalisation et de maintenance du socle Data et des SI du périmètre, ainsi que l’accompagnement des métiers dans l’utilisation des différentes plateformes Data existantes ou en développement. Mission : concevoir et construire l’architecture fonctionnelle, logique, physique et opérationnelle des plateformes dans le cadre de la stratégie des socles Data (Plateformes Data). Assister les architectes solutions, devops et data ingénieurs des squads Plateformes dans leurs activités de BUILD et de RUN. Build EXEMPLE : Proposer des évolutions des briques socle, rédiger leur cadrage technique, voire même, selon le profil du consultant, contribuer directement à leur intégration et configuration. Participer à la priorisation des fonctionnalités dans les cadrages de versions des socles plateformes. Définir des normes de développement sur la plateforme Data Groupe. Participer à la validation de la stratégie de recette (TU, TI, TAU) applicables aux développements Plateforme d’un côté, et aux développements de la squad Projet de l’autre Assurer la gestion des risques techniques et de la réversibilité pour la platform Data et le Data Catalogue Groupe Run EXEMPLE : Positionner, superviser voire Contribuer au maintien en conditions opérationnels des plateformes Data et du Catalogue Groupe (maintenance corrective, préventive et évolutive) Support expert N3 Sous la responsabilité du Product Owner de la Plateforme Data Groupe Il s’appuiera sur une équipe complète de DevOps, Data Ingénieurs et des leads de pratique Data Management, Dataviz et ML Ingénierie, ainsi que sur un pool d’architectes dédiés. Expériences réussies d’au -moins 6 ans dans le conseil en architecture solution data Expérience d’au moins 3 ans comme data ingénieur, en vue de la création, l’orchestration et monitoring de flux de données, sur des clouds publics, de préférence AWS Une expertise de développement en langage Spark et Python, pendant au moins 3 ans, est requise afin de réaliser les code reviews Une expérience sur Databricks d’au moins 4 ans sur une plateforme. Une 1è certification Databricks officielle est requise Une expérience d’intégrateur, de mises en production avec les technologies : Terraform, ou Jenkins, Docker ou Kubernetes. Paris 12 – 3 jours de TT

Profil : Senior Data Engineer · Contexte de la mission : L’équipe Supply Zone Forecast (SZF) développe et maintient les modèles de prévision de la demande et des ventes pour l’ensemble des produits Décathlon, par centre d’approvisionnement continental. Aujourd’hui, notre pipeline est en production sur l’Europe, la Chine et l’Inde, et notre ambition pour 2026 est d’étendre la couverture à LATAM et MEA. Dans ce cadre, nous recherchons un Data Engineer Senior expérimenté sur PySpark et l’optimisation de pipelines. Notre Stack Data : AWS (S3, ECR, EKS); Databricks; Airflow; Pyspark; Python Et Github. La mission portera principalement sur la reprise, l’optimisation et la refonte partielle du module de “refining”, hérité d’une autre équipe . Ce module présente aujourd’hui plusieurs limites : lenteur d'exécution (compute), manque de gouvernance, faible modularité, documentation incomplète et difficulté à évoluer ou à scaler à l’échelle mondiale. Le contexte inclut également plusieurs dettes techniques autour de la stabilité, de la qualité du code et du renforcement des tests (unitaires et fonctionnels) La mission se déroulera sur site à Paris , au sein du pôle data Digital Principales responsabilités Refonte et optimisation du module “Refining” : Auditer le code existant, identifier les goulots de performance et axes d’amélioration. Revoir la structure du code pour renforcer la modularité, la lisibilité et la maintenabilité. Mettre en place une documentation claire et partagée (technique + fonctionnelle). Optimiser le traitement PySpark (logique de partitionnement, cache, broadcast, etc.). Proposer une approche flexible pour l’ajout de nouvelles features. Renforcement de la robustesse et de la qualité : Implémenter ou renforcer les tests unitaires et fonctionnels. Améliorer la stabilité globale de la pipeline ML de forecast. Participer à la mise en place de bonnes pratiques d’ingénierie logicielle (CI/CD, gouvernance du code, monitoring). Collaboration et transfert de compétences : Travailler étroitement avec les Data Scientists et lMachine Learning Engineers de l’équipe SZF. Assurer un transfert de connaissances clair et structuré à l’équipe interne. Contribuer à la montée en compétence collective sur PySpark et la scalabilité de pipelines ML. Livrables attendus : Module “refining” refactoré, documenté et testé Rapports d’audit et plan d’optimisation validés Documentation technique centralisée Pipeline stable et industrialisable à l’échelle mondiale

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

En quelques mots Cherry Pick est à la recherche d'un "Architecte Data IoT" pour un client dans le secteur du retail. Description La Data est centrale dans notre écosystème IoT : elle alimente la BI, la maintenance prédictive, la détection d'accidents et la conception intelligente de nos futurs produits. 🎯 Votre Mission : Architecturer la Data de l'IoT du Groupe Au sein de l'équipe "Cloud IoT Platform - Data Solution", vous agissez en tant que Data Architect / Lead Engineer . Vous êtes le garant des choix techniques et de l'architecture permettant d'ingérer, stocker et exposer les données venant du Cloud, des "Devices" et du Mobile. Vos responsabilités clés : Architecture & Stratégie : Imaginer et concevoir l'architecture Data pour collecter les données IoT (directement des appareils ou via mobile). Définir la stratégie des stacks techniques et garantir les standards d'architecture. Assurer l'alignement entre la vision technique, les priorités business et les besoins utilisateurs. Engineering & Pipelines : Construire des pipelines de données (structurées et non structurées) robustes et scalables. Maintenir et redesigner les pipelines existants pour servir de nouveaux cas d'usage (Analytics, IA, etc.). Garantir l'industrialisation des processus de transformation et le CI/CD. Qualité & Gouvernance : Assurer la scalabilité, l'élasticité et la fiabilité des infrastructures. Garantir la qualité de la donnée, son accessibilité, ainsi que le respect des normes de Privacy et Data Governance (Lineage). Leadership Technique : Contribuer activement à la communauté des Data Engineers. Assurer une veille technologique constante pour orienter la sélection des nouveaux outils. 🛠 Environnement Technique Langages : Python, Scala, Java. Big Data & Streaming : Kafka, Spark. Cloud & Infrastructure : AWS (Lambda, Redshift, S3), Microservices. Concepts : Systèmes distribués, Data Modeling, Real-time data exchanges.