Find your next tech and IT Job or contract PySpark

Date de démarrage : ASAP Date de fin : 31/10/2026 Localisation : Paris Tarif Journalier Moyen (TJM) Max : 660 € Descriptif de la Mission Au sein des équipes Data, vous interviendrez sur la conception, le développement, la gouvernance et l'optimisation de nos plateformes de données. Vos activités principales s'articuleront autour de quatre grands piliers : 1. Développement & Architecture Data Concevoir et développer des pipelines de données robustes et scalables sur Databricks ( PySpark , Spark SQL , Delta Live Tables ). Mettre en place des architectures Lakehouse basées sur Delta Lake . Industrialiser et orchestrer les workflows ETL/ELT à l'aide de Databricks Workflows . 2. Gestion et Administration de la Plateforme Databricks Administrer l’espace de travail (gestion des workspaces, configuration des clusters, gestion des permissions). Assurer l'optimisation des coûts (finops) via la configuration fine, l’autoscaling et le monitoring des clusters. Implémenter et faire respecter les bonnes pratiques de sécurité ( Unity Catalog , gestion des accès, lineage de la donnée). 3. Gouvernance & Qualité des Données Mettre en place des mécanismes stricts de qualité et de validation des données ( expectations , tests automatisés). Documenter rigoureusement les modèles et les flux sur la plateforme. Garantir la fiabilité, la cohérence et la fraîcheur des données mises à disposition. 4. Collaboration & Support Collaborer étroitement avec les Data Analysts, Data Scientists et les équipes métiers. Accompagner et former les utilisateurs clés dans l’adoption et la prise en main de l'écosystème Databricks. Participer activement aux revues de code, à la standardisation et au partage des bonnes pratiques d'ingénierie. Compétences RequisesTechniques (Incontournables) : Développement : Excellente maîtrise de PySpark ou Spark SQL . Écosystème : Forte expérience pratique avec Databricks (pipelines, clusters, notebooks, Unity Catalog). Architecture : Solides connaissances des architectures Lakehouse , du data modeling, des concepts ETL/ELT et des stratégies d'ingestion (batch & streaming). Cloud : Connaissance approfondie d’au moins un des principaux fournisseurs cloud ( Azure , AWS ou GCP ). DevOps : Maîtrise de Git et des pratiques de CI/CD (Azure DevOps, GitHub Actions, etc.). Souhaitées (Un plus) : Connaissances en MLflow , orchestration de modèles et pratiques MLOps . Notions avancées en DataOps , cost optimization (FinOps) et outils de monitoring. Expérience dans l’exploitation d’APIs et l'ingestion de données en temps réel (ex: Kafka ).

Dans le cadre du renforcement d’une équipe spécialisée dans les projets data à fort enjeu, nous recherchons un(e) Lead Tech orienté(e) Data Engineering / Data Science capable d’intervenir sur des environnements techniques exigeants et de contribuer à la montée en compétence des équipes. Vous évoluerez au sein d’un contexte stimulant, mêlant développement, traitement de données à grande échelle et accompagnement technique. Vos missions Au quotidien, vous serez amené(e) à : Concevoir et développer des solutions de traitement et d’analyse de données en Python Participer à la mise en place et à l’optimisation de pipelines data performants Travailler sur des architectures distribuées et des traitements volumineux via Spark et Hadoop Assurer la qualité, la maintenabilité et la performance des développements réalisés Collaborer avec les équipes techniques et métiers afin de comprendre les besoins et proposer des solutions adaptées Apporter un rôle de référent technique auprès des équipes Participer aux bonnes pratiques de développement, d’intégration continue et de déploiement Accompagner les collaborateurs sur les sujets techniques avec pédagogie et clarté Environnement technique Python Spark PostgreSQL Hadoop Git / GitLab CI/CD

Data Scientist BI / Data Engineer expérimenté Nantes Python, PySpark, SQL, Power BI, DAX, API, Git, Azure, Azure Data Factory, Databricks, DataGalaxy, Jira, Confluence 3 ans Nantes Python, PySpark, SQL, Power BI, DAX, API, Git, Azure, Azure Data Factory, Databricks, DataGalaxy, Jira, Confluence Mission de Data Scientist BI orientée data engineering et valorisation de la donnée, couvrant l’ensemble du cycle de vie : collecte, transformation, modélisation et restitution. Le consultant intervient sur le traitement de données complexes, la conception de modèles de données (tables, vues, datamarts) et le développement de pipelines performants. Il est en charge du développement de traitements en Python (notamment PySpark), de l’optimisation des requêtes SQL et de l’intégration de données via API. Il contribue à la structuration et à la mise à disposition de données fiables pour les équipes métiers et analytiques. La mission inclut également la création et l’évolution de tableaux de bord Power BI (DAX), la production d’analyses avancées ainsi que la vulgarisation des résultats auprès des parties prenantes. En parallèle, le consultant participe à l’industrialisation de la plateforme data, à l’amélioration continue des flux (monitoring, performance, qualité) et aux projets d’évolution ou de migration. Il évolue dans un environnement agile, en interaction constante avec les équipes techniques et métiers, avec un fort niveau d’autonomie et de responsabilité.

Dans le cadre d’un programme stratégique de modernisation Data, nous recherchons un(e) Senior Data Engineer Microsoft Fabric pour intervenir sur un projet de migration d’envergure de Google Cloud Platform (GCP) vers Microsoft Fabric. Vous jouerez un rôle clé dans la mise en œuvre technique de la plateforme cible et participerez à la conception et au développement de pipelines de données robustes, scalables et performants. Vous intégrerez une équipe Data experte évoluant dans un environnement Cloud Azure moderne, Agile et orienté excellence technique. Vos missions En tant que Senior Fabric Engineer, vous serez responsable de : Concevoir et développer des pipelines d’ingestion et de transformation de données avec Microsoft Fabric Data Factory et Dataflows Gen2 Mettre en œuvre la migration des données depuis Google BigQuery vers les environnements Fabric Lakehouse et Data Warehouse Développer des connecteurs et workflows d’intégration pour différentes sources : SAP, Salesforce, Oracle, fichiers, APIs, SFTP, etc. Participer à la réécriture des traitements ETL existants sous Talend vers Microsoft Fabric Optimiser les pipelines de données afin de garantir performance, fiabilité et maîtrise des coûts Réaliser les revues de code et accompagner les profils plus juniors Participer aux cérémonies Agile : daily meetings, sprint planning, rétrospectives Garantir la qualité du code et le respect des standards de développement et de CI/CD

Nous recherchons un Data Engineer senior avec une forte expertise Big Data pour intervenir sur un projet stratégique de construction et d’industrialisation d’un Data Product à forte volumétrie. L’objectif est de construire une plateforme fiable, automatisée et scalable permettant la diffusion de données de référence à destination des usages reporting, contrôle et analyse. Missions principales Concevoir et développer des pipelines Data robustes et performants. Industrialiser les traitements Big Data à grande échelle. Optimiser les performances de traitement et de requêtage. Participer à la structuration du Data Product et des architectures Data. Collaborer avec les équipes métiers, Product Owners et développeurs. Garantir la qualité et la cohérence des données diffusées.

🚀 Mission Freelance – Lead Tech Data Python / Spark (H/F) Dans le cadre du renforcement d’une équipe Data, nous recherchons un Lead Tech Data Freelance pour intervenir sur des sujets de développement, industrialisation et accompagnement technique autour des plateformes et traitements Data. 📍 Mission : Freelance 📅 Démarrage : ASAP 🏠 Mode d’intervention : Hybride / à définir 👤 Séniorité : Lead / Senior 🎯 Vos missions 🔹 Développer et maintenir des applications et traitements orientés Data en Python 🔹 Concevoir et maintenir des API , dashboards et pipelines de données 🔹 Participer à l’industrialisation des projets et à l’amélioration continue 🔹 Garantir la qualité logicielle : • Revues de code • Diffusion des bonnes pratiques • Accompagnement des équipes 🔹 Assurer le cadrage technique et accompagner les projets 🔹 Collaborer avec les équipes transverses et les Product Owners 🔹 Réaliser des études et analyses Data 🛠 Stack technique Python : FastAPI, Dash, Pandas, packaging, PyTest, parallélisation Data / Big Data : Spark (PySpark / Scala), Hadoop BDD : SQL, PostgreSQL, Teradata Outils : Git, GitLab CI/CD, Jira, Confluence, Bitbucket

Présentation du poste : Nous recherchons un Data Engineer compétent et motivé pour rejoindre notre équipe. Dans ce rôle, vous serez chargé de concevoir, construire et gérer des pipelines de données et des datasets robustes au sein de la plateforme Skywise (Palantir Foundry). Vous exploiterez les Code Repositories et le Pipeline Builder de Foundry pour transformer des données brutes en actifs de données de haute qualité, prêts pour la production, en utilisant la plateforme Walter pour une ingestion efficace des données. Le candidat idéal dispose de solides bases en pratiques d'ingénierie de données, d'une bonne maîtrise de SQL et de Python/PySpark, ainsi qu'un intérêt marqué ou une expérience existante dans l'écosystème Skywise. Responsabilités principales : Ingestion des données : Utiliser la plateforme Walter pour ingérer efficacement des données provenant de sources variées dans l'écosystème de données. Développement de pipelines : concevoir, construire et maintenir des pipelines de données évolutifs au sein de Skywise à l'aide de Pipeline Builder et des Code Repositories. Gestion des datasets : créer, optimiser et gérer les datasets en garantissant la qualité, l'intégrité et la performance des données, en conformité avec les processus Skywise. Rédaction de code : écrire un code propre, efficace et maintenable en Python, PySpark et SQL pour la transformation et l'agrégation des données. Intégration collaborative : utiliser TypeScript lorsque nécessaire pour les configurations avancées et les intégrations de plateforme. Bonnes pratiques de la plateforme : respecter et promouvoir les directives d'architecture Skywise et les standards de gouvernance des données. Télétravail : 2/3j semaine

Nous recherchons un Data Engineer Senior pour accompagner la mise en place d’un Data Warehouse moderne sur Snowflake au sein d’un environnement cloud AWS. Contexte de la mission Vous rejoindrez une équipe Data en charge de concevoir et industrialiser une plateforme analytique moderne reposant sur Snowflake, dbt et AWS . L'objectif principal sera de participer à la construction du Data Warehouse, à la modélisation des données et à l'industrialisation des pipelines de traitement. Missions principales Concevoir et développer le Data Warehouse sur Snowflake . Développer et maintenir les transformations de données avec dbt . Concevoir et orchestrer les pipelines de données avec Airflow . Développer des traitements en Python (Pandas, PySpark). Participer à la mise en place des bonnes pratiques de développement et d'industrialisation. Mettre en œuvre les processus CI/CD et les standards de qualité. Contribuer aux choix d'architecture et à l'amélioration continue de la plateforme. Environnement technique Cloud : AWS Data Warehouse : Snowflake Transformation : dbt Orchestration : Apache Airflow Langages : Python (Pandas, PySpark), SQL CI/CD : GitLab Git / DevOps

Notre client dans le secteur Culture et tourisme recherche un Data Engineer H/F Descriptif de la mission: Missions principales • Développement et maintenance des pipelines de données • Participation à la migration en cours de Azure Synapse vers Microsoft Fabric • Contribution aux travaux d'orchestration via Airflow • Développement principalement en PySpark, complété par du SQL Profil recherché • Expérience minimum de 3 ans en Data Engineering • Maîtrise de l'environnement Azure • Bonne capacité à monter en autonomie rapidement • Sens du travail en équipe Stack technique requise • Microsoft Azure • Azure Synapse • Microsoft Fabric • Airflow • PySpark / Python • SQL Compétences / Qualités indispensables: Data Engineering, Microsoft Azure, PySpark / Python, SQL,Airflow, Microsoft Fabric

Dans le cadre du développement de ses systèmes d'information Épargne Salariale et Retraite, les Bénéficiaires doivent recourir à une prestation externe pour fournir assistance à la modernisation de la plateforme BI. 1. OBJET DE LA PRESTATION Dans le cadre du projet de modernisation de la plateforme BI, la prestation consistera à mettre en place des solutions répondant aux besoins couverts par l’existant et permettant de proposer de nouveaux services. Cette solution devra utiliser les outils validés et mis à disposition par le groupe. La mission sera pilotée par l’équipe Coeur-Data au sein de la R&D Epargne salariale et retraite. Le data engineer devra intervenir en collaboration avec l’équipe de 5 personnes ainsi qu’avec les clients et les équipes transverses du client. Exemple d’applications du domaine d’intervention : Architecture : Définition de l’organisation du Lakehouse dans le S3 Chargement : Utilisation de pipelines spark, pyspark et python Ordonnancement : Dagster Restitution : Mise à disposition de la donnée brut + création de rapports sur un outil de dataviz à définir sur la base du LakeHouse L’objectif principal de la prestation sera la mise à disposition de data structurées à destination de l’équipe marketing . Dans ce cadre, il conviendra de réaliser : - Le développement d’une solution de collecte de données - Le développement d’un système de stockage de la donnée - La documentation des développements - La réalisation de tests unitaires - La mise en place d’un suivi des traitements - L’assistance à la recette par la MOA / les utilisateurs - Des comptes rendus aux pilotes sur l’avancement du projet et les blocages rencontrés - Des études avec les équipes transverses du client 2. ENVIRONNEMENT FONCTIONNEL DE LA PRESTATION La prestation se déroulera au sein du service IT en charge de la Maintenance applicative 3. ENVIRONNEMENT TECHNIQUE DE LA PRESTATION - Langages de programmation : Python, Spark, Pyspark, SQL - Outil de gestion de version : Git - Intégration continue : JENKINS - Ticketing : JIRA - Documentation : Confluence - Poste de travail Windows 10 avec WSL (Windows Subsystem for Linux) - Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19 - Outils de la plateforme cible : Dagster, Trino, S3 4. RESULTATS ATTENDUS / LIVRABLES - Respect du planning détaillé validé - Estimation des charges MOE - Mise en œuvre des solutions développées - Programme testé et prêt à la recette par les utilisateurs / MOA - Tests unitaires des développements effectués - Suivi d’avancement des tâches du projet en cours - Documentation technique - Amélioration continue des processus de développements 5. PRE-REQUIS ET/OU ELEMENTS INDISPENSABLES - Python, Spark appliqué à la data - Machine learning appliqué à la donnée (scikit-learn, feature engineering) - Relationnel pour les échanges avec le métier - Outils Informatica - Outils LLM/GenAI pour l'accès et l'exploration de la donnée

Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT en CDI (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks , dbt et les meilleures pratiques d'ingénierie Data. Vos missions Concevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt . Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Architecte Databricks (H/F) à Lyon, France. Contexte : Au sein du pôle, l’équipe transverse agit sur les deux départements, cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. La mission du projet : Accompagner la migration et l’industrialisation d’une plateforme data cible autour de Databricks / Spark / Power BI​. Les missions attendues par le Architecte Databricks (H/F) : Activité principale Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d’incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l’interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l’intégration de sources d’alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d’équipe Participer aux rituels agiles et à l’amélioration continue de la feature team Stack technique de l'équipe Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud

Notre client, acteur majeur du retail, recherche son futur Data Scientist (H/F) à Paris, pour développer les modèles d'IA exploitant ses données consolidées dans Microsoft Fabric au service de la performance de son réseau d'agence Vos missions : * Intégré à l'équipe data, vous contribuez à la mise en place et à l'industrialisation des flux de données dans un environnement Microsoft Dynamics 365 et Microsoft Fabric. * Intégrer les données Dynamics 365 (Sales, Finance, Supply Chain) via Dataverse * Concevoir les pipelines dans Microsoft Fabric (Data Factory, Dataflows Gen2) * Construire et maintenir le Lakehouse OneLake et les modèles analytiques Structurer la donnée pour Power BI et les cas d'usage IA * Garantir la qualité, la gouvernance et la fiabilité des données * Optimiser les performances et les coûts Les compétences techniques : * Microsoft Fabric (OneLake, Data Engineering, Data Factory) * Services Azure Data * SQL avancé * Python (PySpark, notebooks Fabric) * Dynamics 365 / Dataverse * Power BI

Notre client, acteur majeur du retail, recherche son futur Data Scientist (H/F) à Paris, pour développer les modèles d'IA exploitant ses données consolidées dans Microsoft Fabric au service de la performance de son réseau d'agence Vos missions : * Intégré à l'équipe data, vous développez des modèles au service de la performance commerciale et logistique, en lien étroit avec le Data Engineer. * Construire des modèles prédictifs : prévision des ventes, optimisation des stocks, recommandation produits * Exploiter les notebooks Fabric (Python, Spark) pour l'entraînement et le test * Passer des POC à l'industrialisation des modèles dans l'écosystème Microsoft * Collaborer avec le Data Engineer pour la mise en production * Tester, suivre et améliorer la performance des modèles (précision, ROI) * Documenter et fiabiliser les modèles déployés Les compétences techniques : * Python (pandas, scikit-learn, PySpark) * Microsoft Fabric (Data Science) * Machine learning * Forecasting * Azure ML * SQL

Bonjour à tous, Notre client poursuit la modernisation de ses plateformes Data et IA et recherche un Tech Lead Data & Cloud Architecte pour piloter la conception, l'industrialisation et la gouvernance de sa future plateforme Data. Le consultant interviendra à l'interface entre les équipes Infrastructure, Cybersécurité, Réseau et Data afin de construire une plateforme robuste, sécurisée et industrialisée. Missions principales : Définition de l'architecture cible Data & Cloud Industrialisation des plateformes Data et IA Mise en place des bonnes pratiques DevOps / CI-CD Déploiement et intégration de Collibra Mise en œuvre du Data Catalog et du Data Lineage Conception d'architectures Data Lake Accompagnement des équipes Data Science sur les sujets MLOps Migration vers une nouvelle plateforme Data basée sur GCP, Kubernetes, Spark et Kafka Gouvernance et sécurisation des données sensibles Compétences indispensables (Must Have) Architecture Data & Cloud GCP (BigQuery, GKE, Composer/Airflow) AWS (S3, Lambda, RDS, EKS) Architecture Data Lake / Data Warehouse Data Engineering Spark / PySpark Python SQL DevOps & Industrialisation Terraform Ansible GitLab CI/CD Data Governance Collibra Data Catalog Data Lineage Data Quality Sécurité des données Chiffrement Masquage Anonymisation Compétences appréciées (Nice To Have) Cloud & Infrastructure Kubernetes avancé Service Mesh Kafka Data & Analytics DBT Dataform Looker Power BI Apache Superset Développement Scala Java Data Science & IA MLOps IA Générative Secteur d'activité Média / Audiovisuel Service Public

Contexte de la mission Dans le cadre de la transformation et de l'industrialisation d'une plateforme Data stratégique au sein d'un grand acteur national, nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration vers une nouvelle architecture Data moderne. Vous interviendrez au sein d'une équipe transverse en charge de la refonte des plateformes décisionnelles et analytiques, avec un fort enjeu de standardisation, performance et industrialisation des traitements. Missions principales Conception et développement de pipelines Data sous Databricks / Spark Développement Python, PySpark et SQL Participation à la définition du modèle de données cible Industrialisation des traitements (CI/CD, tests, déploiement) Mise en œuvre des bonnes pratiques de développement Data Orchestration des flux via Databricks Workflows Participation au RUN, à l'amélioration continue et à l'observabilité des traitements Accompagnement des équipes sur les standards techniques et les choix d'architecture Contribution aux sujets de performance et d'optimisation des coûts Cloud