Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Nous sommes actuellement à la recherche de profils Data Engineer pour une mission en Freelance, basée à Nantes. Le client recherche un profil maîtrisant parfaitement PySpark et Scala, avec une solide expérience sur cet environnement. -Localisation : Nantes -Secteur : Transport -Mode de travail : Hybride -TJM : 450 Les détails de la mission (contexte, cadre de la mission, stack technique, projet, etc.) vous seront présentés lors d'un entretien avec le responsable du besoin. Client réactif - Retours rapides

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Au sein de la DSI de notre client, dont la mission est de concevoir et maintenir les applications stratégiques des métiers du Groupe. Dans le cadre de l'évolution du Data Lake CIO Office, nous recherchons un Data Engineer expérimenté afin de participer au développement, à l'évolution et à l'industrialisation des pipelines de données, en collaboration avec les équipes de production applicative et DevOps. Vous évoluerez dans un environnement Big Data moderne, orienté Cloud et Agile, avec des échanges réguliers avec les équipes internationales basées à Porto.

Contexte de la mission En tant que consultant data au sein de la Cellule du Qualité de Fixe (CQF) du client , vous serez en charge de produire des analyses à partir de dataset que vous aurez constitués sur des données de nos plateformes Big Data, Vous aurez également la responsabilité de rendre disponible des données, une fois celles-ci nettoyées, préparées et formatées sous forme de dataset ou de table à disposition des datascientists de l'équipe. Vous aurez à développer des tableaux de bord de suivi de KP.. Objectifs et livrables Dataset Tableau de Bord (Tableau) Analyses commentées Compétences demandées analyse statistique Confirmé SQL : Expertise Confirmé Tableau Expert Spark Python Confirmé

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d'ingestion, de traitement et d'industrialisation des données sur la data plateforme. Sans être responsable de l'architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d'un leadership technique, reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d'objectifs communs Vous faites preuve d'une excellente communication, associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d'amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome, proactif et doté d'un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé, avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement, incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données, à la testabilité et à l'observabilité des pipelines en production Vous pratiquez régulièrement les revues de code, le mentoring et l'accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d'industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts, et savez les intégrer dans vos choix techniques

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d'ingestion, de traitement et d'industrialisation des données sur la data plateforme. Sans être responsable de l'architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d'un leadership technique, reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d'objectifs communs Vous faites preuve d'une excellente communication, associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d'amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome, proactif et doté d'un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé, avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement, incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données, à la testabilité et à l'observabilité des pipelines en production Vous pratiquez régulièrement les revues de code, le mentoring et l'accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d'industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts, et savez les intégrer dans vos choix techniques

Nous recherchons pour un de nos clients un Data Engineer Microsoft FabricCompétences obligatoiresMicrosoft Fabric (2 ans d'expérience minimum) PySpark Lakehouse / OneLake Notebooks Fabric Spark dans Fabric Fabric Endpoints Data Engineering sous Fabric Power BI (intégration avec Fabric) Modélisation de données Compétences fonctionnellesGouvernance des données Data Products Data Mesh Architecture Médaillon (Bronze / Silver / Gold) Expérience recherchéeMise en œuvre complète de la chaîne Microsoft Fabric : Ingestion des données Transformation Modélisation Industrialisation Exposition vers Power BI Construction de pipelines de transformation avant restitution dans Power BI. Expérience sur des plateformes Data modernes. Compétences appréciées (plus)Expérience avec dbt (Data Build Tool) pour la transformation et la modélisation des données. Connaissance des bonnes pratiques d'industrialisation et de versionning des modèles de données. Expérience sur Azure Data Platform (Synapse, Data Factory, Databricks) dans un contexte Microsoft Fabric. Le candidat devra maîtriserOneLake Lakehouse Notebooks PySpark Data Engineering Fabric Data Factory / Pipelines Fabric Endpoints Semantic Models Power BI Ce qui est attenduLe consultant devra être capable d'intervenir immédiatement sur une plateforme Microsoft Fabric en production et maîtriser l'ensemble de la chaîne Data, de l'ingestion à la transformation des données, jusqu'à leur exposition dans Power BI. Le besoin porte sur un profil très opérationnel, autonome et rapidement productif. Une expérience avec dbt (Data Build Tool) constituera un atout supplémentaire.

Dans le cadre d'un programme stratégique de modernisation de la plateforme Data, intervention en tant que Data Engineer Expert PySpark pour accompagner la migration des traitements de données d'une architecture On-Premise vers Google Cloud Platform (GCP). La mission vise à industrialiser les pipelines de données, optimiser les performances des traitements Big Data et mettre en place une architecture cloud scalable, sécurisée et résiliente. Principales responsabilitésParticiper à la définition de l'architecture cible Data sur GCP. Analyser les flux et traitements existants sur l'environnement On-Premise. Concevoir et développer des pipelines de données distribués avec PySpark. Migrer les traitements ETL/ELT vers les services GCP. Optimiser les performances des jobs Spark et réduire les temps de traitement. Industrialiser les workflows de traitement et d'intégration des données. Mettre en œuvre les bonnes pratiques de développement, de monitoring et de sécurité. Assurer la qualité, la fiabilité et la traçabilité des données. Participer aux phases de tests, validation et mise en production. Accompagner les équipes Data dans l'adoption des nouvelles solutions Cloud.

Contexte L'équipe est Agile, composée de 14 personnes dont 2 Data Scientists, et intégrée à un Train SAFe synchronisé avec d'autres Trains et équipes Data. Missions Mettre en œuvre des algorithmes de prévision de consommation ou de rebouchage de données Entraîner et industrialiser des modèles de machine learning et optimiser leur performance Mener des analyses pour interpréter les comportements de consommation des clients et soutenir des prises de décision au développement de nouvelles fonctionnalités Conduire des transformations et mises en qualité de données Outils & Environnement Python, SQL Spark / PySpark Databricks AWS Git et gestion du versioning Livrables Développements informatiques (correctif, évolutif, adaptatif) Mise en œuvre des algorithmes de prévision de consommation ou de rebouchage de données Entraînement et industrialisation des modèles de machine learning Analyses comportementales des clients pour soutenir le développement fonctionnel Transformations et mises en qualité de données Compétences à évaluer Expertise en Data Science, Machine Learning et Deep Learning Maîtrise de Python, SQL et des bibliothèques d'analyse de données (Scikit-Learn, PyTorch Forecasting, Darts, PySpark, MLflow) Séries temporelles et prévision de consommation Industrialisation des modèles & MLOps IA générative et Large Language Models (LLM) – un plus Frameworks IA : LangChain et LangGraph – un plus

ENTITE CONCERNEE Le portefeuille des "Fonctions mutualisées (DSI360)" a pour objectif de piloter et maintenir un écosystème applicatif central, garantissant la cohérence, la fiabilité et l'interopérabilité des données et des socles techniques pour l'ensemble des applications du domaine. Le portefeuille de solutions « Fonctions Mutualisées » est organisé autour de 2 activités principales : 1. La "Gestion de la donnée" qui a pour objectif répondre aux enjeux stratégiques du domaine (DPS) en termes de data (décisionnel, big data, intelligence artificielle, open data) en fournissant les données et outils nécessaires aux cas d'usage pour les différents métiers de la DPS, en particulier de la Formation Professionnelle et compétences 2. Les "Référentiels et Fonctions transverses" qui ont pour missions principales de : • Gérer les bases de données centrales (clients, paramètres, accédant) la cohérence et la traçabilité des données référentielles. • Assurer la Gestion documentaire et des courriers. Centralisation des paramètres et configurations • Documenter et industrialiser les configurations pour faciliter les déploiements et les évolutions. CONTEXTE DE LA MISSION La présente mission s'inscrit dans les activités Data de la Retraite et du Handicap de la DSI à Bordeaux et plus particulièrement dans l'équipe produit Data DL7 • Un lac de données DPS qui héberge des données sources venant du SI Opérationnel de la Direction • Des datamarts DL7 répondant à l'ensemble des usages Data de reporting et de pilotage de la retraite et du handicap • Des usages de Data hébergés sous technologie Hadoop / PySpark… • Des applications de DataViz (internes et externes) développées avec l'outil Tableau • Des usages d'exploration de la données et d'analyse Adhoc : SQL et Alteryx CONTENU DE LA MISSION Il est attendu de l'intervenant les travaux suivants : • Conception, recette, mise en production et suivi d'évolutions et correctifs. • Rédaction des user stories ou SFD des évolutions (amélioration de l'outil, évolution réglementaire, extension de périmètre) • Réalisation des plans recette et des TNR • Suivi de production et RUN : Analyse, qualification, recette des correctifs des anomalies de production • Participation aux réunions d'équipe • Accompagnement des métiers dans l'utilisation des outils Data • Réalisation/automatisation de rapports et d'indicateurs LIVRABLES ATTENDUS • Tableaux de suivi (actions, liste des Jira traités, planning…) • Stratégie de recette, cahiers et plans de tests, jeux de données • Comptes rendus d'ateliers et comités COMPETENCES RECHERCHEES • Maîtrise de la modélisation décisionnelle • Maîtrise de l'outil de datavisualisation Tableau et du SQL • Expérience significative dans la mise en œuvre de cas d'usages data • Connaissance des architectures Big Data • Expérience dans la fonction maîtrise d'ouvrage et des projets SI • Esprit d'analyse • Être automne et force de proposition • Maîtrise dans l'animation d'ateliers métiers et la compréhension des besoins utilisateurs • Expérience avérée dans une méthode Agile • Maîtrise des outils Bureautique MODALITES Intervention sur Bordeaux Télétravail accepté mais dans la limite d'une présence minimale de trois jours sur site par semaine (Jour à définir avec l'équipe).

Vous maîtrisez le métier d'ingénieur données sur Databricks (sur AWS). Vos responsabilités seront les suivantes : • Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks. • Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.). • Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données. • Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines. • Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires. • Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données. • Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir. Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.

Mission Freelance : Lead Data Engineer / Expert Databricks & Spark (H/F) 📋 Contexte de la missionAu sein d'un grand pôle industriel et de sa direction des systèmes d'information, vous rejoignez l'équipe Transverse SI Chaînes Communicantes à Lyon. Cette équipe, actuellement en pleine phase de structuration, pilote et supervise des projets d'envergure commune. L'objectif majeur de votre intervention est d'accompagner la migration globale et l'industrialisation d'une nouvelle plateforme data cible autour des technologies les plus modernes du marché. Vous serez l'un des piliers techniques pour mener à bien la refonte complète de nos applications d'informatique décisionnelle (Business Intelligence) à forte valeur ajoutée. 🎯 Vos principales responsabilités1. Ingénierie Data & Développement (Activité principale)Pipelines de données : Concevoir, développer et maintenir des pipelines de données robustes sous Databricks et Spark. Traitements complexes : Développer l'ensemble des flux de traitement de données en Python, PySpark et SQL. Modélisation : Contribuer activement à la définition et à la mise en œuvre du modèle de données cible en exploitant Delta Lake et Unity Catalog. Orchestration : Assurer l'ordonnancement des traitements via Databricks Workflows et Lakeflow Jobs. 2. Industrialisation & QualitéStandards de production : Mettre en œuvre des pratiques d'industrialisation poussées (tests unitaires/d'intégration, pipelines CI/CD pour la Data). Performance & FinOps : Optimiser l'exécution des requêtes techniques, garantir la scalabilité du système tout en maîtrisant les coûts d'infrastructure cloud. MCO : Participer au suivi de la production (Run), analyser les incidents techniques et piloter l'amélioration continue de la plateforme (fiabilité et observabilité). 3. Cadrage & Accompagnement (Activité secondaire)Participer au cadrage fonctionnel des besoins en étroite collaboration avec le Product Owner et les équipes utilisatrices. Assurer l'interfaçage de la plateforme avec Power BI pour faciliter l'exposition et la consommation des données par le métier. Contribuer à l'intégration de flux d'alimentation temps réel vers le datalake (via Kafka). Rédiger la documentation technique et animer les rituels agiles au sein de la feature team. 👤 Profil recherchéNous recherchons un Lead Data Engineer / Expert Databricks senior (Niveau 3) capable de démontrer une autonomie complète après une phase d'intégration de 4 jours sur nos spécificités métiers. Vous devez justifier d'une expertise confirmée de 4 ans minimum sur l'environnement Databricks, idéalement validée par une certification officielle de l'éditeur. Votre parcours témoigne obligatoirement d'une participation active à un projet d'envergure de migration ou de transformation d'architectures data, soutenu par de solides compétences en modélisation de données (Delta Lake, Unity Catalog). Sur le plan technique, vous possédez une maîtrise parfaite de l'écosystème Spark / PySpark, de Python et de SQL, ainsi qu'un savoir-faire éprouvé dans l'automatisation de l'infrastructure via Terraform pour les sujets Cloud et Databricks. Au-delà de vos compétences de développeur émérite, vous affichez un véritable leadership technique naturel (sans posture managériale requise) qui vous permet de guider, structurer, standardiser et documenter le travail d'une équipe. Force de proposition, orienté solutions robustes et pragmatiques, vous savez collaborer avec des profils variés, allant des Data Scientists et experts BI jusqu'au Product Owner et interlocuteurs métiers. 💻 Environnement de travailVous évoluerez au cœur de Lyon au sein d'une structure moderne favorisant un équilibre de vie professionnelle grâce à un accord de télétravail fixé à 50%. La mission s'inscrit dans un cadre méthodologique strictement Agile, au sein d'une équipe transverse dynamique et en pleine construction, actuellement composée d'un chef de projet et appuyée par des experts du pôle (référents techniques, managers, coordinateurs). La stack technique mise à votre disposition est à la pointe de l'ingénierie des données : Databricks, Spark, PySpark, Delta Lake, Unity Catalog, le tout s'exécutant sur un environnement cloud public. L'industrialisation, l'observabilité et la qualité de service sont au centre des préoccupations de cette DSI, s'appuyant sur des chaînes CI/CD automatisées et de l'Infrastructure as Code. Vous aurez l'opportunité d'intervenir sur des flux de données complexes, incluant l'ingestion de sources variées, l'intégration de technologies événementielles comme Kafka, et la liaison étroite avec des outils de restitution de premier ordre tels que Power BI. Aucun horaire décalé (HHN) ni aucune astreinte ne sont prévus pour cette mission, vous assurant un cadre de production stable au quotidien. 🛠️ Stack technique récapitulativeIncontournables (Niveau Expert) : Databricks, Spark, PySpark, Python, SQL. Architecture Data : Modélisation de données, Delta Lake, Unity Catalog. DevOps / Industrialisation : CI/CD, Tests automatisés, Terraform, Databricks Workflows. Écosystème apprécié : Kafka, Lakeflow / DLT, Power BI, Certifications Cloud.

Votre missionDans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer pour concevoir, développer et maintenir des pipelines de données performants dans un environnement Cloud AWS. Vous participerez notamment à : Développer et optimiser les traitements d'ingestion et de transformation de données avec Python, Spark et Databricks. Mettre en place les flux de données entre différentes sources et le Data Lake. Orchestrer et superviser les traitements avec Airflow. Garantir la qualité, la disponibilité et les performances des pipelines. Assurer le support, la correction des anomalies et l'amélioration continue de la plateforme. Participer aux choix techniques, aux ateliers projet et à la documentation.

Contexte Dans le cadre de l'évolution de sa plateforme Data, un acteur majeur du secteur bancaire recherche un Data Engineer afin d'assurer le maintien en conditions opérationnels des plateformes Data sur AWS et de développer de nouveaux flux de données temps réel pour les besoins Analytics et décisionnels. Missions Assurer le MCO de la plateforme Data sur AWS. Concevoir et optimiser des pipelines de données batch et streaming. Développer et administrer les flux Kafka (topics, producteurs, consommateurs). Optimiser les traitements Spark / PySpark. Garantir la qualité, la performance et la disponibilité des données. Industrialiser les développements via les pratiques DevOps et CI/CD. Participer à l'évolution des architectures Data (Data Lake, Event-Driven). Environnement technique Spark • PySpark • Kafka • Python • SQL • AWS • Datadog • Airflow • Dataiku • Docker • Kubernetes • Terraform • GitLab CI • Jenkins

Votre missionDans le cadre du développement de notre plateforme Data, nous recherchons un(e) Senior Data Engineer / Tech Lead Databricks pour piloter les développements, garantir la qualité des solutions mises en œuvre et accompagner les équipes sur les sujets techniques. Vous serez notamment amené(e) à : Concevoir et faire évoluer l'architecture des pipelines de données sur Databricks. Développer et optimiser les traitements d'ingestion et de transformation en Python, Spark et SQL. Piloter l'orchestration et la supervision des traitements sur AWS. Garantir la performance, la fiabilité et la qualité des pipelines de données. Définir les bonnes pratiques de développement, participer aux revues de code et accompagner les membres de l'équipe. Assurer le support technique, la résolution des incidents complexes et l'amélioration continue de la plateforme. Participer aux ateliers d'architecture, aux échanges avec les équipes métiers et contribuer aux choix techniques.

Rôle et responsabilités des Développeurs • Développement et expertise Réaliser des développements de complexité moyenne. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) • Contribution agile Participer aux rituels techniques (estimation de charge, engagement sur le sprint). • Architecture et standards Concevoir et mettre en oeuvre l'architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Assurer le suivi d'exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements - Maîtrise avancée des environnements de conteneurisation et d'orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault - Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). - Maîtrise opérationnelle de l'orchestration de workflows de données à l'aide de l'outil Apache Airflow. - Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. - Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. - Maîtrise des outils de stockage objet, notamment via l'utilisation des commandes MinIO. - Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l'ensemble du projet de titrisation Bail : • Dossiers d'architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d'amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d'avancement sur le périmètre confié. • RUN : Reporting de type Morning check