Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Votre recherche renvoie 45 résultats.
Freelance
CDI

Offre d'emploiData Engineer

CAT-AMANIA
Publiée le
Apache Airflow
PySpark

6 mois
40k-70k €
400-520 €
Levallois-Perret, Île-de-France
Rôle et responsabilités des Développeurs • Développement et expertise Réaliser des développements de complexité moyenne. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) • Contribution agile Participer aux rituels techniques (estimation de charge, engagement sur le sprint). • Architecture et standards Concevoir et mettre en oeuvre l'architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Assurer le suivi d'exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements - Maîtrise avancée des environnements de conteneurisation et d'orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault - Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). - Maîtrise opérationnelle de l'orchestration de workflows de données à l'aide de l'outil Apache Airflow. - Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. - Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. - Maîtrise des outils de stockage objet, notamment via l'utilisation des commandes MinIO. - Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l'ensemble du projet de titrisation Bail : • Dossiers d'architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d'amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d'avancement sur le périmètre confié. • RUN : Reporting de type Morning check
Voir cette offre
Freelance
CDI

Offre d'emploiDéveloppeur Python H/F

CONSORT GROUP
Publiée le
PySpark
Python

1 mois
55k-62k €
75017, Paris, Île-de-France
Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l'humain et la responsabilité sociétale au cœur de ses valeurs. C'est votre future équipe Les équipes de ConsortIA, sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d'information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Développeur Python H/F C'est votre mission Vous êtes passionné·e par le développement de solutions data à grande échelle et les environnements Big Data ? Ce poste est fait pour vous. En tant que Développeur Python, vous êtes responsable du développement et de la maintenance de notre écosystème : Côté build : Concevoir et développer des applications et pipelines de traitement de données en Python et PySpark Développer des traitements distribués performants sur des environnements Spark Participer à la conception technique et à l'évolution des architectures Data Mettre en œuvre les bonnes pratiques de développement (qualité de code, tests, documentation) Participer aux revues de code et aux choix techniques de l'équipe Contribuer à l'automatisation des processus de déploiement et d'intégration continue Collaborer avec les équipes Data Engineering, DevOps et métiers dans un contexte Agile Côté run : Assurer le maintien en conditions opérationnelles des traitements de données Analyser et résoudre les incidents de production Optimiser les performances des jobs Spark et des applications Python Superviser les flux de données et garantir leur fiabilité Participer aux actions d'amélioration continue et à la réduction de la dette technique Assurer le support technique de niveau avancé auprès des équipes projet C'est votre parcours Vous avez au moins 5 ans d'expérience. Vous aimez relever des défis techniques autour de la performance, de la scalabilité et de la qualité logicielle, sans jamais cesser d'innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C'est votre expertise : Python, PySpark, Apache Spark, SQL Environnements Linux, Git, CI/CD (GitLab CI, Jenkins ou équivalent) Méthodologies Agile / Scrum Connaissance des environnements Cloud (AWS, Azure ou GCP) Outils de conteneurisation et d'orchestration (Docker, Kubernetes) Anglais professionnel à l'écrit comme à l'oral C'est votre manière de faire équipe : Esprit d'analyse et capacité à résoudre des problématiques complexes Excellentes capacités de communication et de collaboration Autonomie et sens des responsabilités Curiosité technique et force de proposition Capacité d'adaptation dans des environnements en constante évolution C'est notre engagement Chez Consort Group, vous êtes un·e expert·e qu'on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C'est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu'un échange métier avec un.e ingénieur.e d'affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C'est bon à savoir Lieu : Paris Contrat : CDI Télétravail : Hybride Salaire : De 55 K€ à 62 K€ (selon expérience) brut annuel Famille métier : Data Engineering / Développement Python / Big Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c'est le vôtre.
Voir cette offre
Freelance
CDI

Offre d'emploiData Analyst (H.F)

NSI France
Publiée le
Apache Spark
PySpark
Python

1 an
Île-de-France, France
Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Consultant(e) Data Analyst – Big Data H/F afin d'intervenir au sein d'un grand acteur du secteur des télécoms, sur le pilotage de la qualité de service de son réseau fixe. Descriptif des missions Au sein d'une cellule dédiée à la qualité de service, vous produisez des analyses à partir de datasets que vous constituez sur les données issues des plateformes Big Data du client. Vous avez également la responsabilité de rendre disponibles les données une fois celles-ci nettoyées, préparées et formatées, sous forme de datasets ou de tables mis à disposition des Data Scientists de l'équipe. Vous développez enfin des tableaux de bord de suivi des KPI. Missions Constituer des datasets à partir des données des plateformes Big Data Nettoyer, préparer et formater les données Mettre à disposition des Data Scientists des datasets et des tables exploitables Développer des tableaux de bord de suivi des KPI Produire des analyses commentées
Voir cette offre
Freelance
CDI
CDD

Offre d'emploiAI ENGINEER

WINSIDE Technology
Publiée le
Azure
Databricks
Git

6 mois
40k-55k €
400-560 €
Lille, Hauts-de-France
ontexteDans le cadre de l'accélération de ses initiatives autour de l'Intelligence Artificielle Générative, un acteur majeur des services numériques et financiers recherche un Consultant IA Générative / AI Engineer Senior afin de concevoir, industrialiser et faire évoluer des solutions basées sur les modèles de langage de nouvelle génération. Vous intégrerez une équipe en charge de la définition et de la mise en œuvre de cas d'usage IA à fort impact métier : assistants intelligents, moteurs conversationnels, automatisation de processus, recherche documentaire augmentée, copilotes métiers et systèmes agentiques. MissionsConception de solutions IA GénérativeConcevoir des architectures IA générative robustes et évolutives. Participer à l'identification et au cadrage des cas d'usage métiers. Développer des solutions basées sur les LLMs et les modèles de fondation. Concevoir et mettre en œuvre des systèmes de génération augmentée par récupération (RAG avancé). Développement et industrialisationDévelopper des workflows conversationnels complexes. Construire des agents autonomes et multi-agents (Agentic AI). Implémenter des mécanismes de Function Calling et d'orchestration d'outils. Participer à l'intégration des solutions IA dans le système d'information. Contribuer à l'industrialisation des développements et aux bonnes pratiques MLOps. Optimisation des modèlesRéaliser des travaux de Prompt Engineering avancé. Évaluer et comparer les performances des modèles. Participer aux activités de fine-tuning et d'optimisation. Définir et suivre les KPI d'évaluation des systèmes GenAI. Mettre en place des méthodologies de testing et de validation. Collaboration avec les équipes métiersComprendre les problématiques métiers et les traduire en solutions IA concrètes. Accompagner les équipes dans l'adoption des nouveaux outils. Participer aux ateliers de conception et aux démonstrations. Vulgariser les concepts techniques auprès d'interlocuteurs non experts. Compétences techniques recherchéesIA GénérativeLLMs et modèles de fondation Retrieval Augmented Generation (RAG) avancé Agentic AI Function Calling Prompt Engineering Fine-tuning de modèles Évaluation et benchmarking de systèmes GenAI Écosystème IALangChain LangGraph Semantic Kernel OpenAI Azure OpenAI Hugging Face Search & Knowledge ManagementVector Databases Recherche sémantique Embeddings Hybrid Search Knowledge Graphs (apprécié) Data & DéveloppementPython Data Science API et microservices Git Docker Cloud Azure (apprécié) BonusMLflow Azure ML Kubernetes DevOps / MLOps Observabilité des systèmes IA
Voir cette offre
Freelance
CDI

Offre d'emploiLead Data Engineer

CAT-AMANIA
Publiée le
Apache Airflow
PySpark

6 mois
40k-70k €
400-550 €
Levallois-Perret, Île-de-France
• Analyse et cadrage Recueillir et analyser les besoins métiers. Formaliser les US en spécifications techniques exploitables. • Pilotage technique Assurer un pilotage intermédiaire sur un périmètre projet (coordination technique, suivi d'avancement). Contribuer aux choix techniques structurants. • Développement et expertise Réaliser des développements complexes. Assurer la maintenance applicative (Gestion des obsolescence et vulnérabilités) Apporter un support technique aux équipes sur les composants critiques. • Contribution agile Participer à l'élaboration et à la priorisation du backlog avec les PO et BA. Animer et contribuer aux rituels techniques (code reviews, challenger les estimations de charge etc.) • Architecture et standards Concevoir et mettre en oeuvre l'architecture applicative et technique. Veiller au respect des normes, bonnes pratiques et standards Groupe. • Qualité et documentation Garantir la qualité des livrables (revues de code, bonnes pratiques). Assurer la production et la maintenance de la documentation projet. • RUN Planification des activités, gestion du calendrier de l'équipe et priorisation des actions Assurer le suivi d'exploitation des traitements PySpark en production : supervision, résolution des incidents, analyse des performances et amélioration continue des traitements Maîtrise avancée des environnements de conteneurisation et d'orchestration, notamment Kubernetes et Docker, ainsi que de la gestion sécurisée des secrets avec HashiCorp Vault Maîtrise avancée des traitements Big Data, incluant PySpark 3 ainsi que la manipulation de formats de données distribués (Parquet, gestion des buckets). Maîtrise opérationnelle de l'orchestration de workflows de données à l'aide de l'outil Apache Airflow. Maîtrise confirmée des bases de données relationnelles, particulièrement PostgreSQL. Maîtrise des outils de gestion de code et de qualité logicielle, incluant GitLab, Fortify et SonarQube. Maîtrise des outils de stockage objet, notamment via l'utilisation des commandes MinIO. Maîtrise des outils de transfert de fichiers, en particulier CFT (Cross File Transfer). Pour l'ensemble du projet de titrisation Bail : • Dossiers d'architecture (schémas, principes techniques, choix structurants). • Backlog enrichi et priorisé en lien avec les parties prenantes. • Composants applicatifs développés, testés et documentés. • Comptes rendus des revues de code et plan d'amélioration continue. • Documentation projet à jour (Spécifications techniques, JIRA, Page Confluence, Runbook). • Reporting d'avancement sur le périmètre confié. • RUN : Reporting de type Morning check
Voir cette offre
Freelance
CDI

Offre d'emploiBusiness Analyst Data / Référentiels (H/F)

Amontech
Publiée le
DBT
PySpark
Python

1 an
Niort, Nouvelle-Aquitaine
ContexteDans le cadre d'un programme stratégique autour de la Data et de l'Intelligence Artificielle, nous recherchons un(e) Business Analyst Data pour renforcer une équipe en charge des référentiels d'entreprise. L'objectif est d'accompagner les évolutions fonctionnelles et techniques d'une plateforme de référentiels transverse utilisée par plusieurs métiers. Vous interviendrez en amont des développements afin d'analyser les besoins, mesurer les impacts et préparer les dossiers destinés aux équipes de réalisation. MissionsRecueillir et analyser les besoins métiers. Réaliser les études d'impact sur les différents composants du système d'information. Participer à la définition des solutions fonctionnelles et techniques. Rédiger les spécifications fonctionnelles et techniques. Produire les schémas d'architecture et de flux. Préparer les dossiers de présentation pour les équipes de développement. Assurer les échanges avec les équipes métiers et techniques. Participer aux ateliers de conception et aux revues de solution. Environnement techniqueAPI TIBCO Informatica MDM Informatica Data Quality Java ReactJS SQL Jira Confluence Compétences requisesFonctionnellesAnalyse d'impact Recueil du besoin Rédaction de spécifications Modélisation de données Communication et animation d'ateliers TechniquesMaîtrise du SQL Bonne compréhension des bases de données Connaissance des API Connaissance d'Informatica MDM appréciée Jira et Confluence
Voir cette offre
Freelance

Mission freelance[FBO] Data Engineer expérimenté

ISUPPLIER
Publiée le
Databricks
PySpark
Python

3 ans
La Défense, Île-de-France
Contexte de la missionDans le cadre d'un programme de transformation digitale visant à démocratiser l'accès aux actifs privés pour la clientèle Retail & Wealth Management, notre client déploie une infrastructure de données pour consolider, transformer et distribuer des données financières et documentaires vers des partenaires de distribution. Le Data Engineer interviendra en autonomie sur la conception et le déploiement de pipelines de données et d'interfaces API dans un environnement cloud Azure / Databricks à forte volumétrie. ResponsabilitésArchitecture & ingestion de données Concevoir et implémenter des pipelines ETL/ELT avec PySpark sur Databricks Construire et maintenir une architecture data lake Bronze–Silver–Gold (architecture médaillon) Développer des jobs de transformation pour des datasets financiers (NAV, capital calls, distributions, reportings) Gérer les tables Delta Lake pour un stockage ACID-compliant APIs & intégrations partenaires Développer et maintenir des Azure Functions pour les intégrations API temps réel avec des partenaires externes Développer des APIs RESTful en Python pour la distribution de données Collaborer avec les data consumers pour comprendre leurs besoins et garantir la qualité des flux Qualité, performance & DevOps Implémenter des contrôles qualité et des frameworks de tests automatisés Optimiser les jobs Spark et fonctions serverless (performance et coûts) Travailler en CI/CD via Azure DevOps Stack techniqueDomaineTechnologiesLangage principalPython (maîtrise avancée obligatoire)Traitement distribuéPySpark, DatabricksStockage / Data lakeDelta Lake, architecture médaillon (Bronze–Silver–Gold)SQLTransformation et analyse de donnéesCloud AzureDatabricks, Azure Functions, Azure DevOps, PipelinesQualité de codePre-commit hooks, ruff, mypy, blackVersioningGit — stratégies de branchingTestspytest
Voir cette offre
Freelance
CDI

Offre d'emploiLead Data Engineer Databricks (H/F)

MSI Experts
Publiée le
Apache Kafka
Apache Spark
Databricks

6 mois
40k-46k €
400-480 €
Lyon, Auvergne-Rhône-Alpes
Dans le cadre d'un programme stratégique de transformation Data, notre client renforce son équipe avec un(e) Lead Data Engineer spécialisé(e) sur l'écosystème Databricks. L'objectif est d'accompagner la mise en place d'une nouvelle plateforme de données moderne, capable de répondre aux enjeux de performance, de gouvernance, de qualité et de valorisation de la donnée. Vous interviendrez sur des projets structurants autour de l'industrialisation des flux de données, de la modélisation des référentiels analytiques et de la diffusion des données vers les outils décisionnels. Vos missions: Concevoir, développer et industrialiser des pipelines de données sur Databricks et Spark. Participer à la définition et à la mise en œuvre du modèle de données cible. Structurer les flux de données afin de garantir leur qualité, leur cohérence et leur performance. Contribuer à l'exposition et à la valorisation des données auprès des équipes BI et des utilisateurs métiers. Définir et mettre en place les standards de développement, de qualité et d'industrialisation. Mettre en œuvre les pratiques de tests automatisés et les processus CI/CD. Participer aux travaux de migration et de transformation de la plateforme Data. Accompagner les équipes sur les sujets techniques liés à Databricks et aux architectures Lakehouse. Contribuer à l'amélioration continue des solutions et des méthodes de travail. Assurer un rôle de référent technique sur les problématiques Data Engineering.
Voir cette offre
Freelance

Mission freelance273 - Data Engineer Senior Databricks / GCP

Nicholson SAS
Publiée le
Apache Spark
CI/CD
Databricks

6 mois
430 €
Meudon, Île-de-France
Rôle : Data Engineer Senior Databricks / GCP TJM : 430 € / jour Localisation : Meudon (3 jours par semaine sur site / 2 jours de télétravail) Date de début : ASAP Durée de la mission : Jusqu'au 31/12/2026 Contexte de la missionAu sein d'une équipe pluridisciplinaire (chefs de projet, architectes, DevOps, Data Engineers), vous interviendrez sur la conception et le développement de projets d'intégration de données à forte valeur ajoutée. Vos principales responsabilités incluent : Développement de jobs d'intégration de données en PySpark, Spark et Python (modes streaming et batch) sur la plateforme Databricks. Mise en œuvre du CI/CD (GitHub, DevOps, Databricks Asset Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs existants et des ressources Cloud (GCP et Databricks). Mise en place de Dashboards FinOps afin de suivre et piloter l'usage des ressources GCP / Databricks. Participation aux astreintes et au support en production de l'application. Assurer une formation continue, le partage de connaissances et la rédaction de la documentation technique. Compétences clés requisesDatabricks : Excellente maîtrise de l'administration, de la gestion des catalogues (Unity Catalog), de Delta Lake et de l'optimisation des performances. Technologies Data : Maîtrise approfondie de PySpark, Spark, Python, SQL et GIT. Cloud (GCP) : Bonne connaissance de l'écosystème Google Cloud Platform, notamment GCS, Pub/Sub, GKE et les outils d'Alerting. Qualités professionnellesEsprit d'équipe, curiosité intellectuelle et envie d'évoluer dans un environnement collaboratif. Excellente capacité à communiquer, à vulgariser et à partager vos connaissances avec les différents membres de l'équipe.
Voir cette offre
Freelance

Mission freelanceArchitecte/ Lead Expert Databricks

Management Square
Publiée le
Apache Spark
Azure
CI/CD

1 an
550-600 €
Lyon, Auvergne-Rhône-Alpes
Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l'industrialisation d'une plateforme data cible autour de Databricks / Spark / Power BI​ Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l'industrialisation d'une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l'exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l'observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d'incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l'interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l'intégration de sources d'alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d'équipe Participer aux rituels agiles et à l'amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud
Voir cette offre

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2026 © Free-Work / AGSI SAS
Suivez-nous