Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Bonjour à tous 😀 🚀 Contexte de mission Nous recherchons un Data ingénieur - Référent technique Nifi et Data , vous intervenez au sein d’une équipe Data & IA sur des environnements critiques à forte volumétrie. L’objectif : concevoir, optimiser et sécuriser les flux de données dans un contexte de production exigeant, avec des enjeux forts de continuité de service . 🎯 Vos missions Développer et maintenir des pipelines de données (Apache NIFI / Databricks) Optimiser les flux existants (performance, fiabilité, scalabilité) Assurer le RUN et le support (HNO / 24-7) Mettre en place et améliorer les processus CI/CD Superviser les traitements (monitoring, alerting) Participer aux études techniques et POC Produire la documentation et les reportings d’incidents Être force de proposition sur l’ amélioration de l’architecture data ✅ Must Have Expertise Apache NIFI Très bonne maîtrise de Databricks Expérience solide sur Azure Bon niveau en Python & Spark Expérience en environnement de production critique (RUN / incidents) Connaissance CI/CD (Git / GitLab) Expérience en monitoring (type DataDog) Bonne maîtrise des bases de données (PostgreSQL) Expérience en Agile / Scrum ➕ Nice to Have Connaissance AKS (Kubernetes) Expérience avec Zookeeper Background sur des projets data à forte volumétrie Culture DevOps / automatisation avancée

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l’amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Dans le cadre du renforcement d’une équipe spécialisée dans les projets data à fort enjeu, nous recherchons un(e) Lead Tech orienté(e) Data Engineering / Data Science capable d’intervenir sur des environnements techniques exigeants et de contribuer à la montée en compétence des équipes. Vous évoluerez au sein d’un contexte stimulant, mêlant développement, traitement de données à grande échelle et accompagnement technique. Vos missions Au quotidien, vous serez amené(e) à : Concevoir et développer des solutions de traitement et d’analyse de données en Python Participer à la mise en place et à l’optimisation de pipelines data performants Travailler sur des architectures distribuées et des traitements volumineux via Spark et Hadoop Assurer la qualité, la maintenabilité et la performance des développements réalisés Collaborer avec les équipes techniques et métiers afin de comprendre les besoins et proposer des solutions adaptées Apporter un rôle de référent technique auprès des équipes Participer aux bonnes pratiques de développement, d’intégration continue et de déploiement Accompagner les collaborateurs sur les sujets techniques avec pédagogie et clarté Environnement technique Python Spark PostgreSQL Hadoop Git / GitLab CI/CD

Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes Garantir une architecture et une modélisation des flux optimisés et évolutives. Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques. Transformer la stack legacy vers les nouveaux standards de la Data Platform. Assurer la qualité, la fiabilité et la gouvernance des données . Maîtriser la qualité du code et promouvoir les meilleures pratiques. Collaborer en environnement Agile au sein d'une équipe internationale (Anglais) . Garantir un RUN de qualité (SLA) Respecter les engagements de sprint et s'inscrire dans une démarche d' amélioration continue .

Data Scientist BI / Data Engineer expérimenté Nantes Python, PySpark, SQL, Power BI, DAX, API, Git, Azure, Azure Data Factory, Databricks, DataGalaxy, Jira, Confluence 3 ans Nantes Python, PySpark, SQL, Power BI, DAX, API, Git, Azure, Azure Data Factory, Databricks, DataGalaxy, Jira, Confluence Mission de Data Scientist BI orientée data engineering et valorisation de la donnée, couvrant l’ensemble du cycle de vie : collecte, transformation, modélisation et restitution. Le consultant intervient sur le traitement de données complexes, la conception de modèles de données (tables, vues, datamarts) et le développement de pipelines performants. Il est en charge du développement de traitements en Python (notamment PySpark), de l’optimisation des requêtes SQL et de l’intégration de données via API. Il contribue à la structuration et à la mise à disposition de données fiables pour les équipes métiers et analytiques. La mission inclut également la création et l’évolution de tableaux de bord Power BI (DAX), la production d’analyses avancées ainsi que la vulgarisation des résultats auprès des parties prenantes. En parallèle, le consultant participe à l’industrialisation de la plateforme data, à l’amélioration continue des flux (monitoring, performance, qualité) et aux projets d’évolution ou de migration. Il évolue dans un environnement agile, en interaction constante avec les équipes techniques et métiers, avec un fort niveau d’autonomie et de responsabilité.

Bonjour à tous 😀 🚀 Contexte de mission Nous recherchons un Data ingénieur - Référent technique Nifi et Data , vous intervenez au sein d’une équipe Data & IA sur des environnements critiques à forte volumétrie. L’objectif : concevoir, optimiser et sécuriser les flux de données dans un contexte de production exigeant, avec des enjeux forts de continuité de service . 🎯 Vos missions Développer et maintenir des pipelines de données (Apache NIFI / Databricks) Optimiser les flux existants (performance, fiabilité, scalabilité) Assurer le RUN et le support (HNO / 24-7) Mettre en place et améliorer les processus CI/CD Superviser les traitements (monitoring, alerting) Participer aux études techniques et POC Produire la documentation et les reportings d’incidents Être force de proposition sur l’ amélioration de l’architecture data ✅ Must Have Expertise Apache NIFI Très bonne maîtrise de Databricks Expérience solide sur Azure Bon niveau en Python & Spark Expérience en environnement de production critique (RUN / incidents) Connaissance CI/CD (Git / GitLab) Expérience en monitoring (type DataDog) Bonne maîtrise des bases de données (PostgreSQL) Expérience en Agile / Scrum ➕ Nice to Have Connaissance AKS (Kubernetes) Expérience avec Zookeeper Background sur des projets data à forte volumétrie Culture DevOps / automatisation avancée

Dans le cadre d’un programme stratégique de modernisation Data, nous recherchons un(e) Senior Data Engineer Microsoft Fabric pour intervenir sur un projet de migration d’envergure de Google Cloud Platform (GCP) vers Microsoft Fabric. Vous jouerez un rôle clé dans la mise en œuvre technique de la plateforme cible et participerez à la conception et au développement de pipelines de données robustes, scalables et performants. Vous intégrerez une équipe Data experte évoluant dans un environnement Cloud Azure moderne, Agile et orienté excellence technique. Vos missions En tant que Senior Fabric Engineer, vous serez responsable de : Concevoir et développer des pipelines d’ingestion et de transformation de données avec Microsoft Fabric Data Factory et Dataflows Gen2 Mettre en œuvre la migration des données depuis Google BigQuery vers les environnements Fabric Lakehouse et Data Warehouse Développer des connecteurs et workflows d’intégration pour différentes sources : SAP, Salesforce, Oracle, fichiers, APIs, SFTP, etc. Participer à la réécriture des traitements ETL existants sous Talend vers Microsoft Fabric Optimiser les pipelines de données afin de garantir performance, fiabilité et maîtrise des coûts Réaliser les revues de code et accompagner les profils plus juniors Participer aux cérémonies Agile : daily meetings, sprint planning, rétrospectives Garantir la qualité du code et le respect des standards de développement et de CI/CD

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. Domain Lead Ingénieur H/F C’est votre future équipe Fondée en 2012, l'agence Rhône-Alpes rassemble une équipe de 120 collaborateurs. Elle accompagne près d’une vingtaine de clients, allant des grands comptes aux ETI et PME. Elle s’appuie sur un Centre de Services spécialisé dans le stockage et la sauvegarde ainsi que sur un Centre d'Expertise en sécurité. L'agence accorde une importance particulière à un recrutement fondé sur l'humain et la transparence. C’est votre mission Vous êtes passionné·e par l’architecture, les systèmes complexes et les environnements à fort enjeu ? Ce poste est fait pour vous. En tant que Domain Lead Engineer , vous êtes responsable de la stratégie technique et de la cohérence globale des architectures de notre écosystème : Côté build : Décliner les orientations techniques du CTO à l’échelle du département Définir la vision technique à court, moyen et long terme Construire et piloter les roadmaps techniques structurantes Garantir la cohérence globale des architectures (applicatives, data, infrastructure) Définir et diffuser les standards, cadres et bonnes pratiques Participer aux revues d’architecture et de code critiques Identifier en amont les zones à risque et les besoins de transformation Favoriser l’innovation et l’expérimentation à fort impact Côté run : Assurer l’adoption des standards techniques par les équipes (Apps Leads, Lead Techs) Intervenir sur les problématiques techniques les plus complexes et transverses Être le point d’escalade technique des équipes Remonter au CTO les enjeux techniques, organisationnels et process Garantir une vision terrain fiable et exploitable Contribuer à la simplification et à la réduction de la complexité du SI Diffuser la connaissance, les retours d’expérience et les bonnes pratiques Assurer un lien constant entre stratégie globale et réalité opérationnelle C’est votre parcours Vous avez au moins 15 ans d’expérience dans des environnements DevOps exigeants, avec un solide passé de développeur. Vous avez piloté techniquement des équipes d’envergure (50 personnes et +) pendant au moins 6 ans . Vous aimez adresser des problématiques complexes à l’échelle d’un SI complet sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Java, Spring, Angular PostgreSQL, Kafka, Hadoop, Hive, Impala Spark (Java / Scala), PySpark, Python, Databricks Power BI Git, GitLab Kubernetes, Docker, Helm, Ansible Grafana Architecture distribuée, scalabilité, performance, robustesse Vision bout-en-bout SI (applications, data, infra, sécurité, production) Environnements Cloud (un plus) C’est votre manière de faire équipe : Leadership technique fort et capacité d’influence Excellente communication et pédagogie Capacité à fédérer des équipes multi-acteurs Forte culture d’ingénierie et de simplification Esprit stratégique et vision globale Prise de recul et capacité d’arbitrage C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Lyon Contrat : CDI Télétravail : Hybride Salaire : De 60000 € à 70000 € (selon expérience) brut annuel Famille métier : Lead Tech Offre à pourvoir à partir de janvier 2027 Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Nous recherchons un Data Engineer senior avec une forte expertise Big Data pour intervenir sur un projet stratégique de construction et d’industrialisation d’un Data Product à forte volumétrie. L’objectif est de construire une plateforme fiable, automatisée et scalable permettant la diffusion de données de référence à destination des usages reporting, contrôle et analyse. Missions principales Concevoir et développer des pipelines Data robustes et performants. Industrialiser les traitements Big Data à grande échelle. Optimiser les performances de traitement et de requêtage. Participer à la structuration du Data Product et des architectures Data. Collaborer avec les équipes métiers, Product Owners et développeurs. Garantir la qualité et la cohérence des données diffusées.

🚀 Mission Freelance – Lead Tech Data Python / Spark (H/F) Dans le cadre du renforcement d’une équipe Data, nous recherchons un Lead Tech Data Freelance pour intervenir sur des sujets de développement, industrialisation et accompagnement technique autour des plateformes et traitements Data. 📍 Mission : Freelance 📅 Démarrage : ASAP 🏠 Mode d’intervention : Hybride / à définir 👤 Séniorité : Lead / Senior 🎯 Vos missions 🔹 Développer et maintenir des applications et traitements orientés Data en Python 🔹 Concevoir et maintenir des API , dashboards et pipelines de données 🔹 Participer à l’industrialisation des projets et à l’amélioration continue 🔹 Garantir la qualité logicielle : • Revues de code • Diffusion des bonnes pratiques • Accompagnement des équipes 🔹 Assurer le cadrage technique et accompagner les projets 🔹 Collaborer avec les équipes transverses et les Product Owners 🔹 Réaliser des études et analyses Data 🛠 Stack technique Python : FastAPI, Dash, Pandas, packaging, PyTest, parallélisation Data / Big Data : Spark (PySpark / Scala), Hadoop BDD : SQL, PostgreSQL, Teradata Outils : Git, GitLab CI/CD, Jira, Confluence, Bitbucket

📌 Informations Clés Contrat / Mission : Prestation de services (Freelance) Localisation : Paris (Format hybride : sur site + quelques jours de télétravail) Tarif Journalier Moyen (TJM) Max : 450 € HT Date de démarrage : ASAP Date de fin : 31/12/2026 (Mission long terme) 🚀 Contexte et Mission Intégré(e) au sein d’une équipe IA internationale axée "produit", vous participerez au cycle de vie complet des systèmes d'intelligence artificielle à grande échelle : de la donnée brute au déploiement en production, jusqu'à la mesure de l'impact métier. Votre rôle consistera à concevoir, construire et optimiser des systèmes intelligents et composés pour répondre à des problématiques concrètes liées au secteur du voyage d'affaires (classement, recommandation, expériences LLM orientées clients). Principales responsabilités : Développement IA : Concevoir et implémenter des solutions basées sur l'apprentissage automatique, le deep learning et l'IA générative (classement, chatbots, reconnaissance d'intention, systèmes agentiques, NLQ). End-to-End Delivery : Gérer l'ingénierie des fonctionnalités, le pipeline de données, la modélisation, ainsi que l'évaluation (en ligne/hors ligne) et le monitoring des modèles. Analyse & Data : Manipuler de grands ensembles de données réelles (structurées et non structurées) pour extraire des insights exploitables. Collaboration & Communication : Vulgariser des concepts de Data Science complexes pour les restituer de manière simple à la direction et aux partenaires métiers, au sein d'une équipe multisite et multiculturelle.

Dans le cadre du renforcement d’une équipe Data au sein d’un grand groupe du secteur des médias, nous recherchons un Data Engineer confirmé pour intervenir au cœur d’une plateforme data stratégique. Tu rejoindras une équipe en charge de la collecte, la centralisation et la transformation de données issues de sources hétérogènes , avec des enjeux forts de volumétrie, de performance et de qualité. Tes principales missions : Concevoir, développer et maintenir des pipelines data robustes et scalables Assurer l’ ingestion et la transformation de données multi-sources Optimiser les performances des traitements (Spark / SQL) Orchestrer les flux de données via Airflow Structurer et organiser le stockage des données Participer à l’ industrialisation des traitements (CI/CD, infrastructure) Garantir la qualité, la sécurité et la fiabilité des données Contribuer aux échanges techniques et à l’amélioration continue des pratiques

Activités principales : • Présenter des retours d'expérience sur la gestion de la qualité des données sur les plateformes Azure et les bonnes pratiques de gestion de la qualité sur les plateformes Azure • Réaliser un audit de la gestion de la qualité des données sur les plateformes et prendre connaissance des contrôles de qualité actuellement disponibles et des objectifs à court et moyen terme • Définir le champ des possibles sur la base des composants actuellement disponibles sur la plateforme ou standards sur Azure. • Présenter les apports de l'IA dans le cadre d'une pratique de contrôle de qualité des données • Présenter la stratégie de déploiement de la qualité des données pour les prochains mois • Déployer les contrôles de qualité existants ainsi que ceux identifiés par le CDO • Assurer le passage de connaissance vers les équipes internes

Notre client dans le secteur Culture et tourisme recherche un Data Engineer H/F Descriptif de la mission: Missions principales • Développement et maintenance des pipelines de données • Participation à la migration en cours de Azure Synapse vers Microsoft Fabric • Contribution aux travaux d'orchestration via Airflow • Développement principalement en PySpark, complété par du SQL Profil recherché • Expérience minimum de 3 ans en Data Engineering • Maîtrise de l'environnement Azure • Bonne capacité à monter en autonomie rapidement • Sens du travail en équipe Stack technique requise • Microsoft Azure • Azure Synapse • Microsoft Fabric • Airflow • PySpark / Python • SQL Compétences / Qualités indispensables: Data Engineering, Microsoft Azure, PySpark / Python, SQL,Airflow, Microsoft Fabric

Bonjour, Nous recherchons pour notre client grand compte un Ingénieur Data spécialisé en sécurité des données Nous étudions - prioritairement - les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour en français Date de prochaine disponibilité Tarif journalier Merci d'indiquer la référence DTE/5344-2 dans l'objet de votre message Contexte de la prestation La prestation s'inscrit chez un grand compte du secteur des médias et de l'audiovisuel, engagé dans la plateformisation de son offre numérique et le développement de ses usages data et IA. Le besoin porte sur le développement d'infrastructures de données évolutives et performantes, la gestion des flux de données et le renforcement de leur sécurité tout au long de leur cycle de vie. Activités principales Développer des infrastructures évolutives et performantes pour de grands volumes de données. Gérer l'ingestion, la transformation et la distribution des données. Construire et renforcer les connecteurs vers des services tiers (Middleware, APIs). Détecter et remédier de manière proactive aux vulnérabilités (tests de pénétration, audits de sécurité, surveillance des menaces). Garantir la conformité aux réglementations de protection des données (RGPD et normes associées) tout au long du cycle de vie des données. Mettre en œuvre des méthodes de protection avancées (chiffrement, anonymisation, IAM). Renforcer les architectures pour prévenir les cyberattaques et assurer la conformité aux réglementations applicables. Produire, structurer et mettre à jour la documentation technique pour faciliter un transfert efficace des connaissances.

Mission DescriptiDescription de la mission Cette mission s'inscrit au sein de l'équipe en charge des solutions de reporting IT. Au sein d'une petite équipe agile, en tant que développeur Python / PySpark, vous travaillerez en étroite collaboration avec un analyste métier dédié dans l'environnement Cloud de BNP Paribas. Vos responsabilités incluront : Développer du code Python / PySpark (ou technologie équivalente) performant et évolutif. Concevoir et mettre en œuvre des solutions robustes. Déboguer les applications afin de garantir une faible latence et une haute disponibilité. Mettre en œuvre les mesures de sécurité et de protection des données. Respecter les directives de sécurité, notamment en assurant les mises à jour régulières des composants. Réaliser des revues de code des développements effectués par les autres membres de l'équipe. Environnement technique Bases de données relationnelles : SQL Server / PostgreSQL Python Airflow Livrables Mises en production logicielles mensuelles et trimestrielles. Sprints organisés toutes les deux semaines. Prérequis techniques Diplôme en informatique ou en ingénierie. Expérience préalable en tant que développeur Python. Bonne maîtrise d'un framework Python (Django, Flask, PyCharm). Dans le cadre de cette mission, PyCharm est utilisé comme environnement de développement principal. Connaissance de TFS comme outil de tests. Maîtrise de Flask. Remarque : La mention « PyCharm comme framework » dans le texte original semble être une erreur, car PyCharm est un environnement de développement (IDE) et non un framework. Il est probable que l'annonce veuille simplement indiquer que PyCharm est l'outil utilisé par l'équipe.