Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Data Engineer/Expert Databricks Nantes ( 2 jours de télétravail max) Databricks, Azure Data Factory, Python, PySpark, SQL Nous recherchons un data engineer/expert databricks qui aura pour principales tâches: -Apporter à tous les niveaux de technicité, un support sur les outils, les langages, les SGBD, etc. concernés • Apporter des améliorations dans le code, les tests, les configurations • Auditer le code et préconiser des améliorations • Apporter de l'expertise/support lors de migrations de données • Optimiser des traitements, des bases de données • Gérer les patchs éditeurs -Organiser, suivre et participer aux développements d'objets, modules, fonctionnalités complexes • Assister (expertise) les développeurs et intervenir en support N1/N2, notamment en réalisant les travaux les plus complexes -Proposer, construire, alimenter et diffuser les outils de capitalisation, d'industrialisation et de mutualisation tels que les guides de bonnes pratiques, des bilans de projets, des retours d'expérience

Dans le cadre du renforcement d'une équipe Data & IA au sein d'un environnement exigeant, nous recherchons un Administrateur Dataiku DSS Senior pour intégrer notre client au Luxembourg ( 4 jours sur site minimum) Vous interviendrez sur une plateforme Dataiku utilisée à grande échelle et contribuerez à son administration, son maintien en conditions opérationnelles, son industrialisation et son évolution. Vos missionsAdministrer, maintenir et optimiser la plateforme Dataiku DSS Garantir la disponibilité, la performance, la résilience et la sécurité de la plateforme Réaliser et sécuriser les montées de version Dataiku Administrer les ressources, utilisateurs, groupes, droits et accès Assurer le monitoring et la supervision de la plateforme Prendre en charge les incidents et demandes de support Automatiser les opérations d'administration récurrentes via Python / scripting Participer à l'industrialisation des déploiements et des projets Dataiku Développer ou maintenir des plugins et recettes personnalisées Contribuer aux environnements CI/CD, Kubernetes / OpenShift et DevOps Participer à des sujets MLOps / LLMOps Collaborer avec les équipes infrastructure, Data Engineering, Data Science et IA Accompagner les utilisateurs dans l'adoption de la plateforme et les bonnes pratiques Produire et maintenir la documentation technique. Environnement techniqueDataiku DSS | Python | PySpark | SQL | Linux | Kubernetes

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.

CONTEXTE Dans le cadre d'un environnement international de trading d'énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève. Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité. Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu'avec des équipes internationales basées notamment à Paris, Houston et Singapour. RESPONSABILITÉS Concevoir, maintenir et optimiser des pipelines de données batch et temps réel. Développer des solutions de streaming data à haute performance. Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake. Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis. Développer des pipelines et APIs en Python. Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM. Garantir la disponibilité, l'intégrité, la qualité et la performance des données. Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel. Participer à l'amélioration continue des pratiques de monitoring, CI/CD et observabilité. Collaborer avec les équipes métier et techniques dans un contexte international et exigeant. ENVIRONNEMENT TECHNIQUE Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana

Participer à la conception des architectures Data et aux choix techniques. Assurer l'orchestration des flux de données et l'industrialisation des traitements. Mettre en œuvre les pratiques CI/CD et les processus de déploiement. Réaliser les tests unitaires, garantir la qualité du code et contribuer aux mises en production. Participer à l'optimisation des performances et à la fiabilisation des traitements. Collaborer avec les équipes techniques et métiers dans un environnement Agile. Contribuer à la résolution des incidents et à l'amélioration continue des pipelines de données. Environnement techniqueCompétences indispensables : Scala Apache Spark Hadoop Databricks Compétences complémentaires : PySpark et Python AWS Apache NiFi Shell Unix Git / GitHub CI/CD et industrialisation des traitements Data

Nous recherchons un Data Engineer Databricks / Dev Python pour rejoindre notre équipe dynamique. Résumé du poste : Ce rôle est essentiel pour accompagner les équipes sur des projets à forte valeur ajoutée autour de la data. Le candidat idéal aura une expérience significative en Databricks et Python, et sera capable de concevoir des solutions robustes tout en formant les utilisateurs. Principales responsabilités : Accompagner les équipes sur des projets à forte valeur ajoutée autour de la data. Intervenir au cœur de l'écosystème data pour concevoir, développer et maintenir des solutions robustes sur Databricks. Développer des notebooks Python (PySpark), SQL et R. Documenter les développements pour assurer leur maintenabilité. Industrialiser les notebooks incluant jobs, workflows et automatisation. Exigences clés : Minimum 5 ans d'expérience dans un rôle similaire. Expertise avancée sur Databricks et Python. Anglais courant requis. Capacité à travailler dans un environnement technique dynamique. Disponibilité pour travailler 2 jours sur site obligatoire. Qualifications complémentaires : Connaissance de l'environnement Cloud. Expérience avec les outils de visualisation de données. Détails supplémentaires : Ce poste est basé sur site 2 jours par semaine et nécessite une collaboration étroite avec différentes équipes pour garantir des livrables de qualité sur des projets complexes.

La mission consiste à intervenir sur des projets de Data Engineering et de développement de plateformes Data, avec pour objectif de concevoir, développer, industrialiser et optimiser des pipelines de traitement de données dans un environnement Cloud AWS et Databricks. Le consultant sera notamment chargé de : Développement Data : concevoir et développer des pipelines de données en Python et PySpark afin de collecter, transformer et traiter des volumes importants de données Expertise SQL : rédiger des requêtes SQL complexes, assurer la modélisation et la transformation des données, et optimiser les performances des traitements et des requêtes Databricks & DBT : développer et maintenir des traitements de données, structurer les transformations et garantir la fiabilité ainsi que la qualité des données Orchestration des workflows : mettre en place et gérer l'ordonnancement des pipelines et des traitements avec Airflow / Astro Scheduler Industrialisation & CI/CD : mettre en œuvre les processus de déploiement continu et d'intégration continue avec GitHub CI/CD, en veillant à la qualité, à la maintenabilité et à la fiabilité du code Environnement Cloud AWS : intervenir sur une architecture Data Cloud et exploiter les services AWS nécessaires au stockage, au traitement et à la gestion des données Développement assisté par IA : utiliser GitHub Copilot pour accélérer le développement, améliorer la productivité et optimiser la qualité du code Méthodologie Agile : participer aux cérémonies Agile, collaborer avec les différentes équipes techniques et fonctionnelles et contribuer à l'amélioration continue des solutions

Nous recherchons un(e) Data Scientist confirmé(e) pour rejoindre une équipe qui conçoit des produits data innovants, autour de la maintenance prédictive. Votre mission Vous intervenez sur des produits data, de l'étude jusqu'à la mise en production : - Vous animez des ateliers avec des experts métiers pour cerner leurs besoins, - Vous explorez et analysez de très gros volumes de données (plusieurs dizaines de millions de lignes), - Vous concevez des traitements de données, réalisez des études statistiques et, si besoin, développez des modèles de machine learning, - Vous présentez vos résultats sous forme de rapports d'étude ou de tableaux de bord, - Vous industrialisez vos travaux d'expérimentation avec PySpark. Modalités : déplacements à Lyon, 2 jours minimum une fois par mois.

Dans le cadre du développement de projets Data stratégiques, nous recherchons un Consultant Databricks / Data Engineer confirmé pour accompagner la conception, le développement et l'optimisation de solutions de traitement et de valorisation des données. Vous interviendrez dans un environnement Cloud moderne, au sein d'une équipe Data, afin de contribuer à la mise en place de pipelines de données performants, fiables et évolutifs. Missions principalesConcevoir, développer et maintenir des pipelines de données sur Databricks. Développer et optimiser les traitements Data avec Python, PySpark et SQL. Mettre en place des processus ETL/ELT pour l'intégration et la transformation des données. Exploiter Delta Lake et les architectures Lakehouse. Participer à l'industrialisation et à l'automatisation des flux Data. Optimiser les performances des traitements Spark. Assurer la qualité, la fiabilité et la sécurité des données. Collaborer avec les Data Engineers, Data Analysts et équipes métiers. Participer aux bonnes pratiques de développement, de documentation et de CI/CD.

Data Analyste Senior PYTHON BIG QUERY GCP 500 e par jour Data Analyst Senior (7 ans d'expérience minimum) au sein de l'équipe Pilotage Performance Marchandise. Contexte : Accompagner la Direction COMEX Marchandise dans l'analyse et le pilotage des parts de marché (PDM), avec une forte autonomie et une dimension stratégique/business. Missions principales : Produire des reportings hebdomadaires et des projections pluriannuelles des parts de marché. Développer des dashboards interactifs et suivre les KPIs business. Réaliser des analyses ad hoc pour comprendre les leviers de performance. Extraire, traiter et modéliser les données pour alimenter les décisions stratégiques. Compétences indispensables : Excellente maîtrise de SQL / BigQuery (requêtes complexes). Très bonne maîtrise de Looker Studio (dashboards, KPIs). Forte capacité d'analyse, autonomie et aisance dans les échanges avec les métiers. Nice to have : Python (Pandas, NumPy, PySpark). GCP, modélisation de données et pipelines BigQuery. Expérience retail / grande distribution fortement appréciée.

Vos missions ? En tant que Data Manager Senior / Lead Data (H/F) vous serez en charge des missions suivantes: - Identifier, cadrer et prioriser les projets Data en lien avec les directions métiers et techniques. - Construire les business cases, estimer le ROI et présenter les recommandations auprès des instances de décision. - Piloter la mise en œuvre des projets : suivi des plannings, risques, budgets, qualité et adoption des solutions. - Animer et coordonner des équipes pluridisciplinaires : Data Scientists, Data Engineers, analystes et interlocuteurs métiers. - Accompagner la montée en compétences des collaborateurs, assurer leur encadrement et favoriser le partage des bonnes pratiques. - Mettre en place des cas d'usage à forte valeur ajoutée : segmentation client, scoring, recommandation, prévision, optimisation de campagnes, analyse comportementale ou NLP. - Garantir la cohérence entre les enjeux business, la gouvernance des données et les choix technologiques. - Contribuer à la feuille de route Data et à la diffusion d'une culture Data au sein de l'organisation. Vous disposez d'une solide culture technique et êtes à l'aise avec plusieurs environnements parmi : - Python, PySpark, SQL, SAS ou R ; - BigQuery, AWS, Hive ou autres environnements Cloud/Data Lake ; - Dataiku, Tableau, Looker Studio ou outils de data visualisation ; - Data Science, Machine Learning, NLP, scoring et modèles prédictifs.

Contexte de la missionDans le cadre de projets stratégiques de transformation et de modernisation des plateformes Data, nous recherchons un Tech Lead Databricks Senior pour piloter techniquement la conception, le développement et l'industrialisation de solutions Data à grande échelle. Vous interviendrez en tant que référent technique auprès des équipes Data Engineering et participerez activement aux choix d'architecture, à l'optimisation des performances et à la mise en place des bonnes pratiques de développement. Missions principalesAssurer le leadership technique d'une équipe de Data Engineers. Concevoir et faire évoluer des architectures Data basées sur Databricks. Piloter le développement et l'industrialisation des pipelines de données. Définir les standards techniques et les bonnes pratiques de développement. Accompagner les équipes sur Python, PySpark, SQL et Apache Spark. Optimiser les performances des traitements Big Data. Mettre en place des architectures Lakehouse avec Delta Lake. Garantir la qualité, la sécurité et la gouvernance des données. Participer aux choix d'architecture Cloud et aux décisions techniques. Réaliser des revues de code et accompagner la montée en compétences des développeurs. Superviser l'intégration continue et le déploiement des solutions Data. Collaborer avec les architectes, Product Owners et équipes métiers.