Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

ContexteDans le cadre d'un projet stratégique autour de la gestion des risques climatiques et physiques, notre client recherche un Data Engineer Python / Spark pour contribuer à la mise en place d'une solution permettant d'ingérer, agréger et exposer des données issues de sources multiples afin de produire des reportings métier liés à la surveillance du risque de crédit. La mission s'inscrit au sein d'une équipe experte et engagée, sur un projet à forte visibilité basé sur Google Cloud Platform (GCP). Une expérience dans le domaine du risque de crédit est appréciée. MissionsConcevoir et développer des solutions Data en Python / Spark. Participer à l'intégration de données provenant de sources multiples. Exploiter les services Data & Compute de Google Cloud Platform. Contribuer à l'ingestion, l'agrégation et l'exposition des données. Participer à la mise en œuvre et à l'évolution des pipelines Data. Collaborer avec les équipes techniques et métier du projet. Contribuer aux pratiques DevOps et à l'industrialisation des solutions. Profil recherchéExpertise technique indispensable : Python / Spark BigQuery Dataproc Cloud Composer Cloud Functions Cloud Run Jobs Google Cloud Storage (GCS) DevOpsXL Deploy (XLD) Terraform Jenkins

Dans le cadre d'un projet Data, vous rejoindrez une équipe intervenant sur des problématiques de Data Science, Machine Learning et traitement de données à grande échelle. L'objectif de la mission sera notamment de contribuer à la préparation, l'analyse et la transformation des données, au développement de modèles statistiques et de Machine Learning, ainsi qu'à leur intégration dans des workflows reproductibles et industrialisés. Vos principales missions : Collecter, nettoyer, transformer et analyser des données. Réaliser des analyses statistiques et exploratoires. Concevoir des variables pertinentes et effectuer du feature engineering. Développer, entraîner et évaluer des modèles de Machine Learning. Exploiter des données à l'aide de Python et SQL. Participer au traitement de données volumineuses avec Spark / PySpark. Contribuer à la mise en place de pipelines de traitement et à leur industrialisation. Utiliser Git / GitLab CI/CD dans un environnement de développement collaboratif. Documenter les travaux réalisés et communiquer les résultats auprès des différentes parties prenantes.

Nous recherchons un(e) Développeur(se) Python / Data Engineer passionné(e) pour rejoindre notre équipe et contribuer à la conception et au développement de plateformes et de pipelines permettant l'industrialisation de modèles de Machine Learning. Ces solutions couvrent l'ensemble du cycle de vie des modèles : préparation des données et des features, entraînement, tuning, inférence, exposition via APIs et orchestration des traitements dans un environnement cloud. Elles permettent aux Quants et Data Scientists d'industrialiser l'utilisation de modèles avancés dans les processus de prévision de la consommation et de la production d'énergie.

Le consultant interviendra sur l'ensemble du cycle de vie des solutions AI/ML, de l'identification des cas d'usage jusqu'à la mise en production, avec un fort enjeu de sécurité, scalabilité et industrialisation. Missions principales : - Identifier, analyser et prioriser les cas d'usage AI/ML appliqués à la cybersécurité et à l'IAM. - Développer des modèles de Machine Learning permettant de détecter les comportements utilisateurs anormaux, les schémas d'accès suspects et les potentielles menaces de sécurité. - Concevoir, tester et déployer des modèles AI/ML scalables intégrables aux plateformes de cybersécurité. - Développer des solutions AI, LLM et Advanced Analytics. - Concevoir et optimiser les prompts, les sorties structurées et les mécanismes d'évaluation des modèles. - Mettre en place le monitoring et l'évaluation des solutions AI/ML. - Industrialiser les modèles et solutions analytiques jusqu'à leur mise en production. - Garantir la qualité, la maintenabilité, les tests et l'intégration continue. - Prendre en charge les projets de bout en bout, de la phase de découverte jusqu'à la livraison. - Collaborer avec les équipes Engineering, Cybersécurité et métiers.

Nous recherchons un Data Scientist confirmé pour rejoindre une équipe Data et intervenir sur des projets à forts enjeux métiers, de la phase de cadrage jusqu'à l'industrialisation des solutions. Missions principalesParticiper aux ateliers métiers et identifier les cas d'usage Data à forte valeur. Contribuer au cadrage et au pilotage technique des études Data. Réaliser des analyses statistiques et développer des modèles de Machine Learning. Concevoir et maintenir les traitements de données nécessaires aux analyses. Assurer le lien entre les équipes métiers et Data. Développer des visualisations et tableaux de bord d'aide à la décision. Présenter et vulgariser les résultats auprès des différentes parties prenantes. Documenter les travaux et accompagner leur industrialisation et mise en production. Environnement techniquePython (Pandas, Polars, Scikit-learn, XGBoost, Pandera, GeoPandas), PostgreSQL, Teradata, Spark / PySpark, Git, GitLab CI/CD, Power BI.

Contexte Un grand groupe industriel souhaite renforcer temporairement son équipe Data Platform au sein de sa Digital Factory afin d'accompagner l'accélération des projets Data et IA, l'augmentation des volumes de données et l'industrialisation des traitements de données. L'équipe Data Platform est responsable de la mise à disposition, de l'exploitation et de l'évolution des services permettant l'ingestion, le stockage, la transformation et la diffusion des données. Elle assure également la supervision, la sécurisation des flux et le support aux équipes Data Engineering, BI et métiers. Description du poste Le consultant interviendra en tant que Data Platform & Data Ops Engineer avec une forte composante Cloud AWS, exploitation de plateformes Data et industrialisation des environnements. Administration et exploitation Data Platform • Administrer et maintenir les plateformes de données. • Gérer les pipelines d'intégration et les déploiements. • Administrer les environnements DEV, TEST et PROD. • Gérer les espaces de stockage, les accès et les habilitations. • Garantir la disponibilité et la sécurité des plateformes. Architecture et infrastructure DataOps • Concevoir et maintenir des architectures Data sur AWS. • Automatiser le provisionnement d'infrastructure via Terraform. • Optimiser les coûts Cloud (FinOps). • Assurer la scalabilité, la résilience et la sécurité des services Data. Industrialisation et DevOps • Mettre en place et maintenir les chaînes CI/CD. • Automatiser les déploiements et les tests. • Standardiser les composants Data. • Améliorer continuellement les processus d'exploitation. Support et expertise technique • Assurer le support N2/N3 des plateformes Data. • Diagnostiquer et résoudre les incidents complexes. • Accompagner les équipes Data Engineering et BI. • Réaliser des analyses de performance et de capacité. Monitoring et observabilité • Mettre en oeuvre les solutions de supervision. • Définir les alertes et tableaux de bord opérationnels. • Assurer le suivi des SLA et indicateurs de performance. • Anticiper les risques de saturation ou de dégradation des services. Gouvernance et transformation • Contribuer aux standards de la Data Platform. • Participer aux revues d'architecture. • Documenter les procédures et bonnes pratiques. • Accompagner les projets de migration Cloud et les évolutions de plateforme. Livrables attendus • Templates d'infrastructure automatisés (IaC). • Pipelines CI/CD industrialisés. • Documentation d'exploitation. • Procédures de déploiement et de supervision. • Runbooks et modes opératoires. • Dossiers techniques d'architecture. • Reporting d'activité. • Plans de remédiation des incidents majeurs. • Supports de transfert de compétences. • Documentation des processus d'automatisation et d'exploitation.

Dans le cadre du développement des projets Data, nous recherchons un Data Engineer / DataOps pou accompagner les différentes entités dans l'utilisation et l'industrialisation de la plateforme. Missions :Administrer, superviser et maintenir les workspaces Définir, documenter et faire évoluer les standards et bonnes pratiques Garantir la qualité, la sécurité et la conformité des services proposés aux différentes entités Industrialiser les environnements et déploiements avec des pratiques DevOps / IaC Tester et évaluer les nouvelles fonctionnalités Databricks puis formuler des recommandations Veiller au respect des politiques et accompagner leur mise en œuvre Contribuer à la conception et réalisation de use cases Data stratégiques portés par les différentes entités Participer à l'amélioration continue de l'écosystème Data et des processus d'exploitation Compétences techniques :Databricks : administration, configuration et exploitation de workspaces. Python / PySpark / Spark. Git et pratiques de gestion de code. AWS et/ou Azure. Infrastructure as Code (IaC) : Terraform, CloudFormation ou équivalent. DevOps / DataOps : CI/CD, automatisation, industrialisation et déploiement. Environnements Agile : Scrum et/ou Kanban.

Bonjour à tous, Mission Data Engineer Senior / Expert – Lakehouse AWS Nous recherchons 2 Data Engineers Senior / Experts pour accompagner une équipe Data dans la conception, l'industrialisation et l'évolution de solutions data à grande échelle. La mission · Concevoir et optimiser des pipelines de données · Développer des flux batch, streaming et API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Contribuer à l'évolution d'une architecture Lakehouse · Garantir la qualité, la supervision et l'observabilité des traitements Stack technique Spark / PySpark • Python • AWS • DBT • Iceberg Airflow • Terraform • Docker • KubernetesAWS S3, Glue, EMR Trino / Starburst • Datadog ➕ Data Catalog 📍 Localisation : Île-de-France 🏠 Télétravail : 3 jours/semaine 📅 Démarrage : dès que possible ⏳ Durée : jusqu'à août 2027 🎓 Expérience : 8 ans minimum en Data Engineering Vous avez une solide expérience en Data Engineering, Big Data et architectures Lakehouse et vous maîtrisez Spark, AWS, Python et DBT ? 📩 N'hésitez pas à me contacter en MP ou à partager votre CV.

Présentation de la missionAu sein de l'Analytics Factory, structure dédiée au design et au développement de services analytiques pour les directions métiers, nous recherchons un(e) Data Analyst Senior spécialisé(e) dans le pilotage de la performance et l'analyse des Parts de Marché (PDM) au sein d'un grand groupe du secteur du Retail / Grande Distribution. Rattaché(e) au Responsable Pilotage de la Performance, vous interviendrez directement en appui de la Direction COMEX Marchandise pour éclairer et accompagner la prise de décision stratégique. Votre périmètre couvrira l'intégralité du spectre analytique : de la production des suivis hebdomadaires jusqu'à la modélisation de projections pluriannuelles. Vous aurez notamment pour rôle de décomposer les performances clés et de modéliser les impacts des principaux leviers business. Informations clés sur la missionLocalisation : Île-de-France Modalités de travail : Hybride (3 jours par semaine sur site / 2 jours en télétravail) TJM Max : 430 € / jour Date de démarrage : Dès que possible (ASAP) Date de fin prévisionnelle : 30/10/2027 Missions et Livrables attendus1. Pilotage & Analyses StratégiquesÉlaboration, automatisation et diffusion des reportings hebdomadaires de Parts de Marché (PDM) pour le COMEX Marchandise. Réalisation de projections et de visions pluriannuelles de performance. Conduite d'études et d'analyses ad hoc pour mesurer et modéliser les impacts business des principaux leviers stratégiques. 2. Visualisation & Data ProductsConception, déploiement et optimisation de dashboards interactifs d'aide à la décision (Looker Studio, Tableau, Google Sheets). Identification, structuration et suivi des KPIs critiques de performance commerciale. 3. Ingenierie de Données & ModélisationDéveloppement, optimisation et maintenance de scripts d'extraction et de modélisation de données complexes sous SQL / BigQuery et Python. Collaboration avec les équipes Data Engineering pour structurer et fiabiliser les tables et pipelines de données sous-jacents.

Contexte de la mission Au sein de la DSI France, le département SI METIER & DATA souhaite renforcer sa capacitée à réaliser des projets Data. Au sein de l'équipe Data et de l'équipe projet, le Data Engineer réalise les intégrations de données, les traitements et les reportings dans PALANTIR Foundry. Il propose et recherche les meilleurs solutions techniques en collaboration avec l'équipe projet et participe au suivi quotidien des flux de données. Le projet concerne en particulier le traitement de données de consommations IT. Objectifs et livrables Comprendre les besoins métier et faire les investigations nécessaires pour une réalisation optimale Concevoir et réaliser les développements et configurations dans Palantir Documenter les réalisation, présenter le résultat et participer aux recettes Intégrer l'équipe BI, travailler en collaboration avec tous les membres et participer à la communité technique. Participer au suivi quotidien des applications Pour cette mission, l'expertise et les compétences attendues sont : · Manipulation et traitement des données : Python · Création de dashboard et fonction d'affichage (JavaScript/TypeScript) · Cloud, Base de données, stockage, automatisation · Framework SPARK · Manipulation d'APIs, etc... · Outil de versionning (GIT) · Comprendre la structure des bases de données mises en place (architecture en étoile, relation 1-N ou N-N..) · Methode Agile / Jira · Connaissance de PALANTIR serait un plus · Anglais : niveau professionnel · Outils bureautique : intermédiaire ou expert (faire un CR, une présentation,…) Compétences demandéesCompétencesNiveau de compétence JIRA / Agile Confirmé Data Engineering Expert AI-assisted development Confirmé Python/pyspark Expert LanguesNiveau de langue Anglais Courant

Contexte de la mission Au sein de la DSI France, le département SI METIER & DATA souhaite renforcer sa capacitée à réaliser des projets Data. Au sein de l'équipe Data et de l'équipe projet, le Data Engineer réalise les intégrations de données, les traitements et les reportings dans PALANTIR Foundry. Il propose et recherche les meilleurs solutions techniques en collaboration avec l'équipe projet et participe au suivi quotidien des flux de données. Le projet concerne en particulier le traitement de données de consommations IT.

Dans le cadre du renforcement d'une équipe Data Platform au sein d'une Digital Factory, nous recherchons un Data Platform & DataOps Engineer confirmé pour contribuer à l'exploitation, à l'industrialisation et à l'évolution de plateformes Data dans un environnement Cloud AWS. Votre rôle sera essentiel pour garantir la disponibilité, la sécurité, la performance et l'automatisation des services Data, tout en accompagnant les équipes Data Engineering, BI et Architecture. Vos principales responsabilités Data Platform & Cloud AWS Administrer et faire évoluer les plateformes Data. Concevoir et maintenir des architectures Cloud scalables, sécurisées et résilientes. Gérer les pipelines d'intégration, les environnements DEV/TEST/PROD et les habilitations. Optimiser les coûts d'infrastructure AWS dans une logique FinOps. DataOps, DevOps & automatisation Industrialiser les traitements et les déploiements Data. Mettre en place et maintenir les pipelines CI/CD. Automatiser le provisionnement des infrastructures avec l'Infrastructure as Code. Standardiser les composants Data et renforcer les tests automatisés. Monitoring & support Assurer le support technique N2/N3 et résoudre les incidents complexes. Mettre en place des outils de supervision, des alertes et des tableaux de bord opérationnels. Analyser les performances et anticiper les besoins en capacité. Sécurité & gouvernance Appliquer les standards de sécurité Cloud et de gestion des accès. Contribuer à la gouvernance, à la qualité et à la documentation des plateformes Data. Participer aux revues d'architecture et aux projets de transformation Cloud.

Le consultant interviendra sur l'ensemble du cycle de vie des solutions AI/ML, de l'identification des cas d'usage jusqu'à la mise en production, avec un fort enjeu de sécurité, scalabilité et industrialisation. Missions principales : - Identifier, analyser et prioriser les cas d'usage AI/ML appliqués à la cybersécurité et à l'IAM. - Développer des modèles de Machine Learning permettant de détecter les comportements utilisateurs anormaux, les schémas d'accès suspects et les potentielles menaces de sécurité. - Concevoir, tester et déployer des modèles AI/ML scalables intégrables aux plateformes de cybersécurité. - Développer des solutions AI, LLM et Advanced Analytics. - Concevoir et optimiser les prompts, les sorties structurées et les mécanismes d'évaluation des modèles. - Mettre en place le monitoring et l'évaluation des solutions AI/ML. - Industrialiser les modèles et solutions analytiques jusqu'à leur mise en production. - Garantir la qualité, la maintenabilité, les tests et l'intégration continue. - Prendre en charge les projets de bout en bout, de la phase de découverte jusqu'à la livraison. - Collaborer avec les équipes Engineering, Cybersécurité et métiers.

Vous voulez voir vos pipelines faire tourner la logistique d'un géant de la distribution ? Cette mission est pour vous. VADEMI recherche un Data Engineer confirmé / senior pour rejoindre la Data Factory d'un grand groupe national de la distribution, en pleine accélération. Après de premiers succès, la Data Factory passe à l'échelle : nouvelle organisation Agile en Domaine / Tribu / Squad, industrialisation des pratiques et livraisons accélérées. Vous intégrez la Squad Supply / Logistique, qui conçoit des produits BI, Analytics et Data Science sur une plateforme Azure + Databricks. Vos traitements alimentent concrètement les entrepôts, les magasins et les consommateurs. Vos missions : - Recueillir les besoins métier et analyser les données - Concevoir et construire des pipelines de données au sein du Data Lake - Développer des notebooks Databricks pour des traitements avancés (PySpark / Spark SQL) - Optimiser les traitements et tuner les requêtes SQL (Cloud Data Warehousing) - Réaliser les revues de code et les tests unitaires - Assurer la QA / le testing des pipelines de votre binôme Data Engineer - Construire des tableaux de bord Power BI - Rédiger la documentation technique (Dossiers d'Analyse Technique, release notes) - Livrer en continu via une chaîne CI/CD Azure DevOps Pourquoi nous rejoindre ? - Un rôle complet et à fort impact, du besoin métier jusqu'au dashboard - Une stack moderne : Azure, Databricks, Spark, Lakehouse, CI/CD - Un environnement Agile structuré, au cœur de la Supply Chain d'un leader du retail - Un rythme hybride : 2 jours de télétravail par semaine - Une mission en régie jusqu'à fin décembre 2026, avec perspective de prolongation Démarrage : dès que possible (fin septembre au plus tard) – Châtillon (92), 3 jours par semaine sur site. Processus : après votre candidature, nous vous transmettrons une grille de compétences à compléter. Un test technique est prévu en présentiel lors de l'entretien client.

Dans le cadre du renforcement de nos équipes, nous recherchons un Développeur Python pour intervenir sur des projets à forte valeur ajoutée autour du développement applicatif, de l'automatisation et du traitement de données. Vos missions Concevoir, développer et maintenir des applications en Python Participer à l'analyse des besoins fonctionnels et techniques Développer et optimiser des API REST Assurer la qualité du code via les tests unitaires et les bonnes pratiques de développement Participer aux revues de code et aux choix d'architecture Collaborer avec les équipes métiers, DevOps et Data Contribuer à l'amélioration continue des processus de développement Environnement technique Python 3.x Frameworks : FastAPI, Flask ou Django APIs REST Git / GitLab Docker Bases de données SQL (PostgreSQL, MySQL) Linux CI/CD Un plus : Kubernetes Cloud AWS, Azure ou GCP Data Engineering (Pandas, NumPy, PySpark) Tests automatisés (Pytest)