Find your next tech and IT Job or contract PySpark

Il s'agit d'assister le client en tant qu'ingénieur DATA sur le service de cloud datawarehouse sous Azure. Nous recherchons un Data Engineer ayant déjà fait du DevOps, capable de travailler à la fois sur les traitements de données (Databricks, architecture médaillon bronze / silver / gold) et sur l'infrastructure cloud associée (Azure, Terraform, Jenkins), dans un contexte d'entreprise avec des standards Git et CI/CD.Du conseil, des études d'opportunité et dossiers d'innovation seront demandés. Missions principales (Data & supervision) • Concevoir, développer et enchaîner des notebooks Databricks en PySpark pour alimenter les zones bronze, silver et gold. • Maîtriser et exploiter les formats parquet, delta et csv, en comprenant leurs impacts sur la performance, la robustesse et les coûts. • Optimiser les notebooks et jobs existants (performance, qualité de données, coûts d'exécution). • Mettre en place et faire vivre la supervision des flux : monitoring des pipelines Azure Data Factory, suivi de la qualité des données, création d'alertes et de tableaux de bord de suivi. • Contribuer à la fiabilisation globale de la plateforme data (détection d'anomalies, reprise sur incident, bonnes pratiques de développement). • Collaborer avec les équipes métier et techniques pour comprendre les besoins, prioriser les évolutions et industrialiser les traitements. Missions annexes (DevOps & infra) • Mettre à jour et faire évoluer les repos d'infrastructure (Terraform, Jenkins) en suivant les templates et bonnes pratiques du git d'entreprise. • Maintenir, paramétrer et exécuter les pipelines Jenkins liés aux déploiements et aux traitements data, en garantissant leur fiabilité et leur traçabilité. • Participer activement à la vie des repos GitHub : revue de code (PR/MR), gestion des branches, compréhension des workflows Git avancés, automatisation et diffusion des bonnes pratiques. Technologies & environnement technique • Cloud & data platform : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI. • Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM. • Langages & frameworks : Python, PySpark (DataFrame API, Spark SQL), SQL. • Formats & data : parquet, delta, csv… • Librairies Python courantes : o pyspark (transformations, jointures, agrégations, optimisations). o delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation). o Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l'intégration avec les services cloud.

Nous allons travailler sur un POC Réseau Autonome d'une durée limitée (approx 6 mois à partir de septembre), l'objectif est de collecter des données réseaux (données config Radio, Kpi, référentielles) les intégrer dans Databricks, développer des API pour requêter ces données afin que des agent IA puissent requêter les données à travers ces API. Livrables: Conception et développement de projets d'intégration de données pour des projets à forte valeur ajoutée. Développement de jobs d'intégration de données en PySpark, Spark, Python en mode streaming et batch sur la plateforme Databricks. La mise en œuvre de CI/CD (github, devops, Databricks Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs et des ressources cloud (GCP et Databricks). Mise en place de de Dashboard Finops afin de suivre l'usage des ressources GCP / Databricks. Travailler au sein d'équipes pluridisciplinaires : chefs de projet, architectes, devops, data engineer. Assurer une formation continue, le partage de connaissances, mise en place de documentation.

Le consultant interviendra sur l'ensemble du cycle de vie des solutions AI/ML, de l'identification des cas d'usage jusqu'à la mise en production, avec un fort enjeu de sécurité, scalabilité et industrialisation. Missions principales : - Identifier, analyser et prioriser les cas d'usage AI/ML appliqués à la cybersécurité et à l'IAM. - Développer des modèles de Machine Learning permettant de détecter les comportements utilisateurs anormaux, les schémas d'accès suspects et les potentielles menaces de sécurité. - Concevoir, tester et déployer des modèles AI/ML scalables intégrables aux plateformes de cybersécurité. - Développer des solutions AI, LLM et Advanced Analytics. - Concevoir et optimiser les prompts, les sorties structurées et les mécanismes d'évaluation des modèles. - Mettre en place le monitoring et l'évaluation des solutions AI/ML. - Industrialiser les modèles et solutions analytiques jusqu'à leur mise en production. - Garantir la qualité, la maintenabilité, les tests et l'intégration continue. - Prendre en charge les projets de bout en bout, de la phase de découverte jusqu'à la livraison. - Collaborer avec les équipes Engineering, Cybersécurité et métiers.

Contexte de la mission En tant que consultant data au sein de la Cellule du Qualité de Fixe (CQF) du client , vous serez en charge de produire des analyses à partir de dataset que vous aurez constitués sur des données de nos plateformes Big Data, Vous aurez également la responsabilité de rendre disponible des données, une fois celles-ci nettoyées, préparées et formatées sous forme de dataset ou de table à disposition des datascientists de l'équipe. Vous aurez à développer des tableaux de bord de suivi de KP.. Objectifs et livrables Dataset Tableau de Bord (Tableau) Analyses commentées Compétences demandées analyse statistique Confirmé SQL : Expertise Confirmé Tableau Expert Spark Python Confirmé

Nous recherchons pour un de nos clients un Data Engineer Microsoft FabricCompétences obligatoiresMicrosoft Fabric (2 ans d'expérience minimum) PySpark Lakehouse / OneLake Notebooks Fabric Spark dans Fabric Fabric Endpoints Data Engineering sous Fabric Power BI (intégration avec Fabric) Modélisation de données Compétences fonctionnellesGouvernance des données Data Products Data Mesh Architecture Médaillon (Bronze / Silver / Gold) Expérience recherchéeMise en œuvre complète de la chaîne Microsoft Fabric : Ingestion des données Transformation Modélisation Industrialisation Exposition vers Power BI Construction de pipelines de transformation avant restitution dans Power BI. Expérience sur des plateformes Data modernes. Compétences appréciées (plus)Expérience avec dbt (Data Build Tool) pour la transformation et la modélisation des données. Connaissance des bonnes pratiques d'industrialisation et de versionning des modèles de données. Expérience sur Azure Data Platform (Synapse, Data Factory, Databricks) dans un contexte Microsoft Fabric. Le candidat devra maîtriserOneLake Lakehouse Notebooks PySpark Data Engineering Fabric Data Factory / Pipelines Fabric Endpoints Semantic Models Power BI Ce qui est attenduLe consultant devra être capable d'intervenir immédiatement sur une plateforme Microsoft Fabric en production et maîtriser l'ensemble de la chaîne Data, de l'ingestion à la transformation des données, jusqu'à leur exposition dans Power BI. Le besoin porte sur un profil très opérationnel, autonome et rapidement productif. Une expérience avec dbt (Data Build Tool) constituera un atout supplémentaire.

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

Notre client s'appuie sur une équipe Data centrale pour exploiter une grande diversité de sources de données et générer des indicateurs à forte valeur ajoutée au service de ses activités. Dans le cadre du renforcement de son équipe Data Platform, nous recherchons un(e) Senior Cloud Data Platform Engineer qui contribuera à l'optimisation et à l'évolution de la plateforme data cloud, garantissant une intégration fluide des données à l'échelle de l'organisation. Vos missionsConcevoir et développer des templates d'Infrastructure as Code (IaC) avancés et réutilisables pour provisionner et gérer les ressources cloud, selon les meilleures pratiques et des standards d'architecture robustes. Architecturer des blueprints applicatifs complets permettant des workflows de data engineering scalables et fiables. Maintenir les projets AWS existants et accompagner les Data Engineers de l'organisation dans l'utilisation de la plateforme, en lien avec l'équipe Data Support.

La mission s'inscrit dans les évolutions du datalake CIO Office, en lien avec les équipes de production applicative et DevOps. Le consultant intervient sur le développement et le traitement des données ainsi que sur l'évolution de la plateforme Hadoop. L'enjeu principal est de mettre en œuvre de nouvelles ingestions et transformations tout en maintenant les pipelines de données. Missions : - Mettre en œuvre de nouvelles ingestions de données - Réaliser les opérations de data prep et de transformation des données - Maintenir les outils de gestion des pipelines de données - Faire évoluer les pipelines de données avec PySpark et le shell scripting - Adresser les demandes d'évolution de la plateforme à l'équipe DevOps - Rédiger des spécifications techniques claires et précises - Travailler dans un environnement agile Scrum - Collaborer avec les équipes de production applicative et DevOps - Explorer de nouvelles solutions et technologies - Analyser et résoudre des problèmes complexes liés au traitement des données Profil attendu : Le profil recherché dispose de 0 à 6 ans d'expérience et d'une excellente maîtrise de Hadoop, Python/PySpark et Hive. Une bonne connaissance de SQL, Git, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l'anglais à l'écrit comme à l'oral ainsi qu'une expérience des environnements agiles Scrum sont attendues.

Le contexte : Vous rejoignez une équipe BI/Data qui délivre et opère les produits data du domaine Marketing & Ventes. Périmètre à la fois build (nouveaux usages, évolutions) et run (support, incidents, qualité de service). Environnement Azure, stack moderne, utilisateurs business exigeants et proches. Votre mission : • Concevoir, développer et industrialiser des rapports et modèles Power BI (modélisation, DAX, performance, sécurité RLS) — pas seulement de la mise en page • Développer et maintenir les pipelines d'ingestion et de transformation (Azure Data Factory, Databricks / PySpark) • Écrire et optimiser le SQL sur des volumétries significatives • Assurer le support niveau 2/3 sur votre périmètre : analyse d'incidents, correction, communication aux utilisateurs • Participer aux rituels agiles de l'équipe (refinement, daily, revue) et à la documentation technique • Contribuer à la fiabilisation : monitoring, tests, qualité de données Le profil : Indispensable : • 3 à 6 ans d'expérience en développement BI/Data • Power BI en développement : modélisation, DAX avancé, optimisation • SQL solide (requêtes complexes, lecture de plan d'exécution, optimisation) • Databricks et PySpark en usage réel projet • Azure Data Factory (orchestration, gestion des erreurs, paramétrage) • Autonomie sur le run : savoir prendre un incident, investiguer, tenir un utilisateur informé Apprécié : • Git / CI-CD / Azure DevOps • ADLS et modèles de type médaillon / lakehouse • Anglais professionnel (échanges avec des équipes internationales) • Connaissance des données Marketing/Ventes

Notre client dans le secteur Transport et logistique recherche un/une Data Engineer BI / Reporting H/F Description de la mission : Contexte La mission s'inscrit au sein d'une équipe projet rattachée à une ligne de produit Data. Elle porte sur le développement de reporting pour un nouveau portail de suivi des prestations de service, dans un contexte plus large de migration Data Cloud. La prestation comprend également la maintenance d'un patrimoine de reporting existant sur l'écosystème SAP BI. Mission Le Data Engineer intervient sur des sujets de reporting, de préparation de données et de maintenance de traitements décisionnels. Il contribue à l'analyse des besoins métier, à la conception des solutions de restitution, à la qualité des données, aux tests et aux mises en production, tout en assurant un support opérationnel et un reporting d'activité dans un cadre agile. Principales responsabilités Analyser les besoins métier, étudier les impacts et chiffrer les développements Modéliser et préparer les données pour des usages décisionnels Concevoir et maintenir les rapports Power BI Mettre en œuvre et suivre les contrôles de qualité de données Réaliser les tests, les recettes et les mises en production Produire la documentation fonctionnelle et technique Reprendre les historiques de données depuis SAP vers Databricks Maintenir les pipelines Databricks en SQL, Python et PySpark Assurer le support, l'analyse et la résolution d'incidents Maintenir les traitements SAP BW/HANA et les restitutions SAP BusinessObjects BI4, sur une part minoritaire de l'activité Reporter son activité auprès de l'équipe DSI dans le cadre des instances Agile / Scrum Environnement technique BI / Reporting : Power BI, SAP BW/HANA, SAP BusinessObjects BI4, WEBI Data Engineering : Databricks, SQL, Python, PySpark, Kafka Cloud / Plateforme : Azure, Fabric, Power Platform Outils / Méthodes : Jira, Confluence, Agile, Scrum, SAFe, FinOps Livrables attendus Analyses de besoins, études d'impact et chiffrages Modèles de données préparés pour les usages décisionnels Rapports Power BI conçus et maintenus Contrôles de qualité de données mis en place et suivis Jeux de tests, recettes et mises en production réalisés Documentation fonctionnelle et technique Reprises d'historique depuis SAP vers Databricks Pipelines Databricks maintenus et fiabilisés Support et résolution d'incidents Profil recherché Expérience Profil expert avec plus de 7 ans d'expérience Capacité à assurer la mission en autonomie dès la prise de poste Expérience significative permettant d'intervenir efficacement sans accompagnement rapproché Compétences techniques Maîtrise de SAP BW/HANA, SAP BusinessObjects BI4, WebI et SQL Conception et maintenance de rapports Power BI Modélisation et préparation de données pour le décisionnel Maintenance de pipelines Databricks en SQL, Python et PySpark Pratique des outils Agile, Jira et Confluence La certification Power BI constitue un atout Des connaissances en consommation de topics Kafka, FinOps, Azure, Fabric et Power Platform sont appréciées La connaissance de Scrum et SAFe est appréciée La connaissance des processus de gestion de prestations de services et du suivi d'exécution de contrats et devis est appréciée Compétences personnelles Autonomie Sens du service Rigueur Esprit d'analyse Capacité d'investigation Communication claire Esprit d'équipe et coopération transverse Capacité à s'approprier rapidement un patrimoine décisionnel existant et des processus métiers complexes Capacité à être force de proposition et proactif sur les aspects techniques et fonctionnels Capacité à travailler avec des interlocuteurs métiers et techniques Capacité à documenter et transmettre les connaissances Compétences / Qualités indispensables : Power BI, Databricks, SQL, SAP BW/HANA et SAP BusinessObjects BI4, Python / PySpark, Modélisation de données décisionnelles Compétences / Qualités qui seraient un + : Certification Power BI, consommation de topics Kafka, FinOps, Azure, Fabric, Power Platform, Scrum, SAFe, connaissance des processus de gestion de prestations de services et du suivi d'exécution des contrats et devis Informations concernant le télétravail : Globalement en télétravail, jours à prévoir occasionnellement pour certaines réunions d'équipe.

Dans le cadre de l'évolution d'une Data Platform Cloud déjà en production, nous recherchons un Data Engineer AWS confirmé/senior. La mission s'inscrit dans un environnement Data à forte volumétrie et porte principalement sur l'évolution de la plateforme, l'industrialisation des pipelines de données et l'intégration de solutions AWS. Vos missionsParticiper à la définition et à l'évolution de l'architecture Data Platform / Lakehouse Concevoir, développer et industrialiser des pipelines de données Développer des traitements PySpark sur AWS Glue Intégrer les services Data AWS, notamment S3 Participer au développement d'API en Java / Spring Boot Contribuer à la mise en place d'un environnement Data Lab Mettre en œuvre et améliorer les processus CI/CD Analyser les besoins fonctionnels et les traduire en solutions techniques Garantir la maintenabilité et la sécurité des solutions Participer aux mises en production Assurer le support de production en cas d'incident majeur Contribuer aux bonnes pratiques de développement, de tests et d'industrialisation

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data Snowflake / Cortex confirmé pour participer au développement et à l'évolution de sa plateforme Data Cloud et de ses usages autour de l'IA. MissionsConcevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et optimiser les modèles de données sur Snowflake. Mettre en œuvre les transformations de données avec dbt. Participer à l'intégration et à l'exploitation des fonctionnalités Snowflake Cortex et des services d'IA associés. Développer des traitements Data en Python / PySpark / SQL. Participer à la mise en qualité, au contrôle et à la sécurisation des données. Optimiser les performances des traitements et des requêtes Snowflake. Participer à l'industrialisation et à l'orchestration des pipelines. Contribuer aux pratiques Git / CI-CD et à l'amélioration continue de la plateforme Data. Environnement techniqueSnowflake, Snowflake Cortex, dbt, SQL, Python, PySpark, Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Git, CI/CD, Power BI.

Contexte de la mission : C'est pour accompagner notre client, un grand groupe national du secteur du transport, dans l'évolution et l'industrialisation de sa plateforme Data Cloud Azure que nous recherchons un Ingénieur Data orienté DevOps. Au coeur d'un environnement Data à forts enjeux, la plateforme centralise des données issues de différents référentiels techniques, applicatifs, organisationnels et financiers afin de produire des indicateurs de pilotage et des tableaux de bord décisionnels. Vous rejoindrez une équipe intervenant sur des sujets à la fois Data, Cloud et DevOps, avec un rôle clé dans la conception et l'industrialisation des traitements de données. Votre périmètre couvrira notamment : - La conception et le développement de traitements Databricks / PySpark selon une architecture Bronze / Silver / Gold ; - L'industrialisation et l'optimisation des pipelines Data ; - L'automatisation et la gestion des infrastructures Azure avec Terraform ; - La mise en oeuvre et le maintien des chaînes CI/CD avec Jenkins et GitHub ; - La supervision et l'exploitation de la plateforme Data. La mission offre également une véritable dimension de conseil et d'accompagnement : études d'opportunité, sujets d'innovation, réflexions autour des architectures Data et recommandations visant à optimiser les performances, la fiabilité et les coûts des solutions. Responsabilités : * Concevoir et industrialiser les traitements de données Databricks (PySpark) selon une architecture Bronze / Silver / Gold ; * Développer, optimiser et maintenir les pipelines de données en garantissant performance, qualité et maîtrise des coûts ; * Exploiter les formats de données (Delta, Parquet, CSV) et mettre en oeuvre les bonnes pratiques associées ; * Assurer la supervision de la plateforme data via Azure Data Factory : monitoring, alerting, suivi de la qualité des données et reporting ; * Renforcer la fiabilité et la résilience des traitements en participant à la gestion des incidents, à la détection d'anomalies et à l'amélioration continue ; * Contribuer aux activités DevOps et Cloud en maintenant les infrastructures et pipelines CI/CD (Terraform, Jenkins, GitHub) et en collaborant avec les équipes métiers et techniques.

RésuméLe projet a pour objectif la création et l'évolution d'un produit de données à destination des actuaires, qui utiliseront ces données pour l'entraînement de leurs modèles (tarifaires par exemple). Le candidat rejoindra une équipe de 4 data engineers (dont un lead) pour participer à la mise en place de ce produit de données. Responsabilités :Proposer et valider des solutions techniques Mettre en œuvre des solutions performantes dans un cadre Agile Participer aux activités opérationnelles courantes Must Haves :Expérience avec Cloud Azure (Data Factory, ADLS, Databricks) Compétences obligatoires en PySpark et Python Bonnes connaissances des architectures de données Compétences en SQL Nice to Haves :Connaissance de Scala Expérience sur les processus DevOps et CI/CD Autres Détails :Localisation : Hauts-de-Seine (92) Télétravail : 3 jours

Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT sénior (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks, dbt et les meilleures pratiques d'ingénierie Data. Vos missions Concevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt. Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.

Au sein de la Direction des Systèmes d'Information, rattaché(e) à une équipe spécialisée en BI & Data, vous intervenez sur la mise à disposition de solutions sécurisées de reporting et d'analyse de données. Les principaux cas d'utilisation sont : Enrichissement du Data Lake d'entreprise et des Data Products. Préparation, transformation et mise à disposition des données à des fins d'analyse et de reporting. Accompagnement des utilisateurs dans l'exploitation et l'usage des données. Conception et mise en œuvre de nouvelles solutions Data. Participation aux nouveaux projets et aux migrations des solutions existantes vers le Cloud. Dans le cadre de la transformation de l'écosystème Data vers le Cloud, vos principales missions seront : Analyser et qualifier les besoins avec les équipes métier. Participer à la conception des solutions Data. Rédiger la documentation projet et technique : planning, spécifications, documents d'exploitation, contrats d'interface, datamapping, etc. Développer les traitements de transformation et de préparation des données avec Python, PySpark et SQL. Participer à la modélisation, à la gouvernance et à l'amélioration de la qualité des données. Mettre en place et assurer le monitoring des traitements. Optimiser les performances et la fiabilité des pipelines Data. Assurer la communication et la coordination avec les différentes parties prenantes des projets. Accompagner les utilisateurs et les équipes dans la conduite du changement liée à la migration vers le Cloud. Participer au développement et à l'évolution des solutions BI et de reporting, notamment avec Power BI.