Find your next tech and IT Job or contract PySpark

Le consultant interviendra sur l'ensemble du cycle de vie des solutions AI/ML, de l'identification des cas d'usage jusqu'à la mise en production, avec un fort enjeu de sécurité, scalabilité et industrialisation. Missions principales : - Identifier, analyser et prioriser les cas d'usage AI/ML appliqués à la cybersécurité et à l'IAM. - Développer des modèles de Machine Learning permettant de détecter les comportements utilisateurs anormaux, les schémas d'accès suspects et les potentielles menaces de sécurité. - Concevoir, tester et déployer des modèles AI/ML scalables intégrables aux plateformes de cybersécurité. - Développer des solutions AI, LLM et Advanced Analytics. - Concevoir et optimiser les prompts, les sorties structurées et les mécanismes d'évaluation des modèles. - Mettre en place le monitoring et l'évaluation des solutions AI/ML. - Industrialiser les modèles et solutions analytiques jusqu'à leur mise en production. - Garantir la qualité, la maintenabilité, les tests et l'intégration continue. - Prendre en charge les projets de bout en bout, de la phase de découverte jusqu'à la livraison. - Collaborer avec les équipes Engineering, Cybersécurité et métiers.

Nous allons travailler sur un POC Réseau Autonome d'une durée limitée (approx 6 mois à partir de septembre), l'objectif est de collecter des données réseaux (données config Radio, Kpi, référentielles) les intégrer dans Databricks, développer des API pour requêter ces données afin que des agent IA puissent requêter les données à travers ces API. Livrables: Conception et développement de projets d'intégration de données pour des projets à forte valeur ajoutée. Développement de jobs d'intégration de données en PySpark, Spark, Python en mode streaming et batch sur la plateforme Databricks. La mise en œuvre de CI/CD (github, devops, Databricks Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs et des ressources cloud (GCP et Databricks). Mise en place de de Dashboard Finops afin de suivre l'usage des ressources GCP / Databricks. Travailler au sein d'équipes pluridisciplinaires : chefs de projet, architectes, devops, data engineer. Assurer une formation continue, le partage de connaissances, mise en place de documentation.

Contexte de la mission En tant que consultant data au sein de la Cellule du Qualité de Fixe (CQF) du client , vous serez en charge de produire des analyses à partir de dataset que vous aurez constitués sur des données de nos plateformes Big Data, Vous aurez également la responsabilité de rendre disponible des données, une fois celles-ci nettoyées, préparées et formatées sous forme de dataset ou de table à disposition des datascientists de l'équipe. Vous aurez à développer des tableaux de bord de suivi de KP.. Objectifs et livrables Dataset Tableau de Bord (Tableau) Analyses commentées Compétences demandées analyse statistique Confirmé SQL : Expertise Confirmé Tableau Expert Spark Python Confirmé

Nous recherchons pour un de nos clients un Data Engineer Microsoft FabricCompétences obligatoiresMicrosoft Fabric (2 ans d'expérience minimum) PySpark Lakehouse / OneLake Notebooks Fabric Spark dans Fabric Fabric Endpoints Data Engineering sous Fabric Power BI (intégration avec Fabric) Modélisation de données Compétences fonctionnellesGouvernance des données Data Products Data Mesh Architecture Médaillon (Bronze / Silver / Gold) Expérience recherchéeMise en œuvre complète de la chaîne Microsoft Fabric : Ingestion des données Transformation Modélisation Industrialisation Exposition vers Power BI Construction de pipelines de transformation avant restitution dans Power BI. Expérience sur des plateformes Data modernes. Compétences appréciées (plus)Expérience avec dbt (Data Build Tool) pour la transformation et la modélisation des données. Connaissance des bonnes pratiques d'industrialisation et de versionning des modèles de données. Expérience sur Azure Data Platform (Synapse, Data Factory, Databricks) dans un contexte Microsoft Fabric. Le candidat devra maîtriserOneLake Lakehouse Notebooks PySpark Data Engineering Fabric Data Factory / Pipelines Fabric Endpoints Semantic Models Power BI Ce qui est attenduLe consultant devra être capable d'intervenir immédiatement sur une plateforme Microsoft Fabric en production et maîtriser l'ensemble de la chaîne Data, de l'ingestion à la transformation des données, jusqu'à leur exposition dans Power BI. Le besoin porte sur un profil très opérationnel, autonome et rapidement productif. Une expérience avec dbt (Data Build Tool) constituera un atout supplémentaire.

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

ENTITE CONCERNEE Le portefeuille des "Fonctions mutualisées (DSI360)" a pour objectif de piloter et maintenir un écosystème applicatif central, garantissant la cohérence, la fiabilité et l'interopérabilité des données et des socles techniques pour l'ensemble des applications du domaine. Le portefeuille de solutions « Fonctions Mutualisées » est organisé autour de 2 activités principales : 1. La "Gestion de la donnée" qui a pour objectif répondre aux enjeux stratégiques du domaine (DPS) en termes de data (décisionnel, big data, intelligence artificielle, open data) en fournissant les données et outils nécessaires aux cas d'usage pour les différents métiers de la DPS, en particulier de la Formation Professionnelle et compétences 2. Les "Référentiels et Fonctions transverses" qui ont pour missions principales de : • Gérer les bases de données centrales (clients, paramètres, accédant) la cohérence et la traçabilité des données référentielles. • Assurer la Gestion documentaire et des courriers. Centralisation des paramètres et configurations • Documenter et industrialiser les configurations pour faciliter les déploiements et les évolutions. CONTEXTE DE LA MISSION La présente mission s'inscrit dans les activités Data de la Retraite et du Handicap de la DSI à Bordeaux et plus particulièrement dans l'équipe produit Data DL7 • Un lac de données DPS qui héberge des données sources venant du SI Opérationnel de la Direction • Des datamarts DL7 répondant à l'ensemble des usages Data de reporting et de pilotage de la retraite et du handicap • Des usages de Data hébergés sous technologie Hadoop / PySpark… • Des applications de DataViz (internes et externes) développées avec l'outil Tableau • Des usages d'exploration de la données et d'analyse Adhoc : SQL et Alteryx CONTENU DE LA MISSION Il est attendu de l'intervenant les travaux suivants : • Conception, recette, mise en production et suivi d'évolutions et correctifs. • Rédaction des user stories ou SFD des évolutions (amélioration de l'outil, évolution réglementaire, extension de périmètre) • Réalisation des plans recette et des TNR • Suivi de production et RUN : Analyse, qualification, recette des correctifs des anomalies de production • Participation aux réunions d'équipe • Accompagnement des métiers dans l'utilisation des outils Data • Réalisation/automatisation de rapports et d'indicateurs LIVRABLES ATTENDUS • Tableaux de suivi (actions, liste des Jira traités, planning…) • Stratégie de recette, cahiers et plans de tests, jeux de données • Comptes rendus d'ateliers et comités COMPETENCES RECHERCHEES • Maîtrise de la modélisation décisionnelle • Maîtrise de l'outil de datavisualisation Tableau et du SQL • Expérience significative dans la mise en œuvre de cas d'usages data • Connaissance des architectures Big Data • Expérience dans la fonction maîtrise d'ouvrage et des projets SI • Esprit d'analyse • Être automne et force de proposition • Maîtrise dans l'animation d'ateliers métiers et la compréhension des besoins utilisateurs • Expérience avérée dans une méthode Agile • Maîtrise des outils Bureautique MODALITES Intervention sur Bordeaux Télétravail accepté mais dans la limite d'une présence minimale de trois jours sur site par semaine (Jour à définir avec l'équipe).

Notre client s'appuie sur une équipe Data centrale pour exploiter une grande diversité de sources de données et générer des indicateurs à forte valeur ajoutée au service de ses activités. Dans le cadre du renforcement de son équipe Data Platform, nous recherchons un(e) Senior Cloud Data Platform Engineer qui contribuera à l'optimisation et à l'évolution de la plateforme data cloud, garantissant une intégration fluide des données à l'échelle de l'organisation. Vos missionsConcevoir et développer des templates d'Infrastructure as Code (IaC) avancés et réutilisables pour provisionner et gérer les ressources cloud, selon les meilleures pratiques et des standards d'architecture robustes. Architecturer des blueprints applicatifs complets permettant des workflows de data engineering scalables et fiables. Maintenir les projets AWS existants et accompagner les Data Engineers de l'organisation dans l'utilisation de la plateforme, en lien avec l'équipe Data Support.

Le contexte : Vous rejoignez une équipe BI/Data qui délivre et opère les produits data du domaine Marketing & Ventes. Périmètre à la fois build (nouveaux usages, évolutions) et run (support, incidents, qualité de service). Environnement Azure, stack moderne, utilisateurs business exigeants et proches. Votre mission : • Concevoir, développer et industrialiser des rapports et modèles Power BI (modélisation, DAX, performance, sécurité RLS) — pas seulement de la mise en page • Développer et maintenir les pipelines d'ingestion et de transformation (Azure Data Factory, Databricks / PySpark) • Écrire et optimiser le SQL sur des volumétries significatives • Assurer le support niveau 2/3 sur votre périmètre : analyse d'incidents, correction, communication aux utilisateurs • Participer aux rituels agiles de l'équipe (refinement, daily, revue) et à la documentation technique • Contribuer à la fiabilisation : monitoring, tests, qualité de données Le profil : Indispensable : • 3 à 6 ans d'expérience en développement BI/Data • Power BI en développement : modélisation, DAX avancé, optimisation • SQL solide (requêtes complexes, lecture de plan d'exécution, optimisation) • Databricks et PySpark en usage réel projet • Azure Data Factory (orchestration, gestion des erreurs, paramétrage) • Autonomie sur le run : savoir prendre un incident, investiguer, tenir un utilisateur informé Apprécié : • Git / CI-CD / Azure DevOps • ADLS et modèles de type médaillon / lakehouse • Anglais professionnel (échanges avec des équipes internationales) • Connaissance des données Marketing/Ventes

Notre client dans le secteur Transport et logistique recherche un/une Data Engineer BI / Reporting H/F Description de la mission : Contexte La mission s'inscrit au sein d'une équipe projet rattachée à une ligne de produit Data. Elle porte sur le développement de reporting pour un nouveau portail de suivi des prestations de service, dans un contexte plus large de migration Data Cloud. La prestation comprend également la maintenance d'un patrimoine de reporting existant sur l'écosystème SAP BI. Mission Le Data Engineer intervient sur des sujets de reporting, de préparation de données et de maintenance de traitements décisionnels. Il contribue à l'analyse des besoins métier, à la conception des solutions de restitution, à la qualité des données, aux tests et aux mises en production, tout en assurant un support opérationnel et un reporting d'activité dans un cadre agile. Principales responsabilités Analyser les besoins métier, étudier les impacts et chiffrer les développements Modéliser et préparer les données pour des usages décisionnels Concevoir et maintenir les rapports Power BI Mettre en œuvre et suivre les contrôles de qualité de données Réaliser les tests, les recettes et les mises en production Produire la documentation fonctionnelle et technique Reprendre les historiques de données depuis SAP vers Databricks Maintenir les pipelines Databricks en SQL, Python et PySpark Assurer le support, l'analyse et la résolution d'incidents Maintenir les traitements SAP BW/HANA et les restitutions SAP BusinessObjects BI4, sur une part minoritaire de l'activité Reporter son activité auprès de l'équipe DSI dans le cadre des instances Agile / Scrum Environnement technique BI / Reporting : Power BI, SAP BW/HANA, SAP BusinessObjects BI4, WEBI Data Engineering : Databricks, SQL, Python, PySpark, Kafka Cloud / Plateforme : Azure, Fabric, Power Platform Outils / Méthodes : Jira, Confluence, Agile, Scrum, SAFe, FinOps Livrables attendus Analyses de besoins, études d'impact et chiffrages Modèles de données préparés pour les usages décisionnels Rapports Power BI conçus et maintenus Contrôles de qualité de données mis en place et suivis Jeux de tests, recettes et mises en production réalisés Documentation fonctionnelle et technique Reprises d'historique depuis SAP vers Databricks Pipelines Databricks maintenus et fiabilisés Support et résolution d'incidents Profil recherché Expérience Profil expert avec plus de 7 ans d'expérience Capacité à assurer la mission en autonomie dès la prise de poste Expérience significative permettant d'intervenir efficacement sans accompagnement rapproché Compétences techniques Maîtrise de SAP BW/HANA, SAP BusinessObjects BI4, WebI et SQL Conception et maintenance de rapports Power BI Modélisation et préparation de données pour le décisionnel Maintenance de pipelines Databricks en SQL, Python et PySpark Pratique des outils Agile, Jira et Confluence La certification Power BI constitue un atout Des connaissances en consommation de topics Kafka, FinOps, Azure, Fabric et Power Platform sont appréciées La connaissance de Scrum et SAFe est appréciée La connaissance des processus de gestion de prestations de services et du suivi d'exécution de contrats et devis est appréciée Compétences personnelles Autonomie Sens du service Rigueur Esprit d'analyse Capacité d'investigation Communication claire Esprit d'équipe et coopération transverse Capacité à s'approprier rapidement un patrimoine décisionnel existant et des processus métiers complexes Capacité à être force de proposition et proactif sur les aspects techniques et fonctionnels Capacité à travailler avec des interlocuteurs métiers et techniques Capacité à documenter et transmettre les connaissances Compétences / Qualités indispensables : Power BI, Databricks, SQL, SAP BW/HANA et SAP BusinessObjects BI4, Python / PySpark, Modélisation de données décisionnelles Compétences / Qualités qui seraient un + : Certification Power BI, consommation de topics Kafka, FinOps, Azure, Fabric, Power Platform, Scrum, SAFe, connaissance des processus de gestion de prestations de services et du suivi d'exécution des contrats et devis Informations concernant le télétravail : Globalement en télétravail, jours à prévoir occasionnellement pour certaines réunions d'équipe.

ContexteDans le cadre du renforcement de son équipe Data, notre client recherche un Développeur Data Snowflake / Cortex confirmé pour participer au développement et à l'évolution de sa plateforme Data Cloud et de ses usages autour de l'IA. MissionsConcevoir et développer des pipelines de données et des traitements ETL/ELT. Développer et optimiser les modèles de données sur Snowflake. Mettre en œuvre les transformations de données avec dbt. Participer à l'intégration et à l'exploitation des fonctionnalités Snowflake Cortex et des services d'IA associés. Développer des traitements Data en Python / PySpark / SQL. Participer à la mise en qualité, au contrôle et à la sécurisation des données. Optimiser les performances des traitements et des requêtes Snowflake. Participer à l'industrialisation et à l'orchestration des pipelines. Contribuer aux pratiques Git / CI-CD et à l'amélioration continue de la plateforme Data. Environnement techniqueSnowflake, Snowflake Cortex, dbt, SQL, Python, PySpark, Spark, Azure, Azure Data Factory, Azure Databricks, ADLS, Airflow, Git, CI/CD, Power BI.

Contexte de la mission : C'est pour accompagner notre client, un grand groupe national du secteur du transport, dans l'évolution et l'industrialisation de sa plateforme Data Cloud Azure que nous recherchons un Ingénieur Data orienté DevOps. Au coeur d'un environnement Data à forts enjeux, la plateforme centralise des données issues de différents référentiels techniques, applicatifs, organisationnels et financiers afin de produire des indicateurs de pilotage et des tableaux de bord décisionnels. Vous rejoindrez une équipe intervenant sur des sujets à la fois Data, Cloud et DevOps, avec un rôle clé dans la conception et l'industrialisation des traitements de données. Votre périmètre couvrira notamment : - La conception et le développement de traitements Databricks / PySpark selon une architecture Bronze / Silver / Gold ; - L'industrialisation et l'optimisation des pipelines Data ; - L'automatisation et la gestion des infrastructures Azure avec Terraform ; - La mise en oeuvre et le maintien des chaînes CI/CD avec Jenkins et GitHub ; - La supervision et l'exploitation de la plateforme Data. La mission offre également une véritable dimension de conseil et d'accompagnement : études d'opportunité, sujets d'innovation, réflexions autour des architectures Data et recommandations visant à optimiser les performances, la fiabilité et les coûts des solutions. Responsabilités : * Concevoir et industrialiser les traitements de données Databricks (PySpark) selon une architecture Bronze / Silver / Gold ; * Développer, optimiser et maintenir les pipelines de données en garantissant performance, qualité et maîtrise des coûts ; * Exploiter les formats de données (Delta, Parquet, CSV) et mettre en oeuvre les bonnes pratiques associées ; * Assurer la supervision de la plateforme data via Azure Data Factory : monitoring, alerting, suivi de la qualité des données et reporting ; * Renforcer la fiabilité et la résilience des traitements en participant à la gestion des incidents, à la détection d'anomalies et à l'amélioration continue ; * Contribuer aux activités DevOps et Cloud en maintenant les infrastructures et pipelines CI/CD (Terraform, Jenkins, GitHub) et en collaborant avec les équipes métiers et techniques.

Dans le cadre de l'évolution d'une Data Platform Cloud déjà en production, nous recherchons un Data Engineer AWS confirmé/senior. La mission s'inscrit dans un environnement Data à forte volumétrie et porte principalement sur l'évolution de la plateforme, l'industrialisation des pipelines de données et l'intégration de solutions AWS. Vos missionsParticiper à la définition et à l'évolution de l'architecture Data Platform / Lakehouse Concevoir, développer et industrialiser des pipelines de données Développer des traitements PySpark sur AWS Glue Intégrer les services Data AWS, notamment S3 Participer au développement d'API en Java / Spring Boot Contribuer à la mise en place d'un environnement Data Lab Mettre en œuvre et améliorer les processus CI/CD Analyser les besoins fonctionnels et les traduire en solutions techniques Garantir la maintenabilité et la sécurité des solutions Participer aux mises en production Assurer le support de production en cas d'incident majeur Contribuer aux bonnes pratiques de développement, de tests et d'industrialisation

RésuméLe projet a pour objectif la création et l'évolution d'un produit de données à destination des actuaires, qui utiliseront ces données pour l'entraînement de leurs modèles (tarifaires par exemple). Le candidat rejoindra une équipe de 4 data engineers (dont un lead) pour participer à la mise en place de ce produit de données. Responsabilités :Proposer et valider des solutions techniques Mettre en œuvre des solutions performantes dans un cadre Agile Participer aux activités opérationnelles courantes Must Haves :Expérience avec Cloud Azure (Data Factory, ADLS, Databricks) Compétences obligatoires en PySpark et Python Bonnes connaissances des architectures de données Compétences en SQL Nice to Haves :Connaissance de Scala Expérience sur les processus DevOps et CI/CD Autres Détails :Localisation : Hauts-de-Seine (92) Télétravail : 3 jours

Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT sénior (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks, dbt et les meilleures pratiques d'ingénierie Data. Vos missions Concevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt. Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.

Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer pour intervenir sur une plateforme Data à fort volume, au sein d'un environnement international et orienté produit. Vous rejoindrez une équipe technique en charge de construire, industrialiser et faire évoluer des solutions permettant de collecter, transformer, fiabiliser et exposer la donnée à destination des équipes Data et métiers. L'environnement repose sur une Modern Data Stack, avec une architecture de type Lakehouse, et de forts enjeux autour de la scalabilité, de l'automatisation et de la qualité des données. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et mettre à disposition des données provenant de différentes sources. Développer des traitements en Python / PySpark / SQL. Orchestrer les pipelines de données et les workflows avec Airflow. Participer à la modélisation et à la structuration des données. Développer et maintenir les transformations avec dbt. Mettre en place des contrôles permettant de garantir la qualité et la fiabilité des données. Optimiser les performances et les coûts des traitements. Participer à l'amélioration continue de la plateforme Data. Contribuer aux sujets de Data Governance, Data Lineage et Data Contracts. Appliquer les bonnes pratiques de Software Engineering : Git, GitHub, CI/CD, tests et documentation. Travailler en étroite collaboration avec les Data Engineers, Analytics Engineers, Data Analysts et Data Scientists. Environnement techniqueCloud : AWS / GCP Data Platform : Databricks, S3 Processing : Spark / PySpark Langages : Python, SQL, idéalement Scala Orchestration : Airflow Transformation : dbt Data Quality : Great Expectations Versioning / Delivery : Git, GitHub, CI/CD Data : Lakehouse, Data Lineage, Data Governance, Data Contracts Méthodologies : Agile / Scrum / Kanban