Find your next tech and IT Job or contract PySpark

Bonjour à tous ! Dans le cadre d'un projet stratégique, nous recherchons un Data Engineer expérimenté disposant d'une solide expertise Azure Databricks. Missions Développement et optimisation de pipelines de données Big Data Traitement et transformation de données volumineuses avec PySpark Conception et évolution d'une architecture Lakehouse Manipulation de données complexes (JSON imbriqués) Industrialisation des traitements et amélioration des performances Participation aux évolutions de la plateforme Data Collaboration avec les équipes métiers et techniques Environnement technique Azure Azure Databricks PySpark / Spark Python SQL Delta Lake JSON Git / GitLab / GitHub Azure Data Factory (plus) Profil recherché Minimum 5 ans d'expérience en Data Engineering / Big Data Forte expérience Databricks et PySpark Maîtrise des environnements Azure Autonomie sur le développement et l'industrialisation de traitements Data Expérience des architectures Data Lake / Lakehouse Compétences appréciées Power BI Azure Synapse Analytics 📍 Localisation : Île-de-France 🏠 Télétravail : hybride 📅 Démarrage : ASAP

Nous recherchons un(e) Consultant(e) Data Platform / DataOps Senior pour intervenir au sein d’un groupe international engagé dans une transformation ambitieuse de son écosystème Data & Analytics. Au sein d’une équipe Data transverse, vous participerez à la conception, l’évolution et l’industrialisation d’une plateforme Data Cloud moderne, destinée à centraliser et valoriser les données provenant de multiples systèmes métiers. Vous contribuerez à la mise en place de solutions robustes, scalables et sécurisées permettant de répondre aux enjeux de gouvernance, d’intégration et d’exploitation de la donnée. Vos principales responsabilités seront les suivantes : Participer à l’architecture et à l’évolution de la plateforme Data ; Concevoir et industrialiser les pipelines de traitement et d’intégration de données ; Développer et optimiser les traitements de données à grande échelle sur Spark ; Mettre en œuvre les bonnes pratiques DataOps (CI/CD, automatisation, monitoring, qualité des données) ; Contribuer à l’intégration des applications et des flux de données au sein du SI ; Collaborer avec les équipes Data Engineering, Architecture, BI et Métiers ; Participer à l’amélioration continue de la performance, de la fiabilité et de la sécurité de la plateforme. Environnement technique : Azure, Databricks, Spark/PySpark, Azure Data Factory, Azure DevOps, Data Lake, CI/CD, API & intégration de données. Nous recherchons un profil disposant d’au moins 6 ans d’expérience sur des environnements Data Cloud, avec une solide expertise Azure et Spark. Une expérience des sujets d’intégration de données et des plateformes iPaaS constitue un véritable atout. Une connaissance de MuleSoft serait particulièrement appréciée. Le poste nécessite une forte capacité à évoluer dans des environnements internationaux, à dialoguer avec des interlocuteurs techniques et fonctionnels, ainsi qu’une bonne autonomie sur les problématiques de plateforme Data et d’industrialisation.

Dans le cadre d’un programme stratégique de transformation Data, notre client renforce son équipe avec un(e) Lead Data Engineer spécialisé(e) sur l’écosystème Databricks. L’objectif est d’accompagner la mise en place d’une nouvelle plateforme de données moderne, capable de répondre aux enjeux de performance, de gouvernance, de qualité et de valorisation de la donnée. Vous interviendrez sur des projets structurants autour de l’industrialisation des flux de données, de la modélisation des référentiels analytiques et de la diffusion des données vers les outils décisionnels. Vos missions: Concevoir, développer et industrialiser des pipelines de données sur Databricks et Spark. Participer à la définition et à la mise en œuvre du modèle de données cible. Structurer les flux de données afin de garantir leur qualité, leur cohérence et leur performance. Contribuer à l’exposition et à la valorisation des données auprès des équipes BI et des utilisateurs métiers. Définir et mettre en place les standards de développement, de qualité et d’industrialisation. Mettre en œuvre les pratiques de tests automatisés et les processus CI/CD. Participer aux travaux de migration et de transformation de la plateforme Data. Accompagner les équipes sur les sujets techniques liés à Databricks et aux architectures Lakehouse. Contribuer à l’amélioration continue des solutions et des méthodes de travail. Assurer un rôle de référent technique sur les problématiques Data Engineering.

Nous recherchons un Data Engineer Expert pour intervenir au sein de l’entité Intelligence Artificielle (IA) et robotisation (RPA), d'un grand groupe du secteur des assurances. 🎯 Contexte de la mission : L’entité Intelligence Artificielle a pour objectif d’apporter de la valeur aux clients et collaborateurs via des services efficaces et responsables. Ses domaines d’intervention : Data Engineering Machine Learning Deep Learning Conversationnel / Chatbot Assistant virtuel Analyse multimédia et multicanaux (voix, vidéo, langage naturel…) 🎯 Objectifs de la mission : Développement Data CAS (Contrôle d’Activités Sinistre) Migration Cloud

Nous sommes à la recherche d'un(e) : Data Engineer Senior - Participer activement aux différentes phases de conception, de planification et de réalisation des tâches avec l’équipe - Construire et maintenir de pipelines data robustes et scalables - Accompagner les membres de l’équipe dans l’exploitation et le requêtage des données - Organiser et structurer le stockage des données - Mettre en place et maintenir des infrastructures scalables capable de répondre aux besoins et à l’accroissement rapide du volume de données - Construire et maintenir les workflows de la CI/CD - Partager avec les autres data ingénieurs pour appliquer les bonnes pratiques en vigueur - Assurer l’évolutivité, la sécurité, la stabilité des environnements - Participer aux différentes instances des data ingénieurs - Contribuer et veiller à la mise à jour de la documentation - Faire de la veille technologique active dans le domaine

Vous rejoignez CGI, leader mondial du conseil et des services numériques à Lyon et accompagnez nos clients. A Lyon, nos équipes accompagnent nos clients grands comptes dans la mise en œuvre de leurs projets stratégiques. Nos services couvrent l'ensemble du cycle de production logiciel, de l’amont des projets à la maintenance de solutions dans des domaines variés comme l'énergie, le transport, la pharma, le secteur public, la finance ou les télécommunications. Notre agence abrite également le centre mondial d'excellence de CGI dédié à la digitalisation de la supply chain, offrant ainsi de multiples perspectives d’évolution de carrière Fonctions et responsabilités Nous recherchons un(e) Développeur/euse Big Data Confirmé(e) pour intervenir sur la migration de traitements legacy vers des architectures modernes et participer à la refonte complète dans le cloud. Travail en Agile Migration de traitements existants (Informatica, PL-SQL) vers Spark Java Conception et développement de pipelines de données robustes et performants Maintenance corrective et évolutive des traitements SQL/PL-SQL existants Participation au projet de migration cloud sur Databricks Garantie de la performance, de la robustesse et de la qualité des données Participation active au RUN et à l'amélioration continue Contribution aux bonnes pratiques de développement Mise à jour du référentiel documentaire et partage de connaissances au sein de l'équipe Stack technique Spark / Java / SQL / PL-SQL / Databricks / Oracle / Informatica / Jenkins / Terraform / Git / Maven / Control-M Qualités requises pour réussir dans ce rôle Maîtrise de Spark (indispensable) Maîtrise de SQL / PL-SQL (indispensable) Programmation orientée objet Java ou Python Expérience sur des systèmes existants et culture du RUN en production

Vos missions Votre travail consistera à accompagner la migration et l’industrialisation d’une plateforme data cible basée sur Databricks, Spark et Power BI. Conception et développement des pipelines data Concevoir, développer et maintenir des pipelines data sous Databricks et Spark. Développer les traitements en Python, PySpark et SQL. Mettre en place des traitements robustes, maintenables et scalables. Contribuer à la définition et à la mise en œuvre du modèle de données cible. Industrialisation et qualité Industrialiser les pipelines de données à travers les standards de développement, les tests, le CI/CD et les déploiements. Mettre en œuvre les bonnes pratiques de développement et accompagner les équipes dans leur adoption. Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements. Participer au suivi de production, à l’analyse des incidents et à l’amélioration continue. Performance et exploitation Prendre en compte les enjeux de performance et de maîtrise des coûts. Orchestrer les traitements via Databricks Workflows. Participer à l’intégration des sources d’alimentation du datalake. Architecture et collaboration Contribuer aux choix techniques liés à la plateforme data. Participer au cadrage des besoins avec les équipes utilisatrices. Contribuer à l’interfaçage avec les outils de restitution de données. Participer à la documentation technique et aux standards de l’équipe. Participer aux rituels agiles et aux activités d’amélioration continue.

Dans le cadre d'un programme stratégique de transformation Data & IA au sein d'un grand groupe international, nous recherchons un Data Engineer Senior AWS pour contribuer à l'évolution et à l'industrialisation d'une plateforme Data Cloud déjà en production. Cette plateforme constitue le socle technologique permettant d'alimenter des solutions analytiques avancées et des cas d'usage innovants basés sur l'intelligence artificielle. Vous intégrerez une équipe Data multidisciplinaire évoluant dans un environnement international et fortement orienté Cloud. Missions Participer à la conception et à l'évolution de l'architecture Data Platform et Data Lake/Lakehouse. Développer et maintenir des pipelines de données robustes et performants. Concevoir et implémenter des traitements de données à grande échelle à l'aide des services AWS. Participer à l'intégration de nouvelles sources de données internes et externes. Mettre en œuvre les bonnes pratiques de Data Management, Data Quality et DataOps. Participer à l'automatisation des déploiements et à l'amélioration continue des chaînes CI/CD. Garantir la performance, la sécurité et la maintenabilité des solutions développées. Accompagner les équipes métiers dans la traduction des besoins fonctionnels en solutions techniques. Participer aux phases de mise en production et au support des environnements critiques. Contribuer aux travaux d'amélioration continue de la plateforme.

Dans le cadre d’un grand groupe du secteur de l’assurance et de la protection sociale , la Direction Technique Informatique recherche un architecte technique Data pour intervenir sur les socles DATA de la plateforme décisionnelle et Big Data. L’équipe en charge des socles Data assure la conception, l’évolution et l’exploitation des plateformes de données industrielles permettant le pilotage, le reporting décisionnel, la data science et l’exploration de données à grande échelle. La prestation consiste à intervenir sur la conception, l’évolution et le maintien en conditions opérationnelles des plateformes Data Big Data (Hadoop) ainsi que sur les projets de transformation vers des plateformes Data modernes.

Contexte de la mission Vous intégrerez une équipe intervenant sur une architecture data complexe et participerez à la mise en place, l’analyse et l’exploitation de données à forte volumétrie dans un environnement Agile. La mission nécessite une forte autonomie ainsi qu’une excellente maîtrise des technologies Data et BI. Missions principales Développer et maintenir des traitements de données en Python et PySpark Manipuler et exploiter des données au sein d’une architecture data complexe Concevoir et optimiser des requêtes SQL Créer et maintenir des tableaux de bord et reportings avancés sous Power BI Développer des mesures et indicateurs via le langage DAX Participer aux analyses de données et à l’amélioration continue des traitements existants Collaborer avec les équipes métiers et techniques dans un environnement Agile Participer au versionning et à la gestion du code via Git

Missions Le rôle vise à apporter l’expertise nécessaire pour soutenir les projets data et l’écosystème Databricks au sein du groupe. L’équipe met à disposition des environnements d’évaluation et de test, définit les standards et bonnes pratiques d’usage, et accompagne les entités ayant des besoins spécifiques sur des périodes dédiées. Les interlocuteurs sont principalement des Data Specialists et Data Citizens. Les environnements techniques s’appuient sur Databricks AWS et Azure . Les activités se structurent autour de trois axes : Data Engineering : développement et opérations data DevOps / DataOps : déploiement, automatisation, Infrastructure-as-Code, administration des plateformes Expertise : veille technologique, anticipation des évolutions, test et validation des nouvelles fonctionnalités Dans ce contexte, les responsabilités confiées sont les suivantes : Administrer, surveiller et maintenir les espaces de travail Databricks du COE. Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. Garantir la qualité et la conformité des services fournis aux entités. Accompagner les équipes métiers et data dans l’adoption de l’écosystème Databricks et leur transition vers les normes groupe. Tester, évaluer et recommander les nouvelles fonctionnalités de l’éditeur ou d’outils complémentaires pour améliorer l’expérience globale. Veiller au respect des politiques groupe et accompagner leur mise en œuvre. Contribuer à la conception et à la réalisation des use cases stratégiques portés par les entités.

Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l’industrialisation d’une plateforme data cible autour de Databricks / Spark / Power BI​ Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l’industrialisation d’une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l’exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d’incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l’interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l’intégration de sources d’alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d’équipe Participer aux rituels agiles et à l’amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud

Nous recherchons un Tech Lead Data Engineer expérimenté H/F en CDI sur Lyon pour une entreprise de renommée française afin de piloter la conception et l’évolution de notre plateforme data. Vous serez référent technique sur les sujets liés au traitement de données massives, à l’industrialisation des pipelines et à l’optimisation des architectures data. Vous interviendrez dans un environnement moderne orienté Big Data et Cloud, avec une forte utilisation de Python, Spark et des outils d’automatisation CI/CD. 3 jours de Télétravail Missions principales Concevoir et développer des pipelines de données robustes et scalables Encadrer techniquement l’équipe Data Engineering Développer des traitements distribués avec Spark Assurer l’intégration et la transformation de données à grande échelle Optimiser les performances des bases PostgreSQL et des traitements Big Data Participer à l’architecture des solutions Hadoop et Data Lake Industrialiser les déploiements via GitLab CI/CD Garantir la qualité, la sécurité et la fiabilité des données Collaborer avec les équipes Data Science, DevOps et métiers Mettre en place les bonnes pratiques de développement et de gouvernance data

Bonjour à tous 😀 🚀 Contexte de mission Nous recherchons un Data ingénieur - Référent technique Nifi et Data , vous intervenez au sein d’une équipe Data & IA sur des environnements critiques à forte volumétrie. L’objectif : concevoir, optimiser et sécuriser les flux de données dans un contexte de production exigeant, avec des enjeux forts de continuité de service . 🎯 Vos missions Développer et maintenir des pipelines de données (Apache NIFI / Databricks) Optimiser les flux existants (performance, fiabilité, scalabilité) Assurer le RUN et le support (HNO / 24-7) Mettre en place et améliorer les processus CI/CD Superviser les traitements (monitoring, alerting) Participer aux études techniques et POC Produire la documentation et les reportings d’incidents Être force de proposition sur l’ amélioration de l’architecture data ✅ Must Have Expertise Apache NIFI Très bonne maîtrise de Databricks Expérience solide sur Azure Bon niveau en Python & Spark Expérience en environnement de production critique (RUN / incidents) Connaissance CI/CD (Git / GitLab) Expérience en monitoring (type DataDog) Bonne maîtrise des bases de données (PostgreSQL) Expérience en Agile / Scrum ➕ Nice to Have Connaissance AKS (Kubernetes) Expérience avec Zookeeper Background sur des projets data à forte volumétrie Culture DevOps / automatisation avancée

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l’amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Date de démarrage : ASAP Date de fin : 31/10/2026 Localisation : Paris Tarif Journalier Moyen (TJM) Max : 660 € Descriptif de la Mission Au sein des équipes Data, vous interviendrez sur la conception, le développement, la gouvernance et l'optimisation de nos plateformes de données. Vos activités principales s'articuleront autour de quatre grands piliers : 1. Développement & Architecture Data Concevoir et développer des pipelines de données robustes et scalables sur Databricks ( PySpark , Spark SQL , Delta Live Tables ). Mettre en place des architectures Lakehouse basées sur Delta Lake . Industrialiser et orchestrer les workflows ETL/ELT à l'aide de Databricks Workflows . 2. Gestion et Administration de la Plateforme Databricks Administrer l’espace de travail (gestion des workspaces, configuration des clusters, gestion des permissions). Assurer l'optimisation des coûts (finops) via la configuration fine, l’autoscaling et le monitoring des clusters. Implémenter et faire respecter les bonnes pratiques de sécurité ( Unity Catalog , gestion des accès, lineage de la donnée). 3. Gouvernance & Qualité des Données Mettre en place des mécanismes stricts de qualité et de validation des données ( expectations , tests automatisés). Documenter rigoureusement les modèles et les flux sur la plateforme. Garantir la fiabilité, la cohérence et la fraîcheur des données mises à disposition. 4. Collaboration & Support Collaborer étroitement avec les Data Analysts, Data Scientists et les équipes métiers. Accompagner et former les utilisateurs clés dans l’adoption et la prise en main de l'écosystème Databricks. Participer activement aux revues de code, à la standardisation et au partage des bonnes pratiques d'ingénierie. Compétences RequisesTechniques (Incontournables) : Développement : Excellente maîtrise de PySpark ou Spark SQL . Écosystème : Forte expérience pratique avec Databricks (pipelines, clusters, notebooks, Unity Catalog). Architecture : Solides connaissances des architectures Lakehouse , du data modeling, des concepts ETL/ELT et des stratégies d'ingestion (batch & streaming). Cloud : Connaissance approfondie d’au moins un des principaux fournisseurs cloud ( Azure , AWS ou GCP ). DevOps : Maîtrise de Git et des pratiques de CI/CD (Azure DevOps, GitHub Actions, etc.). Souhaitées (Un plus) : Connaissances en MLflow , orchestration de modèles et pratiques MLOps . Notions avancées en DataOps , cost optimization (FinOps) et outils de monitoring. Expérience dans l’exploitation d’APIs et l'ingestion de données en temps réel (ex: Kafka ).