Data Engineers Databricks, PySpark, Python, SQL, Gitlab, Nexus, Terraform Nantes ( 3 à 4 jours de télétravail) 05/10/2026 Databricks, PySpark, Python, SQL, Gitlab, Nexus, Terraform Nous recherchons 2 data Engineers confirmés qui travailleront sur des cas d'usage. Les principales tâches seront: - Participer à la conception des usages suivant l'architecture définie. - Réaliser les développements en langage python/spark, - Être vigilant sur les bonnes pratiques du point de vue FINOPS - Réaliser les travaux jusqu'en environnement de production - Participer au support N3 de la production - Être force de proposition, - Documenter les réalisations. Il est nécessaire de maitriser Databricks, Python, PySpark
Contexte : La mission s'inscrit dans le cadre du projet DatOps. Le Data Engineer interviendra en lien étroit avec les équipes de production applicative / DevOps afin de mettre en œuvre techniquement les demandes métiers et de faire évoluer la plateforme Data. Missions principales Mettre en œuvre de nouvelles ingestions de données. Réaliser les opérations de Data Preparation et transformation. Maintenir et faire évoluer les pipelines de données. Participer aux évolutions techniques de la plateforme. Formaliser et transmettre à l'équipe DevOps les demandes d'évolution. Contribuer au maintien et à l'amélioration des solutions Data existantes. Rédiger des spécifications techniques claires et précises. Compétences indispensables Très bonne maîtrise attendue de : GCP – Google Cloud Platform BigQuery Cloud Storage SQL Python orienté objet Pandas et/ou Dask Bash scripting Git Une expérience en environnement Agile / Scrum est également attendue. Anglais professionnel indispensable à l'écrit et à l'oral Compétences appréciées / différenciantes Les technologies suivantes constituent des atouts supplémentaires : Cloud Functions – SAS – Alteryx – XLD/XLR – Control-M – Hadoop – Spark.
Nous recherchons pour l'un de nos clients un DevOps / Cloud Infrastructure Engineer afin de rejoindre une équipe technique travaillant sur une plateforme Cloud à grande échelle, dans un environnement où les enjeux de sécurité, industrialisation et disponibilité sont particulièrement importants. Vous intégrerez une équipe d'ingénieurs et travaillerez en collaboration avec des profils Infrastructure, Data, Architecture et Product. Missions Vous participerez au développement, à l'évolution et à la maintenance de l'ensemble de l'infrastructure définie as code. La mission se répartit approximativement de la manière suivante : Terraform : 45 % – développement et maintenance de l'Infrastructure as Code ; Helm & Docker : 30 % – création et maintenance de charts Helm et Dockerfiles ; Bash : 20 % – développement de scripts, outils de contrôle et automatisation des déploiements ; Python : 5 % – interactions avec les équipes Data, tests et besoins spécifiques des utilisateurs. Vous serez notamment amené à automatiser le déploiement d'infrastructures Cloud à grande échelle sous Microsoft Azure à l'aide de Terraform, Terragrunt, Packer et Ansible. Vous participerez également au déploiement et à l'industrialisation de différents composants au sein de clusters Kubernetes, notamment Ingress, Keycloak, Nexus, GitLab, Jupyter, Spark ou PostgreSQL. Vous contribuerez aux évolutions d'architecture de la plateforme, à l'amélioration des processus de déploiement, à la documentation technique ainsi qu'à l'application des bonnes pratiques de sécurité.
En lien avec l'équipe de production applicative / DevOps, vous serez en charge de la mise en œuvre technique des demandes métier dans le cadre du projet DataOps. Vous interviendrez sur l'ingestion, la préparation et la transformation des données ainsi que sur l'évolution des pipelines au sein de l'environnement GCP. Votre rôle Ingestion et transformation des données · Mettre en œuvre de nouvelles ingestions de données dans Cloud Storage et BigQuery · Développer les traitements de préparation et de transformation des données · Développer et maintenir les traitements en Python et SQL, notamment avec Pandas et/ou Dask · Intervenir sur les traitements distribués s'appuyant sur Spark lorsque nécessaire Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les scripts Bash nécessaires à leur exécution · Assurer le suivi et l'ordonnancement des traitements avec les outils du périmètre, notamment Control-M · Analyser et résoudre les problématiques techniques liés aux traitements et aux pipelines Evolution de la plateforme Data · Identifier les besoins d'évolution de la plateforme liés aux traitements et pipelines de données · Rédiger les spécifications techniques nécessaires aux évolutions mises en œuvre · Formaliser et transmettre à l'équipe DevOps les demandes relatives aux évolutions de la plateforme ________
RésuméLe rôle d'Architecte Data Technique consistera à concevoir et déployer des plateformes de données à l'échelle de l'entreprise tout en garantissant la conformité avec les standards définis au niveau du Groupe. ResponsabilitésDéploiement du framework au sein des entités Supervision de la transformation transverse Cross-entités Conception et évolution du framework technique Contribution technique opérationnelle (Hands-On Engineering) Leadership technique et accompagnement Must HavesPlus de 10 ans d'expérience en ingénierie ou architecture des données Solides compétences pratiques en Python et SQL Expertise en traitement distribué (Spark, Databricks) Expérience avec les plateformes AWS et Infrastructure as Code Maîtrise de l'architecture des données : modélisation, gouvernance, sécurité Expérience dans le pilotage de programmes transverses Maîtrise courante de l'anglais Nice to HaveConnaissance des outils open source et des services cloud natifs Expérience avec FinOps et observabilité
Dans le cadre d'une mission de continuité opérationnelle, une entreprise recherche un Data Analyst afin de renforcer ses équipes sur un environnement Data & Cloud. Les informations disponibles à ce stade permettent d'identifier un environnement principalement orienté autour de la gestion, préparation, modélisation et analyse des données, ainsi que de la production de reportings et d'indicateurs. Le contexte fonctionnel précis et les enjeux détaillés de la mission sont encore en cours de consolidation. Des échanges complémentaires avec le client permettront de préciser le périmètre, les priorités et l'organisation de l'équipe. Missions principalesParticiper à la préparation, la transformation et la structuration des données. Réaliser des analyses de données et produire des indicateurs pertinents. Participer à la modélisation des données. Concevoir et maintenir des rapports et tableaux de bord. Contribuer à la gestion et à la qualité des données. Recueillir et analyser les besoins fonctionnels et techniques. Rédiger les spécifications fonctionnelles et techniques. Participer aux phases de mise en production. Contribuer au cadrage et au suivi des sujets projet. Participer aux comités de pilotage et au suivi des objectifs. Accompagner et former les utilisateurs sur les solutions mises en place. Collaborer avec les équipes métiers et techniques. Environnement techniqueOutils : Microsoft Power BI Microsoft Excel Microsoft Power Query Git Apache Airflow Langages et technologies : SQL Python DAX Pandas Scikit-learn Apache Spark JavaScript Frameworks / bibliothèques : Plotly TensorFlow Bases de données : Google Cloud BigQuery MariaDB MySQL Cloud : Google Cloud Platform (GCP)
Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT sénior (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks, dbt et les meilleures pratiques d'ingénierie Data. Vos missions Concevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt. Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.
Positionné au sein de la DSI de l'entreprise, le Data Engineer intègrera l'équipe Conso Data qui traite les données de consommation des clients afin de les exposer sur les canaux digitaux. Il devra : - Être force de proposition et participer à la conception des solutions techniques en collaboration avec les membres de l'équipe. - Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels. - Participer aux cérémonies Agile SAFe (PI Planning, macro-chiffrage, refinements, rétrospectives, etc.). - Concevoir et faire évoluer les architectures de données basées sur l'approche Databricks Medallion Architecture (Bronze, Silver, Gold). - Garantir la qualité, la fiabilité et la performance des traitements de données en production. (Jobs Databricks et APIs) - Contribuer à l'amélioration continue de la plateforme en proposant des optimisations techniques, des bonnes pratiques et des innovations. Il sera notamment amené à : - Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers. - Mettre en œuvre et orchestrer les traitements de données à l'aide des outils Databricks. - Modéliser les données dans les tables Delta Lake en appliquant les bonnes pratiques de partitionnement, indexation, optimisation et gouvernance. - Optimiser les performances des traitements Databricks (Spark, Delta Lake, gestion des coûts et du temps d'exécution). - Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD. - Concevoir, développer et maintenir des APIs permettant l'exposition et la consommation des données. - Mettre en place des mécanismes de contrôle qualité des données (Data Quality), de monitoring et d'alerting. - Identifier, analyser et résoudre les incidents de production tout en assurant le suivi des actions correctives. - Rédiger et maintenir la documentation technique des solutions mises en œuvre. - Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering Environnement Technique : - Python, SQL - Spark, PySpark, DBUtils - FastApi, Pytest - Databricks, Unity Catalog - Ariflow (migration vers Databricks Workflow) - AWS (Lambda, secrect manager, Bucket S3, ECS) - Git et gestion du versioning - Déploiement pipeline CI/CD
Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !
Intitulé : Data Engineer Senior IA (H/F) Expérience : +7 ans minimum Mode de travail : Hybride Localisation : Île-de-France Démarrage : ASAP Secteur : Services financiers Environnement : AWS, Spark, Python, SQL, DataOps, Gouvernance Data, CI/CD ContexteDans le cadre de l'accélération de sa stratégie Data, un grand groupe du secteur des services financiers recherche un(e) Data Engineer Senior pour rejoindre sa Direction Data & IA. Vous interviendrez au sein d'une équipe en charge de la conception, de l'industrialisation et de l'exploitation des plateformes de données destinées à soutenir les enjeux métiers, réglementaires et analytiques de l'entreprise. Votre rôle consistera à concevoir des architectures Data robustes, piloter l'industrialisation des pipelines de données et garantir la qualité, la gouvernance et la valorisation des données à grande échelle. Missions principalesPilotage des projets DataGérer un portefeuille de projets Data couvrant l'ensemble du cycle de vie de la donnée : ingestion, transformation, exposition et gouvernance. Accompagner les métiers dans l'identification et la formalisation de leurs besoins Data. Traduire les besoins fonctionnels, techniques et réglementaires en solutions concrètes et industrialisables. Être le référent technique Data auprès des chefs de projet, architectes, développeurs, data analysts, data scientists et parties prenantes métier. Piloter les choix techniques et garantir leur cohérence avec les standards de l'entreprise. Conception et développement des pipelines DataConcevoir, développer et maintenir des pipelines d'ingestion de données : Batch APIs Flux programmés Chargements de fichiers Développer des traitements ETL / ELT alimentant un Data Lake et des plateformes analytiques. Mettre en œuvre les bonnes pratiques de modélisation des données. Garantir la performance, la qualité, la résilience et la maintenabilité des traitements. Assurer l'industrialisation complète des développements réalisés. Challenger les choix techniques et méthodologiques proposés par les autres membres de l'équipe. Architecture Data et IndustrialisationConcevoir des architectures Data modernes, modulaires et évolutives. Définir et appliquer les principes DataOps : Automatisation Versionning CI/CD Reproductibilité Observabilité Favoriser la mutualisation et la réutilisation des composants existants avant tout nouveau développement. Construire et maintenir : Pipelines ETL / ELT Chaînes CI/CD APIs de diffusion de données Mécanismes de monitoring et d'alerting Collaborer avec les équipes Data, Cloud et IA afin d'harmoniser les pratiques et accélérer les déploiements. Gouvernance, qualité et conformité des donnéesDéfinir et promouvoir les standards de développement Data. Garantir la qualité, la traçabilité et la conformité des données. Structurer les pratiques autour de : Git et workflows de développement Tests automatisés Documentation Data Catalog Métadonnées Lignage des données Infrastructure as Code Réaliser des audits techniques des pipelines et jeux de données. Assurer la conformité des solutions avec les exigences réglementaires et les politiques internes de gouvernance. Garantir la reproductibilité attendue lors des contrôles et audits. Leadership technique et accompagnementEncadrer et accompagner les Data Engineers juniors et intermédiaires. Participer à la montée en compétences de l'équipe. Assurer un rôle de mentor et de référent technique. Vulgariser les enjeux Data auprès des utilisateurs métiers. Participer aux revues d'architecture et aux processus de validation technique. Contribuer à la diffusion des bonnes pratiques Data et DataOps. Innovation et veille technologiqueRéaliser une veille active sur les technologies Data, Cloud et IA. Identifier les opportunités d'amélioration des plateformes existantes. Proposer des solutions innovantes répondant aux enjeux métiers. Anticiper les évolutions réglementaires et les enjeux liés à la qualité, la gouvernance et la souveraineté des données.
Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.
Dans le cadre d'un projet stratégique lié à la gestion et à la surveillance des risques, une grande organisation recherche un Data Engineer Python / Spark afin de participer à la mise en œuvre d'une solution permettant d'ingérer, d'agréger et d'exposer des données provenant de sources multiples. La solution a pour objectif de produire des reportings métiers dans le cadre de la surveillance des risques, notamment sur les problématiques liées aux risques climatiques et physiques. Au sein d'une équipe experte et engagée, vous participerez à la conception, au développement et à l'intégration de la solution sur Google Cloud Platform (GCP). Vos principales missions seront : Participer à la conception et au développement de solutions Data. Développer et intégrer des traitements en Python / Spark. Mettre en œuvre les services Data et Compute de Google Cloud Platform. Participer à l'ingestion, l'agrégation et l'exposition de données provenant de sources multiples. Contribuer à la production des données nécessaires aux reportings métiers. Participer aux phases de tests, d'intégration et de mise en production. Contribuer à l'industrialisation et à l'automatisation des traitements. Participer aux pratiques DevOps du projet. Collaborer avec les équipes techniques et métiers. Garantir la qualité et la fiabilité des développements réalisés. Le projet étant stratégique et à forte visibilité, une expertise technique solide sur l'écosystème GCP est indispensable.
Dans le cadre d'un programme stratégique autour de l'Intelligence Artificielle, nous recherchons un Data Engineer SAP AI capable d'intervenir sur la conception, l'intégration et l'exploitation de données issues de SAP S/4HANA, afin d'alimenter des cas d'usage Data & AI à forte valeur métier. La mission nécessite une présence sur site à Paris 3 jours par semaine. Missions principalesConcevoir et développer des pipelines de données à partir de SAP S/4HANA. Extraire, transformer et intégrer les données SAP vers des plateformes Data. Participer à la mise en œuvre de cas d'usage IA / GenAI exploitant les données SAP. Garantir la qualité et la fiabilité des données. Collaborer avec les équipes métiers, Data Scientists, Data Engineers et Architectes Data. Optimiser les performances des flux de données et traitements analytiques. Préparer et mettre à disposition les données pour les modèles IA. Compétences recherchéesSAP Expertise SAP S/4HANA Bonne compréhension des données et processus métiers SAP Expérience en intégration et extraction de données SAP Data Engineering SQL avancé Python Spark ETL / ELT Data Lake / Data Warehouse APIs et traitements de données AI / Analytics Connaissance des architectures IA et GenAI Préparation des données pour les modèles IA Compréhension des enjeux RAG, LLM et gouvernance des données appréciée Cloud Azure, AWS ou GCP apprécié ModalitésType de mission : Assistance technique / Expertise Data Localisation : Paris Présence : 3 jours/semaine sur site Démarrage : ASAP Durée : à confirmer
Contexte de la mission Au sein de la DSI France, le département SI METIER & DATA souhaite renforcer sa capacitée à réaliser des projets Data. Au sein de l'équipe Data et de l'équipe projet, le Data Engineer réalise les intégrations de données, les traitements et les reportings dans PALANTIR Foundry. Il propose et recherche les meilleurs solutions techniques en collaboration avec l'équipe projet et participe au suivi quotidien des flux de données. Le projet concerne en particulier le traitement de données de consommations IT. Objectifs et livrables Comprendre les besoins métier et faire les investigations nécessaires pour une réalisation optimale Concevoir et réaliser les développements et configurations dans Palantir Documenter les réalisation, présenter le résultat et participer aux recettes Intégrer l'équipe BI, travailler en collaboration avec tous les membres et participer à la communité technique. Participer au suivi quotidien des applications Pour cette mission, l'expertise et les compétences attendues sont : · Manipulation et traitement des données : Python · Création de dashboard et fonction d'affichage (JavaScript/TypeScript) · Cloud, Base de données, stockage, automatisation · Framework SPARK · Manipulation d'APIs, etc... · Outil de versionning (GIT) · Comprendre la structure des bases de données mises en place (architecture en étoile, relation 1-N ou N-N..) · Methode Agile / Jira · Connaissance de PALANTIR serait un plus · Anglais : niveau professionnel · Outils bureautique : intermédiaire ou expert (faire un CR, une présentation,…) Compétences demandéesCompétencesNiveau de compétence JIRA / Agile Confirmé Data Engineering Expert AI-assisted development Confirmé Python/pyspark Expert LanguesNiveau de langue Anglais Courant
Poste : Tech Lead Data Cloud – Azure / DatabricksLocalisation : Nantes, avec 1 jour/semaine sur site et possibilité de télétravail le reste du temps. Contexte : Au sein d'une direction Data & IA, le consultant interviendra comme Tech Lead Data Cloud sur les périmètres immobilier et véhicule, en accompagnant les équipes de développement. Missions principales : Concevoir les solutions et usages en respectant l'architecture cible. Instruire les sujets techniques complexes. Accompagner et faire monter en compétence les équipes. Garantir la qualité du delivery et le respect des bonnes pratiques. Réaliser des développements Python / Spark / PySpark / SQL. Participer aux démarches FinOps et à l'optimisation des coûts cloud. Garantir la cohérence des versions déployées en production. Assurer le support N3. Produire et maintenir la documentation technique : spécifications techniques ; modélisation ; code commenté ; tests unitaires ; tickets Jira.
Senior Data Scientist PhD – Canary Wharf We urgently require a Senior Data Scientist with at least 5 to 10 years proven track record as Data Scientist. Must have a PhD ideally in Maths or Physics and an excellent understanding of data analytics. The Client would also like to see experience of managing and leading a team of Data Scientists. Should have experience of SCALA/SPARK and Hadoop. Initially this is a 3 month contract assignment in Canary Wharf – with likelihood that it will go on beyond that point. Location is Canary Wharf London. Please send your CV to us in Word format along with daily rate.
