Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Nous constituons un vivier de freelances spécialisés en data engineering pour anticiper les besoins de nos clients sur des projets Big Data et Cloud. Nous recherchons des Data Engineers expérimentés sur Spark et Scala, capables d’intervenir rapidement sur des missions à Nantes et Rennes, dans des contextes variés (banque/assurance, industrie, retail, services). En tant que Data Engineer Spark / Scala, vos missions pourront inclure : Conception et développement de pipelines de données : ingestion, transformation, nettoyage et enrichissement de données massives. Développement d’applications distribuées avec Apache Spark (Batch et Streaming) en Scala. Industrialisation des traitements Big Data : optimisation des performances, gestion des volumes importants, parallélisation. Mise en place d’architectures data : Data Lake, Data Warehouse, solutions temps réel. Intégration Cloud : déploiement et utilisation des services Big Data sur AWS, Azure ou GCP (EMR, Databricks, Synapse, BigQuery, etc.). Tests, qualité et fiabilité : mise en place de bonnes pratiques de développement (CI/CD, tests unitaires et fonctionnels). Sécurité et conformité : respect des normes RGPD et bonnes pratiques de gouvernance des données. Documentation et partage : rédaction des spécifications techniques, bonnes pratiques et transmission de compétences aux équipes internes. Collaboration transverse : travail étroit avec les Data Scientists, Data Analysts, Product Owners et Architectes pour répondre aux besoins métiers.

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry. Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

Nous recherchons un Business Analyst spécialisé DATA & BI pour intervenir sur des projets stratégiques liés aux métiers Trade Finance et Cash Management . Vous rejoindrez une équipe en charge de la mise en place d’un Data Lake et de la valorisation des données via la Business Intelligence. Vos missions : Participer à la migration des données depuis l’infocentre vers le Data Lake. Modéliser les données à ingérer et les rendre exploitables pour le métier. Rédiger les spécifications fonctionnelles et techniques liées aux besoins des métiers. Suivre et tester les ingestions de données et les dashboards. Collaborer en mode Agile (Scrum) avec les équipes métiers et IT. Contribuer à l’amélioration continue de la qualité des données et de la production. En bonus : concevoir et mettre en place des dashboards Power BI orientés utilisateur.

Bonjour, Pour le compte de notre client, nous recherchons un Architecte Data / BI. 🎯 But du projet Mettre en place une donnée fiable, robuste et gouvernée , permettant de soutenir la croissance client et de disposer d’une BI performante, maintenable et alignée avec les enjeux métiers . L’objectif global est de : Réaliser un état des lieux complet de l’environnement Data (technique, organisationnel et fonctionnel), Identifier les points de faiblesse et les opportunités d’amélioration , Définir une vision cible à 3–5 ans (schéma directeur Data), Recommander les bonnes pratiques et les outils adaptés , en tenant compte à la fois de l’écosystème Microsoft (Power BI, SQL Server, Azure) et Open Source , Aligner la stratégie Data sur la croissance business et les besoins des métiers (Marketing, Facturation, Supply, Procurement). 🔍 État actuel et contexte technique Architecture et sources : 3 principales sources de données : Open Bravo (ERP / gestion opérationnelle) Magento (e-commerce) SAP BI Design (reporting financier) Environ 30 tables , avec 500 000 lignes / an chacune (volumétrie modérée mais non négligeable). Pas de datamart complet et enrichi , architecture fragmentée. Stack BI : Power BI pour le reporting, mais performances dégradées et pas de mise à jour temps réel sur certains indicateurs clés (notamment CA e-commerce ). Problématiques techniques : Flux SQL complexes et peu optimisés , générant des lenteurs et un risque d’erreur. Manque de gouvernance de la donnée (règles de gestion hétérogènes, absence de traçabilité claire du cycle de vie des données). Pas d’unicité de la donnée → incohérences possibles entre sources. Dépendance forte aux sources brutes , sans couche d’intégration stable (Data Warehouse/Data Lake structuré manquant). ⚠️ Points critiques identifiés Manque de vision globale de l’écosystème Data : absence de cartographie claire des flux, processus, et responsabilités. Architecture sous-optimale : pas de modèle de données central (datamart/warehouse) consolidant les flux multi-sources. Performance Power BI insuffisante : SQL non optimisés, données non préparées, calculs coûteux. Gouvernance et qualité de données à structurer : pas de cadre formalisé de validation, de définition des KPIs ni de dictionnaire de données. Dépendance aux équipes techniques pour chaque évolution de reporting. Pas de benchmark / comparaison sectorielle pour ajuster la stratégie Data à la croissance du groupe. Rapport d’audit Data (état des lieux complet, points critiques, volumétrie, architecture actuelle) Schéma directeur Data cible à 3–5 ans Recommandations techniques (Microsoft & Open Source) Feuille de route priorisée (actions court, moyen, long terme) Benchmark sectoriel (KPI, modèles de gouvernance, architecture comparée)

Description de la mission : Nous recherchons un expert Big Data pour intervenir sur un projet stratégique autour du traitement et de la valorisation de données à grande échelle. Le consultant sera intégré à une équipe Data et interviendra sur la conception, l’optimisation et la mise en production de pipelines de données. Compétences attendues : Maîtrise avancée de Apache Spark (batch et streaming) Expertise sur Airflow (orchestration de workflows complexes, bonnes pratiques CI/CD) Connaissance approfondie de Superset (construction et industrialisation de dashboards) Bonnes pratiques en architecture Big Data et Data Lake Connaissances appréciées : Python, SQL, Cloud (AWS / GCP / Azure)

Notre client, acteur majeur du secteur du Retail, renforce son équipe Data afin de soutenir sa stratégie de digitalisation et d’optimisation de l’expérience client. Dans ce cadre, nous recherchons un(e) Data Engineer passionné(e) par la donnée et désireux(se) d’évoluer dans un environnement stimulant et innovant. Missions principales : Concevoir, développer et maintenir les pipelines de données (ETL/ELT) pour collecter, transformer et valoriser les données issues de différentes sources (e-commerce, magasins, CRM, supply chain, etc.). Assurer la qualité, la fiabilité et la disponibilité des données pour les équipes métiers, Data Science et BI. Participer à la mise en place d’architectures Big Data et Cloud modernes (Data Lake, Data Warehouse). Contribuer à l’optimisation des performances des traitements de données. Collaborer avec les équipes Data Analysts, Data Scientists et métiers afin de répondre aux besoins business (optimisation de l’expérience client, prévisions de ventes, gestion des stocks…). Mettre en place des bonnes pratiques de développement, de documentation et de monitoring. Environnement technique • Cloud & Data : GCP (BigQuery, Dataform) • Orchestration : Cloud Composer • Transformation : Dataform • Observabilité : Dynatrace • Référentiel & CI/CD : GitLab, Terraform, Cloud Build • Gouvernance & Qualité : DataGalaxy • Documentation & Pilotage : Confluence, JIRA (Scrum)

Contexte de la mission Dans le cadre d’un programme de transformation stratégique SAP au sein d’un grand acteur du secteur aéronautique, nous recherchons un Consultant SAP IBP confirmé pour accompagner la mise en œuvre de la solution SAP Integrated Business Planning (IBP) . L’objectif du programme est de moderniser et harmoniser les processus de planification de la supply chain, en intégrant les meilleures pratiques du marché et en tirant parti des capacités temps réel offertes par SAP IBP. Responsabilités principales Participer à la conception et au déploiement de SAP IBP dans le cadre du programme SAP S/4HANA. Recueillir et challenger les besoins métiers (planification de la demande, approvisionnement, inventaire, S&OP). Configurer les modules IBP (Demand Planning, Supply Planning, Inventory Optimization, Control Tower). Concevoir et documenter les processus cibles de planification intégrée. Animer les ateliers fonctionnels avec les équipes métier et la DSI. Définir et mettre en place les règles de planification, de gouvernance et de gestion des données. Contribuer à l’intégration d’IBP avec les autres systèmes (S/4HANA, ERP legacy, CRM, Data Lake, API). Réaliser les phases de tests (unitaires, intégration, UAT) et assurer la recette fonctionnelle. Accompagner les métiers dans la conduite du changement (formations, support, communication). Apporter une expertise sur l’optimisation de la performance des processus supply chain dans un contexte industriel exigeant (aéronautique). Compétences clés recherchées Expertise confirmée en SAP IBP (au moins 2 projets de déploiement). Maîtrise des sous-modules : IBP for Demand, IBP for Supply, IBP for Inventory, S&OP . Bonne connaissance des principes Supply Chain Planning (MRP, S&OP, DRP, APS). Expérience dans le secteur industriel (idéalement aéronautique ou manufacturing complexe ). Familiarité avec SAP S/4HANA et son intégration avec IBP. Connaissances sur les environnements API-first, Cloud, CI/CD appréciées. Pratique des méthodologies Agile / SAFe . Excellente communication et capacité à interagir avec les métiers, la DSI et les intégrateurs.

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

Contexte Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins. Missions Assurer le rôle de Data Engineer et développeur d’API au sein de la squad. Exploitation/production : supervision des traitements, corrections, optimisation des performances. Gestion de la dette technique : refactor, qualité, sécurité. Architecture : revue de l’existant et propositions d’évolutions . Développements projets : pipelines de données et APIs d’exposition.

Ingénieur·e Data En tant qu’Ingénieur·e Data, vous participerez aux différentes phases des projets de transformation digitale de client. Vous serez responsable du développement et de la mise en œuvre de solutions de données et de reporting, en collaboration avec l’équipe DevOps, afin d’aider les utilisateurs finaux à analyser efficacement leur activité à travers des rapports et des tableaux de bord. Vous utiliserez différentes technologies Microsoft telles que : SQL Server Integration Services, Azure Analysis Services, Azure Data Lake, Azure SQL Database, Azure Data Factory et Power BI. Responsabilités principales : Construire des Data Warehouses, Data Marts et Data Cubes. Solide compréhension des concepts de Data Warehousing et de modélisation de données. Identifier, concevoir et mettre en œuvre des améliorations internes : refonte d’infrastructures pour une meilleure évolutivité, optimisation des flux de données et automatisation des processus manuels. Développer des jobs ETL réutilisables et des cas d’usage. Développer, déployer et mettre en service des interfaces Azure Data Factory. Assembler de larges ensembles de données répondant aux exigences fonctionnelles et non fonctionnelles. Gérer les mécanismes d’alimentation ETL (chargement Delta/Complet, historique). Maintenir les ETL en condition opérationnelle. Construire des outils analytiques exploitant les pipelines de données pour fournir des insights exploitables sur les indicateurs de performance clés. Maîtrise de SQL, DAX, MDX et optimisation des requêtes. Excellente maîtrise de T-SQL, tuning des performances et gestion de bases de données. Gestion de la sécurité au niveau des lignes sur chaque couche de la chaîne de données. Compétence en débogage, supervision, tuning et dépannage de solutions BI. Familiarité avec les pipelines CI/CD entièrement automatisés pour le déploiement, l’intégration, les tests et la qualité du code. Expérience de l’utilisation de GIT pour le contrôle de source dans Azure DevOps. Capacité à gérer plusieurs interfaces et à travailler dans un contexte international. Connaissance des design patterns de produits Data. Collaboration avec les parties prenantes (équipes Data, Design, Produit, Direction) pour résoudre les problématiques techniques liées aux données. Support à la qualification des projets, extraction, transformation et chargement des données (Data Scoping / Discovery). Compétences techniques : Outils : Azure Data Factory, ADLS Gen2, Azure SQL DB, Analysis Services, GitLab, Azure DevOps, Visual Studio, SQL Server Management Studio, DAX Studio, Tabular Editor, Power BI. Expertise : Modélisation de données, Data Warehousing, gestion de bases de données, ETL, visualisation de données, méthodologie Agile, notions de CI/CD. Formation : Master en informatique, statistiques ou mathématiques. Compétences comportementales : Maîtrise de l’anglais (oral et écrit). Excellentes compétences en communication et présentation. Esprit d’équipe et sens de la coopération.

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

Un grand groupe a lancé une stratégie Data (Microsoft Fabric, Power BI, Data Lake). Le domaine RH reste en retard : données silotées, dépendance à une ressource unique, enjeux importants liés à la masse salariale. Missions Recueillir et formaliser les besoins métiers RH (indicateurs : effectifs, absentéisme, turnover, masse salariale…). Rédiger les spécifications fonctionnelles (Pléiades, Horoquartz) et structurer un dictionnaire de données RH. Collaborer avec les équipes Data/BI pour assurer qualité et cohérence des flux (Microsoft Fabric, Power BI). Contribuer à la gouvernance et à la mise à disposition des données RH.

Bonjour, Pour le compte de l'un de mes clients près de bordeaux, je suis à la recherche d'un Data Manager (DP Data & IA). Contexte & Objectifs : Dans le cadre de la transformation digitale client, le Data Manager aura pour mission de piloter les projets Data stratégiques, d’assurer leur gouvernance, et de structurer les initiatives IA émergentes. Il sera le point d’entrée des métiers pour les projets Data, et garant de leur bon déroulement. Missions principales : Gouvernance & Pilotage Cadrer les projets Data avec les métiers & l’IT Définir les business cases et les modèles de gouvernance Prioriser et planifier les demandes Data Constituer les équipes projet avec le Directeur Data Piloter les équipes projet Data et les activités de support Assurer le suivi budgétaire et le respect des objectifs Expertise Data & IA : Superviser la mise en œuvre de solutions BI, Data Lake, Datawarehouse Participer à l’industrialisation de modèles IA (IA Gen, Machine Learning, Data Science) Garantir la qualité des données et la conformité des traitements Contribuer à l’acculturation des équipes métiers à la Data et à l’IA Communication & Coordination : Préparer les comités de pilotage Assurer la coordination entre les équipes techniques, métiers et partenaires Rendre compte de l’avancement, des risques et des blocages

Contexte de la mission Dans le cadre d’un programme de transformation stratégique autour de la gestion de la donnée de référence dans le cloud , nous recherchons un Chef de projet confirmé, expert reconnu sur Informatica MDM SaaS et la plateforme IDMC . Le candidat idéal maîtrise à la fois les aspects techniques et fonctionnels du MDM cloud et de l’IDMC, et sait accompagner une organisation dans la modernisation de son architecture data . Il sera un référent auprès des métiers et de la DSI, capable de conseiller, concevoir et piloter des projets MDM SaaS de grande envergure. Responsabilités principales Assurer le pilotage complet des projets MDM SaaS et IDMC (planification, suivi, reporting, comitologie). Apporter une expertise pointue sur Informatica MDM SaaS et les services connexes d’IDMC (Data Quality, Data Integration, API & Application Integration, Data Governance). Participer activement aux choix d’architecture cloud, aux configurations complexes et à l’optimisation des performances de la plateforme. Définir les règles et processus de gouvernance de la donnée de référence et garantir leur mise en œuvre opérationnelle. Superviser l’intégration du MDM SaaS avec les systèmes existants (ERP, CRM, Data Lake, applications métiers, API REST/SOAP). Être le référent technique et fonctionnel MDM SaaS/IDMC pour les équipes internes et les partenaires d’intégration. Accompagner les métiers dans la conduite du changement et l’adoption d’une solution cloud moderne. Anticiper et gérer les risques liés à la qualité, disponibilité, sécurité et cohérence des données dans un environnement cloud.

Compétences techniques et expérience Expérience avérée dans des projets d’architecture de données à grande échelle (national ou multi-sources), de préférence impliquant des données sensibles ou critiques (sécurité, souveraineté des données). Maîtrise approfondie des concepts de conteneurisation et d’orchestration , incluant : Conteneurisation des données et des charges de travail (Docker, Kubernetes ou équivalents). Gestion du cycle de vie des données en environnement conteneurisé (stockage, migration, sauvegarde, reprise après sinistre). Connaissance solide des architectures de données (data lakes, entrepôts de données nouvelle génération), avec une compréhension des enjeux de gouvernance, métadonnées, catalogage et traçabilité . Compétences en modélisation des coûts et estimation financière IT , incluant : Capex/Opex, coût total de possession (TCO), scénarios de migration et de montée en charge. Modèles de coûts pour les infrastructures cloud et/ou hybrides sur site. Connaissance des exigences de sécurité et de conformité , notamment : Protection des données, chiffrement, gestion des identités et des accès (IAM), segmentation, auditabilité et traçabilité. Maîtrise des cadres réglementaires pertinents (RGPD, normes nationales de sécurité des données, ISO/IEC 27001, etc.). Expérience en gouvernance des données et gestion de données sensibles : Politiques de conservation, classification des données, gestion des métadonnées et cadres de gouvernance. Expertise en migration et transformation de données , couvrant : Planification, nettoyage, transformation, validation et post-validation des migrations. Capacité à développer et justifier des modèles financiers et des BOQ (Bill of Quantities) pour des projets IT/data. Expérience avérée en dimensionnement et chiffrage de solutions à mettre en œuvre. Qualifications professionnelles et certifications Diplôme en Informatique, Ingénierie, Data Science, Géomatique ou dans un domaine connexe (un Master constitue un atout). Certifications pertinentes (liste non exhaustive) : Conteneurisation / Orchestration : Certified Kubernetes Administrator (CKA) ou équivalent. Cloud : AWS Certified Solutions Architect, Azure Solutions Architect, Google Professional Cloud Architect (selon l’environnement cible). Sécurité : CISSP, CISM ou certifications équivalentes. Une certification en gestion de projet (PRINCE2, PMP ou équivalent) est un plus.

Pour l’un de nos clients grands comptes, nous recherchons un Data Engineer confirmé maîtrisant Spark, Hadoop, Scala , pour intégrer une Squad data transverse. L’objectif de la mission est d'assurer un rôle de Data Engineer & développeur API , avec les responsabilités suivantes : Suivi et gestion de la production Réduction de la dette technique Évolution de l’architecture existante et proposition d’améliorations Développements projets et intégration dans les pipelines Possibilité d’évolution vers d’autres Squad Data selon les besoins Activités principales Acheminement, traitement et mise à disposition des données Industrialisation des traitements data Mise en production de modèles statistiques Suivi de projet, développement de jobs Spark Ingestion multi-format (batch & streaming) Développement de scripts et API de restitution Génération de Dashboard ou fichiers à destination des équipes métier Participation à la conception et administration de solutions Big Data Installation, configuration de clusters Hadoop Intégration Spring Boot pour extraction depuis Teradata → Kafka → Data Lake