Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

🎯 MISSIONS Concevoir et déployer des pipelines ETL/ELT performants (complets, incrémentaux, historiques) Construire et maintenir des Data Warehouses, Data Marts et cubes décisionnels Intégrer des données via API, transferts de fichiers, Data Lakes Optimiser les performances SQL et gérer les incidents en production Contribuer aux phases de cadrage / data discovery avec les parties prenantes Appliquer les bonnes pratiques dev, tests et déploiement en Agile Livrables attendus : Composants data développés et déployés (code source) Documentation technique et fonctionnelle Modèles de données documentés Rapports de tests/recette + transfert de connaissances 🛠️ ENVIRONNEMENT TECHNIQUE Obligatoire : SQL Server (Database Engine, SSIS, SSAS) Power BI / Reporting Services SQL avancé, DAX, MDX Talend et/ou SSIS (ADF apprécié) CI/CD : Azure DevOps, GitLab Architecture : Data Warehouse, Data Lake, Médaillon Apprécié : DBT, Trino, MinIO GCP (BigQuery, GCS, Dataproc) 👤 PROFIL RECHERCHÉ Senior Data Engineer avec expertise confirmée Microsoft SQL Server Expérience solide en ETL industrialisé (Talend / SSIS) Bonne maîtrise des architectures data modernes Anglais courant indispensable Méthode Agile maîtrisée

Almatek recherche pour l'un de ses clients Un Data Ingénieur DevOps / AWS sur Plaisir. Contexte de la mission Dans le cadre de la mise en place d’une dataplateforme d’entreprise, la DSI du client souhaite intégrer un expert Data Ingénieur & DevOps AWS afin de : Mettre en place l’ingestion de différents types de données (structurées, semi?structurées, non structurées) Industrialiser l’ingestion des données depuis un datalake existant vers la nouvelle dataplateforme Automatiser l’intégration des données dans la couche standardisée AWS (RAW DATA vers STANDARDIZED) Réaliser la documentation et assurer le transfert de connaissances L’objectif principal est de finaliser un premier use case incluant l’ingestion de plus de 100 tables issues d’un ERP, tout en accompagnant la montée en compétences des équipes internes (équipe data et Data Engineer). Environnement Technique Data Engineering & Cloud AWS Services AWS Data : S3, Glue, Redshift, Athena, EMR, Lambda Pipelines et orchestration : Step Functions, Airflow, Lambda Python Patterns d’architecture data : Data Lake, ETL / ELT, Data Mesh Transformation data : dbt DevOps & Industrialisation Infrastructure as Code : Terraform CI/CD : GitLab CI/CD Gestion des environnements DEV / PREPROD / PROD Versionning du code et de la data : Git, DVC, LakeFS Sécurité & Gouvernance IAM, gestion des accès, chiffrement Gouvernance et catalogage : Glue Data Catalog, Collibra ou équivalent

Tech Lead en grand compte, c'est d'abord garantir la réussite technique d'un produit : architecture cible, choix technologiques, qualité logicielle, cybersécurité by design, industrialisation, montée en compétence d'une équipe. La chaîne data et l'IA font partie du scope de la Squad — comme une dimension du produit, pas comme votre spécialité d'expert. Vous avez tenu ce rôle 3 à 5 ans en SAFe ? Rejoignez une Squad Agile Data & IA d'un leader européen de la production électrique. Au sein d'une Squad Agile Data & IA d'un leader européen de la production électrique, vous rejoignez en Tech Lead un produit dont vous êtes le référent technique principal. Vous êtes responsable de l'architecture cible, des choix technologiques, de la qualité des développements, de la sécurité, de l'industrialisation et de la montée en compétence de l'équipe. Le produit couvre plusieurs couches techniques que vous portez en transverse : backend Java / Spring Boot avec APIs REST (OpenAPI, OAuth2 / JWT) déployé sur Openshift et adossé à des plateformes data internes (Hexadata, GoldenGate), frontend Angular ou React, pipelines data (Airflow, Spark, Trino, Data Warehouse, Data Lake), chaîne IA (Machine Learning, Deep Learning, LLM, RAG, LangChain, IA agentique), cloud et DevOps (Azure / AWS / GCP, Docker, Kubernetes, Terraform, GitLab CI/CD, Jenkins, SonarQube). Vous portez également les sujets de cybersécurité (OWASP, IAM, MFA, chiffrement, RGPD, sécurisation des APIs, gestion des secrets) et le support de niveau 3 / maintenance évolutive. La data et l'IA sont dans le scope de la Squad — vous appréhendez la chaîne sans être attendu comme expert pur sur ces sujets. Vos Responsabilités Votre quotidien s'articulera autour de quatre piliers majeurs : Architecture cible & choix technologiques : Définir l'architecture cible du produit et réaliser les choix technologiques structurants sur l'ensemble des couches — backend Java / Spring Boot, frontend Angular ou React, pipelines data (Airflow / Spark / Trino), chaîne IA, cloud (Azure / AWS / GCP), déploiements Openshift. Arbitrer les décisions d'architecture transverses et défendre les options retenues. Tech leadership, qualité & industrialisation : Encadrer les développeurs (coaching, pair programming, animation d'ateliers techniques, gestion de la dette technique), réaliser les revues de code, garantir la qualité logicielle (couverture de tests, SonarQube), piloter les sujets DevOps et CI/CD (Git, GitLab, Jenkins, Docker, Kubernetes, Terraform), et participer aux cérémonies Agile et SAFe. Cybersécurité by design : Assurer la sécurité des développements et porter les standards de cybersécurité du produit (OWASP Top 10, gestion des identités et des accès, MFA, chiffrement des données, RGPD, sécurisation des APIs, gestion des secrets) dans un cadre grand compte exigeant. Référent technique du produit, support N3 & livrables : Constituer le référent technique principal du produit, accompagner les décisions stratégiques, assurer le support de niveau 3 et la maintenance évolutive, et produire les livrables structurants (dossiers d'architecture, spécifications techniques, schémas de flux, documentation Confluence, backlog technique, plan de tests, guides de déploiement, documentation d'exploitation).

Almatek recherche pour l'un de ses client, Un Architecte Dataiku / Architecte Data Senior à Saint-Brieuc Les livrables sont : Schéma d’architecture data global + focus Dataiku Guide des bonnes pratiques Dataiku Templates / bibliothèque réutilisable Compétences techniques : Dataiku - Confirmé - Impératif Architecture data modernes - Confirmé - Impératif DBT et workflows de transformation - Confirmé - Impératif Description détaillée Contexte: L’architecte Dataiku interviendra en support transverse des équipes métiers et techniques pour structurer les usages et diffuser les bonnes pratiques. Objectifs Industrialiser et structurer l’usage de Dataiku Accompagner les équipes dans l’exploitation de la donnée Définir des standards et composants réutilisables Assurer l’intégration avec l’écosystème data (S3, DBT, Data Catalog) Contribuer aux initiatives de data governance Missions principales 1. Architecture & gouvernance Définir l’architecture Dataiku et son intégration avec AWS S3 Structurer les environnements (dev / recette / prod) Mettre en place les bonnes pratiques (flows, versioning, sécurité) 2. Administration & industrialisation Administrer la plateforme (accès, configuration, monitoring) Mettre en place les processus de déploiement et de recette Créer une bibliothèque de composants réutilisables (templates, pipelines) Contribuer à la productisation des cas d’usage data 3. Accompagnement des équipes Support aux équipes métiers et techniques Aide à la prise en main de Dataiku Diffusion des bonnes pratiques et montée en compétence Accompagnement à la mise en œuvre de cas d’usage 4. Intégration data Articuler Dataiku avec : DBT (silver ? gold) outils de data quality (ex : Elementary) Data Catalog Assurer la traçabilité et la documentation des données 5. Data governance Support au déploiement du data catalog Contribution à l’alimentation des métadonnées Appui aux data owners et aux processus de gouvernance Contribution possible sur ingestion / contrôle des données Profil recherché Compétences techniques Expertise Dataiku (architecture et administration) Bonne maîtrise des architectures data (Data Lake, ELT) Connaissance AWS (S3) et DBT Sensibilité data quality et data governance Compétences fonctionnelles Structuration de bonnes pratiques Accompagnement des équipes métiers Connaissance MDM appréciée Modalités Démarrage : ASAP Présence : ~2 jours/semaine sur site (22) Contexte : environnement majoritairement interne

Dans le cadre de notre besoin, nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark, SQL et Python. Vous intégrerez l’une de nos squads, responsable de la migration de traitements existants depuis une plateforme on premise vers notre plateforme Data Cloud Azure / Databricks. Le profil recherché devra impérativement démontrer une forte motivation pour intervenir sur des projets de migration et être force de proposition, notamment pour identifier et mettre en œuvre des leviers d’accélération afin d’optimiser le delivery. Mission : • Analyse des traitements existants dans le cadre de projets de migration • Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake • Développement de notebooks Databricks pour des traitements avancés de données • Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) • Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) • Réalisation de revues de code dans une logique de qualité et de bonnes pratiques • Conception et exécution de tests unitaires • Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés Compétences techniques requises • Expérience Data minimum 5 ans • Azure minimum 3 ans • Databricks minimum 5 ans • Spark minimum 5 ans • Python minimum 5 ans • SQL minimum 5 ans • Maitrise de CI/CD, Azure DevOps Minimum 3 ans • Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an Aptitudes personnelles • Force de proposition, rigueur, réactivité, bon relationnel. Test technique • Un test technique sera réalisé lors de l’entretien

Dans le cadre de notre besoin, nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark, SQL et Python. Vous intégrerez l’une de nos squads, responsable de la migration de traitements existants depuis une plateforme on premise vers notre plateforme Data Cloud Azure / Databricks. Le profil recherché devra impérativement démontrer une forte motivation pour intervenir sur des projets de migration et être force de proposition, notamment pour identifier et mettre en œuvre des leviers d’accélération afin d’optimiser le delivery. Mission : • Analyse des traitements existants dans le cadre de projets de migration • Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake • Développement de notebooks Databricks pour des traitements avancés de données • Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) • Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) • Réalisation de revues de code dans une logique de qualité et de bonnes pratiques • Conception et exécution de tests unitaires • Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés Compétences techniques requises • Expérience Data minimum 5 ans • Azure minimum 3 ans • Databricks minimum 5 ans • Spark minimum 5 ans • Python minimum 5 ans • SQL minimum 5 ans • Maitrise de CI/CD, Azure DevOps Minimum 3 ans • Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an Aptitudes personnelles • Force de proposition, rigueur, réactivité, bon relationnel. Test technique • Un test technique sera réalisé lors de l’entretien

Description Pour le compte de notre client grand compte, Nous recherchons Data Engineer pour intervenir sur une plateforme Data stratégique, avec un rôle clé dans la gestion des flux de données et le maintien en condition opérationnelle. Tâches principales Assurer l’ingestion et l’orchestration des données (JIRA, CRM type Salesforce/Zoho, outils métiers) Centraliser et structurer les données au sein d’un Data Lake Développer et maintenir des pipelines de données (Python, API REST) Garantir la qualité, la sécurité et l’anonymisation des données Collaborer avec les équipes métiers pour faciliter le reporting Profil Recherché Expérience confirmée en Data Engineering Maîtrise de Python et des API REST Bonne connaissance de PostgreSQL Expérience sur Azure et Databricks Sensibilité à la data visualisation appréciée Rigueur, autonomie et esprit analytique Lieu : Paris

4. Description de la prestation et des missions attendues Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes : 🔹 Conception, développement et optimisation des pipelines de données (GCP) Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles. Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables. Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données. Optimiser les performances des pipelines ainsi que la consommation des ressources GCP. 🔹 Modélisation et gestion des données Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers. Garantir la qualité, la cohérence et l'intégrité des données. Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données. 🔹 Run opérationnel, maintenance et support N2/N3 Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur). Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance). Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données. Gérer les incidents en collaboration avec les équipes internes et l'éditeur. Participer à la qualification des livraisons de patchs éditeur impactant les flux de données. Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi. 🔹 Monitoring, logging et alerting Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio). Définir et implémenter des alertes permettant la détection proactive des anomalies. Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier. 🔹 Infrastructure as Code (IaC) Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform. Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod). 🔹 Collaboration et conseil Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers. Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering. Participer aux rituels Agile/Kanban de l'équipe produit. 5. Compétences et expériences requises5.1 Expertise technique Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog). Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés). Scripting : Excellente maîtrise de Bash (indispensable pour le run). Systèmes : Bonne maîtrise des environnements Linux (RedHat). IaC : Solide expérience avec Terraform. CI/CD : Maîtrise d'un outil comme GitLab CI. Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio. Versioning : Git (GitLab). Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall). Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming. 5.2 Environnement technique TOPASE NLS OS : RedHat Enterprise 9.4 Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines) CI/CD : GitLab CI IaC : Terraform Monitoring : Looker Studio, GANTI, Grafana, ELK Bases : Oracle, BigQuery Langage : Bash 5.3 Méthodologies et soft skills Expérience en environnement Agile (Scrum, Kanban). Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident. Autonomie, proactivité et sens de l'amélioration continue. Bonnes compétences de communication (français courant, anglais technique). Esprit d'équipe et partage des connaissances. Sens des responsabilités, notamment en environnement de production. 5.4 Expérience Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP. Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.

Astrelya est un cabinet de conseil franco‑suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre mission : En tant que Data Engineer Databricks vous participez à la définition de l’architecture de la data platform et du Datawarehouse/Data Lake. Concevoir et développer des nouvelles fonctionnalités sur des applications hébergées par les plateformes Data. Développer et maintenir des pipelines de données performants (batch & streaming) et participer à toutes les étapes de traitement des données du niveau bronze au niveau gold. Garantir la sécurité, la robustesse et la fiabilité des pipeline de données en veillant aux enjeux de performance, d’accessibilité et d’intégrité des données. Contribuer à l’implémentation d’un Data Lab pour accélérer les usages Data & IA. Mettre en place et industrialiser des chaines CI/CD. Participer aux mises en production et au support en cas d’incident majeur. Travailler aux côtés de Data Product Owner, Data Architect et de BI & Analytics Engineer. Participer aux cérémonies agiles organisées par la squad : daily, sprint planning, sprint review, sprint rétrospective Effectuer une veille technologique continue sur de nouvelles solutions et tendances Data.

Je suis Sheeranaze MEHENTAL, Consultante en recrutement au sein de FED IT, cabinet de recrutement spécialisé sur les métiers des systèmes d'information et de la transformation digitale : infrastructure, chefferie de projet, data, cybersécurité, développement et top management. Je recrute pour mon client basé à Paris, un Data Ingénieur Cloud H/F dans le cadre d'un CDI. Rattaché à la DSI, vous contribuez à la conception, à l'industrialisation et à la fiabilisation de la plateforme data de l'entreprise. Votre rôle est clé pour garantir la disponibilité, la qualité et la sécurisation des données utilisées par les équipes BI, analytics et métiers Vos principales missions : Développement et gestion des pipelines data * Concevoir et maintenir des pipelines d'ingestion et de transformation des données * Contribuer à la structuration et à la performance du Data Lake et du Data Warehouse * Assurer la disponibilité et la fiabilité des flux de données Industrialisation de la plateforme data * Participer à la mise en place de standards de développement et de déploiement * Contribuer à l'automatisation et à l'industrialisation des pipelines data * Garantir la robustesse et la performance des traitements Qualité, sécurité et gouvernance des données * Mettre en place des contrôles de qualité et de traçabilité des données * Contribuer au monitoring et à l'observabilité de la plateforme * Veiller au respect des exigences de sécurité et de conformité (RGPD) Collaboration transverse * Travailler en étroite collaboration avec les équipes BI, Data Analytics et IT * Participer à la documentation et au partage de bonnes pratiques * Contribuer à la structuration et à l'amélioration continue de la Data Factory

Présence sur site 3j/semaine Mission Construire et maintenir des pipelines de données fiables et scalables sur AWS et Snowflake. Responsabilités Développer des pipelines ETL/ELT Participer à une intégration d'SAP Intégrer et transformer les données Modéliser les données (data warehouse) Optimiser les performances et les coûts Assurer la qualité des données (tests, monitoring) Orchestrer les workflows (Airflow ou équivalent) Collaborer avec les équipes data et métier Stack technique AWS (S3, Glue, Lambda, Redshift) SAP Snowflake SQL Python Airflow / dbt / Git Profil Expérience en data engineering Bonne maîtrise SQL et modélisation Expérience cloud (AWS) Autonomie, rigueur Bonus Docker CI/CD Expérience data lake / lakehouse

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Ingénieur H/F à Lille, France. Contexte : Au cours de sa mission, le consultant : - Participera aux rituels agiles de l'équipe, - Analysera les besoins des utilisateurs et proposera des solutions innovantes et en phase avec les drivers de l'entreprises, - Développera les solutions data (Alimentation, stockage, modélisation, restitution), - Validera la qualité des développements de son équipe, - Améliorera et optimisera le patrimoine actuel de son équipe, - Maintiendra les solutions existantes (Run), - Contribuera à la construction du nouveau socle et des services sur la plateforme Google Cloud, - Accompagnera et acculturera les métiers sur les bonnes pratiques de l'exploitation de la Data Les missions attendues par le Data Ingénieur H/F : Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, Il assure la supervision et l'intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, ). SON ACTIVITE : Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité Intègre les éléments Structure la donnée (sémantique, etc.) Cartographie les éléments à disposition Nettoie la donnée (élimination des doublons, ) Valide la donnée Éventuellement, il crée le référentiel de données SES LIVRABLES : Data Lake approprié et partagé et son dimensionnement Cartographie des données Les éléments permettant de garantir la qualité de la donnée

Contexte Dans le cadre de notre croissance, nous recrutons un Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l’amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Nous recherchons un Data Engineer confirmé / sénior disposant d’une forte expertise sur Azure, Databricks, Spark et SQL. · Analyse des traitements existants dans le cadre de projets de migration · Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake · Développement de notebooks Databricks pour des traitements avancés de données · Mise en œuvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL) · Rédaction de la documentation technique (Dossiers d’Analyse Technique, release delivery notes, etc.) · Réalisation de revues de code dans une logique de qualité et de bonnes pratiques · Conception et exécution de tests unitaires · Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés 3 - Compétences techniques requises · Expérience Data minimum 5 ans · Azure minimum 3 ans · Databricks minimum 5 ans · Spark minimum 5 ans · Python minimum 5 ans · SQL minimum 5 ans · Maitrise de CI/CD, Azure DevOps minimum 3 ans · Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an

Responsabilités principales : Pilotage Technique : - Définir et faire respecter les bonnes pratiques de développements, de versioning et d'industrialisation des flux data - Réaliser les revues de code, assurer la cohérence et la robustesse technique des traitements - Participer à la conception des architectures cibles en lien avec les architectes data et les équipes DSI. - Contribuer à l'amélioration continue des performances et de la stabilité des pipelines Conception et industrialisation : - Concevoir, développer et maintenir des pipelines de collecte, de transformation et de diffusion des données (ETL/ELT) - Mettre en œuvre les solutions d'orchestration et d'automatisation - Participer à la migration des flux SAS vers des solutions modernes (ex : Snowflake) - Veiller à la documentation, à la supervision et au monitoring des traitements Encadrement et accompagnement : - Accompagner techniquement les data engineers dans leurs développements et leur montée en compétence - Promouvoir les bonnes pratiques DataOps (CI/CD, test, observabilité, monitoring) - Faciliter les échanges entre les équipes data, architecture, sécurité et métier Gouvernance et qualité : - Contribuer à la mise en place des standards de qualité, de traçabilité et de sécurité des données - Collaborer avec le Data Quality Officer sur les sujets de contrôle d'alerting - Participer à la mise en place de mécanismes de data lineage et de gestion des metadonnées Expérience : Expérience sur des architectures cloud data (idéalement GCP) Expérience confirmée dans l'industrialisation et la mise en production des pipelines data Langages et outils : - Obligatoires : Python, SQL, Spring Batch - Data platform : GCP, Snowflake (bonne connaissance apprécié) - ETL/ELT : XDI - CI/CD & Infra : Gitlab, Docker, Terraform, Kubernetes Architectures : - Architecture Data Moderne (Data Lake/House, Data Mesh, ELT Cloud etc) - Performance et optimisation des flux - Sécurité, gouvernance et qualité des données - Supervision et observabilité

Contexte de la mission Dans le cadre du maintien en conditions opérationnelles et de la transformation de plusieurs applications décisionnelles critiques du périmètre Finance Groupe, notre client recherche un Tech Lead MSBI Senior pour intégrer un dispositif TMA structuré autour de plusieurs applications stratégiques liées aux Achats, à la Comptabilité et à la Finance. Le périmètre couvre notamment : un entrepôt de données Finance / Achats / Comptabilité alimenté par SAP une solution décisionnelle Achats reposant sur des cubes OLAP multidimensionnels et Power BI un Data Lake Comptabilité destiné aux Data Analysts, actuellement en phase de stabilisation Le consultant interviendra comme référent technique principal au sein d’une équipe de 4 ETP. Missions principales Le consultant jouera un rôle de leader technique , sans dimension chef de projet pure, avec une forte implication opérationnelle sur les sujets complexes. Ses responsabilités incluent : Pilotage technique de l’équipe et accompagnement des consultants Point de contact principal entre l’équipe projet et les interlocuteurs métier/IT client Supervision de l’architecture applicative et des flux décisionnels Gestion des incidents complexes de production Recommandations d’évolution et de modernisation de la plateforme Chantiers stratégiques à piloter1. Migration SAP S/4HANA Analyse des impacts sur les flux d’alimentation existants Adaptation des traitements liés aux évolutions SAP Compréhension des flux Finance / Achats / Comptabilité 2. Renouvellement de l’ETL Analyse de l’existant SSIS Réalisation de POC techniques Étude comparative de solutions cibles (ADF, Databricks, autres) Contribution aux choix d’architecture 3. Intégration à la plateforme Data Groupe Travaux d’interfaçage avec la plateforme Data Groupe Adaptation des applications existantes Participation aux standards de gouvernance et d’industrialisation Compétences techniques requisesIndispensables SSIS (ETL complexes en production) SSAS (cubes OLAP multidimensionnels) MDX avancé (KPI, membres calculés, sets dynamiques) SQL Server 2019 / 2022 Transact-SQL avancé Power BI (modélisation DAX avancée) GIT DevSecOps Fortement appréciées Connaissance de SAP / PGI Compréhension des flux Finance / Achats Expérience en environnement SAFe / PI Planning Soft skills attendues Leadership technique confirmé Forte autonomie sur incidents critiques Capacité à défendre des choix d’architecture Communication avec interlocuteurs seniors Force de proposition sur la modernisation des environnements BI Séniorité attendue Minimum 10 ans d’expérience Dont au moins 5 ans sur des environnements MSBI en production Expérience en grand compte fortement appréciée Une expérience dans l’énergie ou la finance constitue un réel avantage