Trouvez votre prochaine offre d’emploi ou de mission freelance Apache NiFi

Directeur de projet Data 🎯 Contexte Dans le cadre d’un programme majeur de transformation digitale au sein d’un grand groupe du secteur transport / infrastructures, une plateforme Data centralisée est au cœur des enjeux de collecte, traitement et valorisation des données à grande échelle. Cette plateforme supporte des cas d’usage critiques liés à la maintenance, l’ingénierie, la supervision et l’optimisation des opérations, avec des volumes importants et des données complexes (dont données 3D). Nous recherchons un Architecte Data senior avec une forte posture de pilotage, capable d’être force de proposition sur l’architecture cible et d’accompagner l’évolution de la plateforme existante. 🧩 Votre rôle Vous interviendrez au sein d’un programme transverse regroupant équipes techniques, métiers et gouvernance Data, avec pour missions principales : La conception et l’évolution de l’architecture Data cible Le pilotage des travaux de transformation et de migration de la plateforme La coordination des acteurs techniques et métiers La garantie des exigences de sécurité, gouvernance et conformité réglementaire (RGPD) 🛠️ Responsabilités Analyse et cadrage de l’architecture cible (scénarios, phasage) Spécification de la plateforme Data et rédaction des dossiers d’architecture HLD / LLD Définition de patterns d’ingestion, de traitement et d’exposition des données Pilotage de la chaîne Data de bout en bout (ingestion → stockage → traitement → exposition) Suivi de projet : planning, risques, coûts, indicateurs, reporting Cadrage FinOps Coordination transverse avec les équipes techniques, sécurité et gouvernance Mise en place de tableaux de bord de supervision (DataDog) 🔧 Environnement technique Cloud : Microsoft Azure Plateforme Data : Databricks, Azure Data Lake Gen2 Ingestion : Apache NiFi, AKS, Zookeeper Traitement : Spark / Python Bases de données : PostgreSQL BI : Power BI Supervision : DataDog Méthodologie : Agile / Scrum

Contexte du poste Dans le cadre d'un projet de refonte de son SI, notre Groupe renforce son dispositif Data au sein de la Direction des Systèmes d’Information. L’objectif est de concevoir, développer et maintenir des flux de données fiables et industrialisés au service des équipes métiers Épargne et Services Financiers. Le poste est rattaché au DAS Épargne & Services Financiers et s’inscrit dans un environnement orienté data, qualité et automatisation. Missions Missions principales En tant que Data Engineer, vous interviendrez sur la conception, le développement et l’industrialisation des flux de données, dans un contexte finance / assurance à forts enjeux de qualité, de traçabilité et de performance. Concevoir et implémenter le socle data du Master Data Management (MDM) Intégrer et transformer les données issues de différentes sources Sécuriser et industrialiser les flux dans le respect des standards de qualité et de traçabilité attendus Mettre en œuvre des traitements de données (collecte, transformation, stockage) Garantir la qualité, la fiabilité et la performance des flux Travailler en lien étroit avec les équipes métiers et IT Contribuer aux bonnes pratiques de développement, d’automatisation et de CI/CD Stack technique Compétences requises (niveau confirmé) Data & traitement : Apache NiFi, requêtage et traitement de données (SQL / NoSQL) Connaissance des formats et protocoles : JSON, XML, CSV, REST API Base de données & stockage : PostgreSQL, Stockage objet (S3) DevOps & industrialisation : GitLab, GitLab CI, Pratiques CI/CD Compétences appréciées Langages & scripting : Python, Bash

Contexte de la prestation La division CAP de MATHIS SNCF Réseau participe aux grands chantiers de modernisation du réseau ferroviaire. Il consiste à automatiser l'ensemble des processus de surveillance, maintenance, ingénierie . L'objectif est de tirer parti des opportunités offertes par les nouvelles technologies dans la collecte et le traitement des données pour réduire au maximum l'impact sur les circulations. Au sein de ce programme et en lien avec la gouvernance de la donnée, un socle centralisé d’ingestion, de stockage, de traitement et de mise à disposition des données provenant des différentes sources, à destination des différents consommateurs du programme, a été construit. En 2025-2026-2027, ce socle va évoluer selon les axes suivants : •Rapatriement d’une partie des services techniques, à ce jour hébergé chez IT Novem, dans le SI géré par la DGNUM •Déploiement de la plateforme data basée sur l’outil Databricks et les nouvelles fonctionnalités de gestion de la donnée (sql endpoint, unity Catalog, deltasharing, …) •Déploiement des plateformes d’ingestion basée sur l’outil Apache Nifi et les nouvelles fonctionnalités sur AKS. •Intégration des applications d’espace d’analyse, selon la cible d’architecture et les points précédents dans une cible globale •Extension du puits acquisition SNCF RESEAU vers des usages département MATHIS et plus en fonction des besoins DGNUM.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Architecte Data AWS (H/F) à Lyon, France. Contexte : Dans le cadre d’un programme de transformation Data, nous souhaitons consolider son socle data autour d’une architecture cible fiable, évolutive et sécurisée. L’architecte data interviendra en support de l'équipe existante, en assurer la validation technique et fonctionnelle, et mettre en œuvre les mesures de sécurité nécessaires. Les missions attendues par le Architecte Data AWS (H/F) : Sous la responsabilité du responsable de centre d'expertise Data, il aura en charge de : Valider, sécuriser et faire évoluer l’architecture technique de la plateforme Data (Data Lake, Data Mesh, Data Warehouse) en intégrant les exigences de sécurité Garantir la cohérence, la robustesse et la sécurité des flux de données entre les différents systèmes. Accompagner les équipes projets dans le choix et l’implémentation des solutions techniques. Assurer la veille technologique et proposer des améliorations continues. Collaborer avec les architectes, le RSSI, DPO et équipes cybersécurité pour intégrer les contrôles nécessaires. Assurer la traçabilité des décisions et la documentation des choix techniques. Partager sur des solutions et architectures mises en œuvre chez d'autres clients. Assurer la veille technologique et proposer des améliorations continues. Environnement technique : Architecture et modélisation : Conception de modèles de données (relationnels, NoSQL, dimensionnels, etc.). Maîtrise des architectures Data Warehouse, Data Lake et Data Mesh. Base de données : Expertise en systèmes de gestion de bases de données SQL, NoSQL et notamment PostgreSQL, Snowflake, ElasticSearch et DuckDB Cloud Computing : Connaissance approfondie des services de données des fournisseurs Cloud et notamment AWS Langages et technologies : Intégration & Flux : Apache Nifi ; Transport & Temps Réel : Apache Kafka ; Visualisation (BI) & Reporting : Apache Superset Gouvernance Data : Définition des politiques, des standards et des normes pour garantir la qualité, l'intégrité et la gestion du cycle de vie des données. Sécurité : Connaissance des principes de cybersécurité et maîtrise de la réglementation sur la protection des données (notamment le RGPD). Approche Secure by design (chiffrement, gestion des accès, observabilité, supervision).

Nous recherchons pour l'un de nos clients un(e) Data Engineer pour renforcer une squad Data dédiée à la mise en place d’un socle de Master Data Management (MDM) . L’objectif du projet est de centraliser, fiabiliser et gouverner les données liées aux instruments financiers , dans un environnement exigeant en matière de qualité, traçabilité et sécurité. Missions : Intégré(e) à une équipe pluridisciplinaire (Data Engineers, Architecte, BA, PO), vous interviendrez sur : La conception et le développement de pipelines de données (modèle Bronze / Silver / Gold) L’ingestion et l’orchestration des flux via Apache NiFi L’intégration de données multi-sources (CSV, XML, API REST) La modélisation des données et la construction de vues consolidées MDM La mise en place de contrôles de qualité et de traçabilité (logs, audit, complétude, cohérence, versioning) L’optimisation des performances des pipelines Le respect des standards de sécurité et conformité La documentation et le partage de bonnes pratiques au sein de la squad Environnement technique Apache NiFi SQL / NoSQL PostgreSQL Stockage objet : S3 / Blob Formats & protocoles : JSON, XML, CSV, API REST Scripting : Python , Bash CI/CD : GitLab, GitLab CI

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein de la Business Unit Épargne et Services Financiers. Dans le cadre d'un nouveau projet visant à centraliser, fiabiliser et gouverner l'ensemble des données relatives aux instruments financiers, vous intégrerez la squad Data, composée de trois développeurs Data, d'un architecte technique, d'un business analyst et d'un product owner. Vous devrez maîtriser l'environnement NiFi ainsi que l'architecture des pipelines de données, qui présente une certaine complexité avec de nombreux flux et interactions entre les différentes tâches. Responsabilités : - Concevoir et développer des pipelines de données ; - Développer et intégrer sur Apache NiFi ; - Contrôler la qualité et la traçabilité ; - Rédiger la documentation et partager vos connaissances.

Nous recherchons pour l’un de nos clients un Data Engineer pour intervenir sur un projet stratégique de référentiel de données financières . Le projet vise à centraliser, fiabiliser et gouverner l’ensemble des données liées aux instruments financiers , au sein d’un socle de Master Data Management (MDM) . Vous intégrerez une squad Data pluridisciplinaire composée de développeurs Data, d’un Architecte technique, d’un Business Analyst et d’un Product Owner. Mission : Conception & développement Data : Conception et développement de pipelines de données robustes et évolutifs Implémentation du modèle Bronze / Silver / Gold Intégration et transformation de données multi-sources Orchestration & ingestion : Développement et paramétrage de workflows Apache NiFi Collecte et normalisation de données issues de : fichiers CSV / XML API REST Industrialisation et sécurisation des flux Modélisation & qualité des données : Participation à la modélisation du socle de données Construction de vues consolidées MDM Mise en place de contrôles de qualité : complétude unicité cohérence traçabilité et versioning Performance, sécurité & bonnes pratiques : Suivi et optimisation des performances des pipelines Mise en œuvre des standards de sécurité des données (authentification, chiffrement, gestion des accès) Documentation technique et partage de connaissances au sein de la squad

Contexte Dans le cadre du renforcement d’une équipe SRE / Plateforme Cloud au sein d’un environnement complexe et critique, nous recherchons un Expert Cloud DevOps / Architecte Kubernetes & OpenShift . Le consultant interviendra sur la conception, l’industrialisation et la sécurisation de plateformes cloud natives, orientées microservices, data et haute disponibilité . Missions principales Architecture & Design Définir et valider l’architecture Cloud & Kubernetes en tant que Design Authority Élaborer les HLD (High Level Design) et LLD (Low Level Design) Concevoir l’architecture centrale et les standards de la plateforme Participer aux choix technologiques et aux roadmaps techniques Cloud & Conteneurisation Déployer et maintenir des clusters Kubernetes (AKS, EKS, OpenShift, Rancher) Expertise Red Hat OpenShift Mise en œuvre de plateformes cloud sur Azure (AKS) et AWS (EKS) Gestion des environnements hybrides / on-premise et data centers virtualisés DevOps & Automatisation Mise en place des pipelines CI/CD Automatisation des déploiements et de l’infrastructure (IaC) Accompagnement des équipes de développement sur les bonnes pratiques DevOps Sécurité & Réseau Sécurisation des plateformes Kubernetes et Cloud Gestion des secrets et identités ( HashiCorp Vault ) Architecture réseau, segmentation, politiques de sécurité Conformité, durcissement et bonnes pratiques sécurité cloud Data & Streaming Conception et intégration de Data Platforms Mise en œuvre de solutions de streaming et de data flow : Apache Kafka Apache NiFi Intégration avec des workloads data, IA et ML ( TensorFlow ) Microservices & Observabilité Architecture et exploitation d’architectures microservices Supervision, monitoring et gestion de la performance Haute disponibilité et résilience des plateformes FinOps Pilotage des coûts Cloud Optimisation des ressources et mise en place de bonnes pratiques FinOps

CONTEXTE Experience : 5 ans et plus Métiers Fonctions : Etudes & Développement, Consultant DevOps Spécialités technologiques : Big Data, gitOps, API Nous recherchons un profil orienté DevOps afin d’intégrer le projet Data de notre client. MISSIONS - Participer au déploiement et à l’exploitation des composants applicatifs sur des environnements Kubernetes / OpenShift - Mettre en œuvre et maintenir les déploiements via Helm, dans une logique GitOps à l’aide de ArgoCD - Développer et maintenir des scripts d’automatisation en Python - Intervenir sur les environnements liés aux stacks Data (Spark, DigDash, Dremio, Airflow, NiFi) en support des besoins du projet Expertise souhaitée Environnements et outils DevOps : - Bonne connaissance de Kubernetes / OpenShift - Maîtrise de Helm - Compréhension et mise en œuvre des principes GitOps - Utilisation de ArgoCD Automatisation : - Connaissance de Python pour l’implémentation de scripts d’automatisation Écosystème Data (premier niveau) : - Spark - DigDash - Dremio - Airflow - NiFi Méthodologie et outils : - Maîtrise des pratiques Agiles (Scrum) - Utilisation de l’outil Jira

Description: La prestation a pour objet la fourniture de services d’accompagnement à la mise en place, à l’industrialisation et à l’exploitation de la plateforme SINEMA, incluant notamment : l’appui aux équipes de développement pour l’usage de la plateforme (environnements, déploiements, supervision), la mise en cohérence opérationnelle entre les besoins du programme SINEMA et les infrastructures mises à disposition, la contribution à la définition et à l’industrialisation du socle technique (Kubernetes, Kafka, Apache Nifi, Hyperledger Fabric, PostgreSQL, chaîne d’intégration et de déploiement, observabilité), les clusters Kubernetes hébergeant les composants du programme SINEMA ; Technologies : microservices et APIs back-end, front-ends web, traitements batch ou services techniques associés aux applications, chaincodes (smart contracts Hyperledger Fabric) mis en œuvre pour la gestion des mouvements et de la traçabilité ; bus de messages Kafka, Apache Nifi, Hyperledger Fabric, PostgreSQL (entrepôt, bases applicatives), chaîne d’intégration et de déploiement (GitLab, ArgoCD, templates Helm, Ansible), briques d’observabilité (collecte de journaux, métriques, traces, tableaux de bord, alertes).