Trouvez votre prochaine offre d’emploi ou de mission freelance Apache NiFi

Bonjour à tous 😀 🚀 Contexte de mission Nous recherchons un Data ingénieur - Référent technique Nifi et Data , vous intervenez au sein d’une équipe Data & IA sur des environnements critiques à forte volumétrie. L’objectif : concevoir, optimiser et sécuriser les flux de données dans un contexte de production exigeant, avec des enjeux forts de continuité de service . 🎯 Vos missions Développer et maintenir des pipelines de données (Apache NIFI / Databricks) Optimiser les flux existants (performance, fiabilité, scalabilité) Assurer le RUN et le support (HNO / 24-7) Mettre en place et améliorer les processus CI/CD Superviser les traitements (monitoring, alerting) Participer aux études techniques et POC Produire la documentation et les reportings d’incidents Être force de proposition sur l’ amélioration de l’architecture data ✅ Must Have Expertise Apache NIFI Très bonne maîtrise de Databricks Expérience solide sur Azure Bon niveau en Python & Spark Expérience en environnement de production critique (RUN / incidents) Connaissance CI/CD (Git / GitLab) Expérience en monitoring (type DataDog) Bonne maîtrise des bases de données (PostgreSQL) Expérience en Agile / Scrum ➕ Nice to Have Connaissance AKS (Kubernetes) Expérience avec Zookeeper Background sur des projets data à forte volumétrie Culture DevOps / automatisation avancée

Objectif de la mission Dans le cadre du déploiement d’une plateforme Data destinée à centraliser, fiabiliser et gouverner l’ensemble des données des domaines banque et assurance, vous intégrez la squad Data Flux. Cette équipe, composée de trois développeurs Data, d’un architecte technique, d’un Business Analyst et d’un Product Owner, est responsable des missions suivantes : la conception et l’implémentation des flux de données, l’intégration et la transformation de données provenant de sources multiples, la sécurisation et l’industrialisation des flux, en conformité avec les standards attendus en matière de qualité et de traçabilité. Une expérience dans les secteurs de l’assurance, de la banque ou de la finance est vivement recommandée, notamment sur des développements de flux conformes à la norme Penelop, ainsi que sur des flux de données liés aux domaines assurantiels ou aux données clients. - Conception et développement de pipelines de données : Concevoir des flux robustes et évolutifs pour l’ingestion, la transformation et la diffusion des données dans le cadre du modèle Bronze / Silver / Gold. - Développement et intégration sur Apache NiFi : Implémenter et paramétrer des workflows NiFi pour collecter et normaliser les données issues de différentes sources (fichiers XML/CSV, API REST). - Transformation et modélisation des données : Participer à la modélisation du socle de données structurées et au développement des transformations afin de constituer les vues consolidées du MDM. - Contrôles de qualité et traçabilité : Mettre en place des mécanismes d’audit, de logs et de contrôle (complétude, unicité, cohérence, versioning des données). - Optimisation et performance : Surveiller les performances des pipelines, identifier les goulots d’étranglement et proposer des améliorations continues. - Sécurité et conformité : Veiller à la sécurité des données (authentification, chiffrement, gestion des accès) dans le cadre des standards du groupe. - Documentation et partage de connaissances : Documenter les processus, les schémas et les bonnes pratiques afin d’assurer la maintenabilité et la transmission des savoirs au sein de la squad. PREREQUIS TECHNIQUES : - Maîtrise d’Apache NiFi (ingestion, orchestration, monitoring) - Solides connaissances en SQL et modélisation de données relationnelles (PostgreSQL) - Connaissance des modèles de stockage objet (S3, Blob) - Connaissance des formats et protocoles : JSON, XML, CSV, REST API - Compétences en scripting (Python, Bash) appréciées - Sensibilité aux enjeux de qualité, sécurité et gouvernance des données Compétences Techniques : SQL, Python, Bash, Gitlab

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Expert NiFi (H/F) Dans le cadre d’un projet data, nous recherchons un Expert Apache NiFi pour intervenir chez l’un de nos clients. 🔍 Profil recherché : Expérience confirmée sur Apache NiFi Mise en place et optimisation de flux de données Bonne maîtrise des concepts ETL / ingestion / transformation Expérience sur des environnements data (Big Data / Data Platform) Connaissances en SQL et scripting (Python, Shell…) 🤝 Qualités attendues : Autonomie et proactivité Capacité à travailler en équipe Esprit d’analyse 📍 Mission longue – démarrage ASAP

Chef de projet avec connaissances data API Management, ETL, Kafka, NIFI, SAP BI4 Nantes ( 3 jours de télétravail) Notre client a en charge le maintien en conditions opérationnelles, l’amélioration du service des socles Echange de données : plateformes mutualisées (ETL, Anonymisation, API Management, KAFKA) ou composants applicatifs (NIFI). Le Chef de Projet aura pour principales tâches: -Pilotage des travaux de build et de MCO de ces plateformes de services -Garant de la qualité des services dont il aura la charge -Amélioration continue Nous recherchons pour cette prestation un chef de projet IT confirmé et qui a des connaissances autour de sujets orientés data

Prestation – Chef de projet migration Talend-ESB Missions : 1- Migration de la plateforme ESB actuelle vers notre cloud privé DMZR :  Gestion du projet : Préparation des supports des comités IT, animation des ateliers avec les équipes de production et les IT métiers pour la définition des environnements cibles, suivis de la mise en oeuvre  Coordination des IT métiers : Tests de recettes et de non-régression 2- Migration des flux actuels Talend et ESB vers Nifi principalement :  Gestion du projet : Préparation des supports des comités IT, Spécifications fonctionnelles, définition des solutions cibles avec les équipes transverses (Architecture, production, sécurité…), la TMA Nifi et les IT métiers, suivis de la mise en oeuvre  Coordination des IT métiers : Tests de recettes et de non-régression Profil recherché: De formation Ingénieur ou équivalent, la séniorité attendue pour l’intervenant dans l’environnement de la prestation est de 8 années. Cette mission nécessite un Anglais courant ainsi qu’une maitrise des concepts du cloud et des flux. La connaissance et maitrise des sujets datas (datamart, data ingénieur) est un plus. Competences requises - Mandatory:  Maîtrise d’un outil d’ETL (Tibco, Talend…) (4/4)  Maîtrise des concepts Cloud (PaaS, Service managé, COS…) (4/4)  Maîtrise de la Méthode Agile (3/4) Compétences requises - Nice to have :  Expériences/Connaissances Datas (datamart, data ingénieur) (3/4)  Expériences/Connaissances du domaine de l’immobilier et/ou connaissance des métiers de l’immobilier (2/4)  Anglais Niveau C1 (2/4)

La prestation a pour objet la fourniture de services d’accompagnement à la mise en place, à l’industrialisation et à l’exploitation de la plateforme SINEMA, incluant notamment : l’appui aux équipes de développement pour l’usage de la plateforme (environnements, déploiements, supervision), la mise en cohérence opérationnelle entre les besoins du programme SINEMA et les infrastructures mises à disposition par le SNUM, la contribution à la définition et à l’industrialisation du socle technique (Kubernetes, Kafka, Apache Nifi, Hyperledger Fabric, PostgreSQL, chaîne d’intégration et de déploiement, observabilité). les clusters Kubernetes hébergeant les composants du programme SINEMA ; Technologies : microservices et APIs back-end, front-ends web, traitements batch ou services techniques associés aux applications, chaincodes (smart contracts Hyperledger Fabric) mis en œuvre pour la gestion des mouvements et de la traçabilité ; bus de messages Kafka, Apache Nifi, Hyperledger Fabric, PostgreSQL (entrepôt, bases applicatives), chaîne d’intégration et de déploiement (GitLab, ArgoCD, templates Helm, Ansible), briques d’observabilité (collecte de journaux, métriques, traces, tableaux de bord, alertes).