Trouvez votre prochaine offre d’emploi ou de mission freelance Apache NiFi

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Expert NiFi (H/F) Dans le cadre d’un projet data, nous recherchons un Expert Apache NiFi pour intervenir chez l’un de nos clients. 🔍 Profil recherché : Expérience confirmée sur Apache NiFi Mise en place et optimisation de flux de données Bonne maîtrise des concepts ETL / ingestion / transformation Expérience sur des environnements data (Big Data / Data Platform) Connaissances en SQL et scripting (Python, Shell…) 🤝 Qualités attendues : Autonomie et proactivité Capacité à travailler en équipe Esprit d’analyse 📍 Mission longue – démarrage ASAP

Prestation – Chef de projet migration Talend-ESB Missions : 1- Migration de la plateforme ESB actuelle vers notre cloud privé DMZR :  Gestion du projet : Préparation des supports des comités IT, animation des ateliers avec les équipes de production et les IT métiers pour la définition des environnements cibles, suivis de la mise en oeuvre  Coordination des IT métiers : Tests de recettes et de non-régression 2- Migration des flux actuels Talend et ESB vers Nifi principalement :  Gestion du projet : Préparation des supports des comités IT, Spécifications fonctionnelles, définition des solutions cibles avec les équipes transverses (Architecture, production, sécurité…), la TMA Nifi et les IT métiers, suivis de la mise en oeuvre  Coordination des IT métiers : Tests de recettes et de non-régression Profil recherché: De formation Ingénieur ou équivalent, la séniorité attendue pour l’intervenant dans l’environnement de la prestation est de 8 années. Cette mission nécessite un Anglais courant ainsi qu’une maitrise des concepts du cloud et des flux. La connaissance et maitrise des sujets datas (datamart, data ingénieur) est un plus. Competences requises - Mandatory:  Maîtrise d’un outil d’ETL (Tibco, Talend…) (4/4)  Maîtrise des concepts Cloud (PaaS, Service managé, COS…) (4/4)  Maîtrise de la Méthode Agile (3/4) Compétences requises - Nice to have :  Expériences/Connaissances Datas (datamart, data ingénieur) (3/4)  Expériences/Connaissances du domaine de l’immobilier et/ou connaissance des métiers de l’immobilier (2/4)  Anglais Niveau C1 (2/4)

Bonjour, Nous recherchons un Développeur Apache NiFi pour intervenir sur une mission en Île-de-France. 📍 Localisation : Île-de-France (2 jours/semaine sur site) 💰 TJM : 450 € 📅 Démarrage : 01/04/2026 📆 Fin de mission : 31/12/2026 🚀 Missions Au sein de l’équipe Run Flux , vous interviendrez sur des environnements critiques autour des plateformes Apache NiFi (environ 100 instances). À ce titre, vous serez en charge de : La mise en place, l’administration et la sécurisation des plateformes NiFi La conception et le développement de flux de données critiques L’automatisation des déploiements sur des environnements Cloud (GCP / Azure) en IaaS & CaaS Le monitoring de la disponibilité et des performances des plateformes L’automatisation avancée via scripting (Groovy) Contexte 24/7 , avec interventions possibles en heures non ouvrées selon la criticité. 🛠️ Environnement technique Apache NiFi (expertise avancée requise) Groovy / Java (scripting & automatisation) GitLab / GitHub Bases de données : Oracle, SQL Server, PostgreSQL Data & stockage : BigQuery, BigTable Langages & formats : SQL, JSON, XML, CSV Environnements Cloud : GCP / Azure 🎯 Compétences attendues Maîtrise des architectures de flux de données et des plateformes NiFi Capacité à concevoir, industrialiser et documenter des solutions techniques Autonomie dans la résolution de problématiques techniques complexes Bonne compréhension des enjeux de qualité, sécurité et traçabilité des données Expérience en environnement DevOps 🤝 Soft skills Excellente communication (écrite et orale en français) Esprit d’analyse et force de proposition Rigueur, respect des délais et sens de la qualité Esprit d’équipe et partage des connaissances Démarche d’amélioration continue 🎓 Profil recherché Formation Bac+5 (école d’ingénieur ou université) ou équivalent Minimum 3 ans d’expérience sur des problématiques de flux/data Une expérience dans le secteur retail / grande distribution est un plus 🔎 Profil cible Développeur Apache NiFi Expérience : 3 ans et + Compétences clés : Apache NiFi, Groovy

Dans le cadre du développement de son système d’information décisionnel, un grand groupe français renforce sa plateforme data dédiée au pilotage des activités immobilières. La mission s’inscrit dans l’évolution d’un hub de données centralisé , permettant de consolider, partager et valoriser les données métiers pour des usages analytiques avancés : pilotage opérationnel, reporting, data visualisation et ouverture vers des cas d’usage d’intelligence artificielle. Cette plateforme data, déployée depuis 2022, repose sur une architecture Lakehouse moderne dans le cloud AWS , et s’appuie sur des technologies telles que Databricks, NiFi, Redshift et Power BI . L’équipe data actuelle développe et maintient plusieurs applications analytiques visant à améliorer l’exploitation et la qualité des données au service des métiers. En tant qu’ Expert Data Engineer , vous interviendrez sur la conception, l’évolution et l’exploitation du hub de données. Vos principales responsabilités seront : Engineering & Data Platform Assurer la maintenance et l’optimisation des chaînes de traitement existantes (Python, SQL, Databricks, Power BI) Développer de nouveaux pipelines de données pour intégrer de nouvelles sources dans le Data Lake (Batch, API) Participer aux travaux de modélisation et d’urbanisation du hub de données Identifier, collecter, transformer et stocker les données nécessaires à l’alimentation des modèles analytiques Implémenter des algorithmes et traitements avancés exploitant les données du Data Lake Analyse & accompagnement métier Participer aux ateliers avec les métiers afin de formaliser les besoins Rédiger les expressions de besoins et spécifications fonctionnelles Définir les règles de calcul et d’agrégation des indicateurs Proposer des solutions adaptées aux enjeux d’analyse et de pilotage Descriptif de la mission Data visualisation & reporting Concevoir et développer des tableaux de bord et rapports Power BI Automatiser les processus de reporting Produire des indicateurs et restitutions analytiques pour les utilisateurs métiers Documentation & gouvernance Rédiger les spécifications techniques et fonctionnelles Documenter les règles d’alimentation du datawarehouse et les modèles de données Contribuer à la documentation des règles de sécurité et de gouvernance des données Participer aux plans de tests, recettes et supports utilisateurs

Contexte de la prestation La division CAP de MATHIS SNCF Réseau participe aux grands chantiers de modernisation du réseau ferroviaire. Il consiste à automatiser l'ensemble des processus de surveillance, maintenance, ingénierie . L'objectif est de tirer parti des opportunités offertes par les nouvelles technologies dans la collecte et le traitement des données pour réduire au maximum l'impact sur les circulations. Au sein de ce programme et en lien avec la gouvernance de la donnée, un socle centralisé d’ingestion, de stockage, de traitement et de mise à disposition des données provenant des différentes sources, à destination des différents consommateurs du programme, a été construit. En 2025-2026-2027, ce socle va évoluer selon les axes suivants : •Rapatriement d’une partie des services techniques, à ce jour hébergé chez IT Novem, dans le SI géré par la DGNUM •Déploiement de la plateforme data basée sur l’outil Databricks et les nouvelles fonctionnalités de gestion de la donnée (sql endpoint, unity Catalog, deltasharing, …) •Déploiement des plateformes d’ingestion basée sur l’outil Apache Nifi et les nouvelles fonctionnalités sur AKS. •Intégration des applications d’espace d’analyse, selon la cible d’architecture et les points précédents dans une cible globale •Extension du puits acquisition SNCF RESEAU vers des usages département MATHIS et plus en fonction des besoins DGNUM.

La prestation a pour objet la fourniture de services d’accompagnement à la mise en place, à l’industrialisation et à l’exploitation de la plateforme SINEMA, incluant notamment : l’appui aux équipes de développement pour l’usage de la plateforme (environnements, déploiements, supervision), la mise en cohérence opérationnelle entre les besoins du programme SINEMA et les infrastructures mises à disposition par le SNUM, la contribution à la définition et à l’industrialisation du socle technique (Kubernetes, Kafka, Apache Nifi, Hyperledger Fabric, PostgreSQL, chaîne d’intégration et de déploiement, observabilité). les clusters Kubernetes hébergeant les composants du programme SINEMA ; Technologies : microservices et APIs back-end, front-ends web, traitements batch ou services techniques associés aux applications, chaincodes (smart contracts Hyperledger Fabric) mis en œuvre pour la gestion des mouvements et de la traçabilité ; bus de messages Kafka, Apache Nifi, Hyperledger Fabric, PostgreSQL (entrepôt, bases applicatives), chaîne d’intégration et de déploiement (GitLab, ArgoCD, templates Helm, Ansible), briques d’observabilité (collecte de journaux, métriques, traces, tableaux de bord, alertes).

Pour l'un de nos clients, nous recherchons un Ingénieur DevOps BPA H/F afin d'accompagner les équipes à la mise en place, l’industrialisation et à l’exploitation d'une plateforme incluant notamment : L’appui aux équipes de développement pour l’usage de la plateforme (environnements, déploiements, supervision), La mise en cohérence opérationnelle entre les besoins du programme et les infrastructures mises à disposition La contribution à la définition et à l’industrialisation du socle technique (Kubernetes, Kafka, Apache Nifi, Hyperledger Fabric, PostgreSQL, chaîne d’intégration et de déploiement, observabilité). Les clusters Kubernetes hébergeant les composants du programme

Nous recherchons pour l'un de nos clients un(e) Data Engineer pour renforcer une squad Data dédiée à la mise en place d’un socle de Master Data Management (MDM) . L’objectif du projet est de centraliser, fiabiliser et gouverner les données liées aux instruments financiers , dans un environnement exigeant en matière de qualité, traçabilité et sécurité. Missions : Intégré(e) à une équipe pluridisciplinaire (Data Engineers, Architecte, BA, PO), vous interviendrez sur : La conception et le développement de pipelines de données (modèle Bronze / Silver / Gold) L’ingestion et l’orchestration des flux via Apache NiFi L’intégration de données multi-sources (CSV, XML, API REST) La modélisation des données et la construction de vues consolidées MDM La mise en place de contrôles de qualité et de traçabilité (logs, audit, complétude, cohérence, versioning) L’optimisation des performances des pipelines Le respect des standards de sécurité et conformité La documentation et le partage de bonnes pratiques au sein de la squad Environnement technique Apache NiFi SQL / NoSQL PostgreSQL Stockage objet : S3 / Blob Formats & protocoles : JSON, XML, CSV, API REST Scripting : Python , Bash CI/CD : GitLab, GitLab CI

Contexte Ouverture d’une nouvelle entité chez le client. Le Data Engineer interviendra dans un environnement IA / Big Data avec forte dimension cloud et DevOps. Missions Identification et analyse des besoins Participation aux ateliers d’idéation Rédaction de documentations techniques détaillées Définition des spécifications projets IA Proposition de solutions algorithmiques adaptées Interaction avec les infrastructures data Intégration et maintenance de solutions d’IA Gestion d’environnements Big Data, cloud et on-premise Mise en place DevOps / DevSecOps / MLOps Implémentation de pipelines CI/CD Mise en place de dépôts de code Contribution à une culture agile et sécurisée Communication et partage Partage de connaissances au sein de l’entité Communication sur les avancées et retours d’expérience Accompagnement à la montée en compétence de l’équipe Compétences techniques attendues Développement : Python, SQL, Spark, Scala Frameworks ML : pandas, numpy, scikit-learn ETL / pipelines : Apache Nifi, Talend, Kafka Big Data / Cloud : S3, Hadoop, MapReduce Bases de données : PostgreSQL, MySQL, MongoDB, Cassandra DevOps / MLOps : Docker, Gitlab, Kubernetes Profil recherché Expérience confirmée en environnement Data / IA Forte capacité d’analyse et de structuration À l’aise dans un contexte de création d’entité

Located in Lille, Lyon, Nantes, Grenoble, and Brussels, Insitoo Freelances is an entity of Insitoo Group, specialized in Freelances sourcing and supplying.Since 2007, Insitoo Freelances has been a reference in IT thanks to its expertise, transparency, and proximity . We are looking for a Data Engineer for our client in Brussels. Key responsibilities : Implementing new or modified functionality on the data platform and building data pipelines on this data platform Working with other data engineers, a functional analyst, solution architect, technical architect, and QA engineer. Together, they form an agile team. Relying on your technical knowledge and skills in Confluent Data Platform, Python, Airflow, NIFI, etc., to build functionality and data pipelines. Programming and delivering working code Consulting with colleagues Validating solutions and reviewing colleagues' code, following up on operational issues Writing documentation Evaluating and estimating user stories.