Trouvez votre prochaine offre d’emploi ou de mission freelance Apache NiFi

Au sein du domaine fonctionnel Énergie, la mission s'inscrit dans un contexte d'analyse technico-fonctionnelle et de maintien en conditions opérationnelles d'applications de gestion de la Performance Énergétique. Le prestataire intervient au sein de l'équipe Énergie, dans un environnement agile, afin d'assurer la maintenance quotidienne des applications et d'accompagner les métiers dans l'amélioration des outils et des processus, qu'il s'agisse d'évolutions, de corrections ou de projets spécifiques. La mission nécessite une montée en compétence rapide sur plusieurs applications du périmètre, afin d'en maîtriser les aspects fonctionnels et techniques. Elle implique également la coordination des ateliers techniques et fonctionnels avec les métiers, les équipes DITD, les éditeurs et la DevTeam, durant les phases d'étude, d'architecture, de spécification, de recette et de déploiement. Enfin, la mission requiert une forte capacité de formalisation à travers la rédaction de livrables projet tels que les spécifications, les cahiers de recette, les modes opératoires et les comptes rendus. Le prestataire est responsable d'une partie fonctionnelle du projet. Il agit en tant que représentant des besoins des utilisateurs et intervient sur le maintien des applications, tant sur les volets fonctionnels que techniques, en lien avec les enjeux de performance énergétique. Il est également en charge de la supervision des flux entre le système historique, Portail énergies, SCOPE et le reste de l'écosystème SI. La mission a pour objectif d'améliorer la performance des applications, de contribuer à leur bon fonctionnement et de participer à la gestion ainsi qu'à l'évolution du système d'information métier. Le prestataire veille à la cohérence du SI métier avec les orientations, les modes de fonctionnement et les processus définis au niveau du métier.

Informations clés : Localisation : Massy (2 à 3 jours/semaine sur site obligatoires) TJM : 500 € max Démarrage : ASAP Durée : Jusqu'au 31/12/2026 Contexte & Mission : En lien direct avec le Tech Lead, vous participez à la migration stratégique de plus de 450 flux NiFi actuellement hébergés en IaaS vers un cluster Kubernetes (CaaS) dédié. Activités & Responsabilités : Rétro-ingénierie & Adaptation : Analyser les flux NiFi existants pour valider, adapter et sécuriser leur migration. Cadrage DevOps & FinOps : Collaborer avec les équipes DevOps pour optimiser l'utilisation du nouveau socle et suivre les aspects de coûts (FinOps). Préparation & Allotissement : Préparer le socle technique et vous coordonner avec les interlocuteurs métiers selon le planning défini. Recette : Assurer les validations et les tests pré et post-migration dans le respect des standards de l'entreprise.

Bonjour à tous 😀 🚀 Contexte de mission Nous recherchons un Data ingénieur - Référent technique Nifi et Data , vous intervenez au sein d’une équipe Data & IA sur des environnements critiques à forte volumétrie. L’objectif : concevoir, optimiser et sécuriser les flux de données dans un contexte de production exigeant, avec des enjeux forts de continuité de service . 🎯 Vos missions Développer et maintenir des pipelines de données (Apache NIFI / Databricks) Optimiser les flux existants (performance, fiabilité, scalabilité) Assurer le RUN et le support (HNO / 24-7) Mettre en place et améliorer les processus CI/CD Superviser les traitements (monitoring, alerting) Participer aux études techniques et POC Produire la documentation et les reportings d’incidents Être force de proposition sur l’ amélioration de l’architecture data ✅ Must Have Expertise Apache NIFI Très bonne maîtrise de Databricks Expérience solide sur Azure Bon niveau en Python & Spark Expérience en environnement de production critique (RUN / incidents) Connaissance CI/CD (Git / GitLab) Expérience en monitoring (type DataDog) Bonne maîtrise des bases de données (PostgreSQL) Expérience en Agile / Scrum ➕ Nice to Have Connaissance AKS (Kubernetes) Expérience avec Zookeeper Background sur des projets data à forte volumétrie Culture DevOps / automatisation avancée

Un grand groupe du secteur de la distribution vous fait confiance pour piloter un projet stratégique majeur : la migration de plus de 450 flux de données Apache NiFi vers une infrastructure Kubernetes en mode CaaS (Cloud as a Service). Vous intégrerez une équipe pluridisciplinaire en environnement Agile, en étroite collaboration avec les Tech Leads et les équipes DevOps, pour garantir la continuité de service et l'optimisation des coûts d'infrastructure. Vous participerez à un projet d'envergure combinant ingénierie des données, architecture cloud et transformation digitale. Le contexte : moderniser une plateforme existante complexe tout en préservant la fiabilité des flux critiques. Vous travaillerez selon une méthodologie de sprint agile, avec des jalons clairs et une validation continue. Responsabilités : - Réaliser le rétro-engineering détaillé des flux NiFi existants pour valider leur pertinence et leur capacité à migrer, en documentant les dépendances, les transformations métier et les points critiques - Adapter les configurations NiFi en fonction des contraintes du nouvel environnement Kubernetes et des standards d'exploitation définis - Coordonner avec les équipes DevOps et FinOps pour valider l'usage optimal du socle cloud, optimiser les ressources et maitriser les coûts (CPU, mémoire, stockage) - Préparer la stratégie de migration par allotissement : préparation de l'infrastructure, séquençage des flux, création de playbooks opérationnels - Effectuer les validations pré-migration (tests unitaires, performance, continuité) et post-migration (conformité, traçabilité, non-régression) - Assurer le suivi des standards de qualité, sécurité et traçabilité des données tout au long du projet, en collaboration avec le Tech Lead - Documenter les solutions techniques, les procédures et les apprentissages pour favoriser le transfert de compétences

Participer à l'installation et l'évolution des éléments matériels et logiciels du SI sur des principes forts d'IaC Assurer la cohérence du SI notamment vis-à-vis de la résilience, de la scalabilité et de la sécurité Administrer et maintenir les infrastructures et les applications, notamment en assurant le support de production niveau 3 Contribuer à l'élaboration et à la diffusion des tableaux de bord Partager au sein de l'équipe le rôle de correspondant pour la sécurité opérationnelle Réaliser tout ou partie de projets techniques internes Réaliser tout ou partie du traitement de l'obsolescence logicielle Réaliser tout ou partie des actions de patching non automatisées sur les systèmes critiques Participer aux projets transverses BONUS (SI VOUS AVEZ EGALEMENT UNE EXPERIENCE DANS UNE DE CES VARIANTES): Variante spécialisation/expérience MySQL : mysql, postgresql Variante spécialisation/expérience Hadoop : hadoop, airflow, nifi, zeppelin, spark