Trouvez votre prochaine offre d’emploi ou de mission freelance Apache NiFi

Participer à la conception des architectures Data et aux choix techniques. Assurer l'orchestration des flux de données et l'industrialisation des traitements. Mettre en œuvre les pratiques CI/CD et les processus de déploiement. Réaliser les tests unitaires, garantir la qualité du code et contribuer aux mises en production. Participer à l'optimisation des performances et à la fiabilisation des traitements. Collaborer avec les équipes techniques et métiers dans un environnement Agile. Contribuer à la résolution des incidents et à l'amélioration continue des pipelines de données. Environnement techniqueCompétences indispensables : Scala Apache Spark Hadoop Databricks Compétences complémentaires : PySpark et Python AWS Apache NiFi Shell Unix Git / GitHub CI/CD et industrialisation des traitements Data

Dans le cadre d'un projet Data pour le client au sein du marché NTIC et de la DTNum – Data, le consultant interviendra sur la plateforme sécurisée des données. Il sera responsable de l'administration technique et du maintien en conditions opérationnelles des outils de cartographie des données, ainsi que de l'alimentation et de l'enrichissement des cartographies fonctionnelles et techniques. La mission s'inscrit dans un environnement intégrant notamment le dictionnaire de données OpenMetadata, le catalogue métier Istya et les produits de la plateforme sécurisée des données : Datalake, requêteur sécurisé Odylac et écosystème de datavisualisation. L'objectif est de garantir la fiabilité, la sécurité, la documentation et l'exploitabilité des solutions, en vue de leur transfert vers un centre d'exploitation dédié. 2. Missions principalesAdministration technique et exploitation (OPS) Maintenir et déployer les configurations d'infrastructure et des outils à l'aide de Terraform et Ansible. Assurer le maintien en conditions opérationnelles des instances Apache NiFi et des connecteurs OpenMetadata. Superviser les pipelines d'ingestion et diagnostiquer les incidents techniques. Mettre en œuvre les actions correctives nécessaires et fiabiliser les traitements. Rédiger et maintenir la documentation technique et les fiches d'exploitation. Alimentation et enrichissement du catalogue de données Développer et maintenir les flux Apache NiFi d'ingestion des métadonnées techniques et fonctionnelles vers OpenMetadata et Istya. Mettre en œuvre les contrôles qualité, les transformations et les mécanismes de validation des données entrantes. Garantir la cohérence, la fiabilité et la traçabilité des métadonnées collectées. Connectivité des produits Data Améliorer l'interconnexion entre le Datalake existant et OpenMetadata. Mettre en œuvre l'extraction des schémas et le profilage des données. Étendre la couverture de la cartographie automatique aux autres services Data de la plateforme sécurisée. Contribuer à l'amélioration continue des outils de catalogage et de gouvernance des données

Notre client, acteur reconnu dans l'aéronautique, est à la recherche de son futur Développeur Python & Intégration ETL Senior (H/F) pour son site de Blagnac, dans le cadre du renforcement de ses équipes dédiées aux échanges de données, à l'intégration applicative et à l'évolution de son système d'information. Vos missions Intégré à une équipe regroupant développeurs, experts applicatifs et référents techniques, vous devrez : Concevoir et développer des flux d'intégration et de transformation de données. Participer à la mise en œuvre et à l'évolution des processus ETL. Développer des composants et outils en Python répondant aux besoins métiers. Assurer l'interconnexion des applications du système d'information. Contribuer à l'amélioration de la qualité, de la fiabilité et de la performance des échanges de données. Participer aux études techniques et aux choix de conception. Collaborer avec les équipes projets pour accompagner les évolutions du SI. Apporter votre expertise sur les bonnes pratiques d'intégration et d'architecture applicative. Compétences techniques attendues Développement Python confirmé. Conception et développement de flux d'intégration. ETL et traitement de données. API REST et échanges de données. SQL et bases de données relationnelles. Intégration applicative et interopérabilité. Architecture applicative (notions solides ou expérience de terrain). Middleware et outils d'intégration. Apache NiFi apprécié mais non obligatoire. Environnements Linux et outils de versionning (Git).

Notre client, acteur reconnu de son secteur, est à la recherche de son futur Architecte Applicatif & Intégration Senior (H/F) pour son site de Blagnac, dans le cadre du renforcement de sa gouvernance technique autour des sujets d'intégration et d'architecture applicative. Vos missions Intégré à une équipe regroupant experts applicatifs, architectes et développeurs, vous devrez : Définir et faire évoluer l'architecture applicative du SI. Concevoir et structurer les flux d'échanges entre applications. Accompagner les projets d'urbanisation et de transformation du système d'information. Garantir la cohérence des mécanismes d'intégration entre les différentes plateformes. Participer aux choix techniques et aux orientations d'architecture. Accompagner les équipes de la Digital Factory dans leurs projets. Contribuer à l'amélioration des plateformes middleware et d'API management. Apporter une vision transverse du SI et de ses interactions. Compétences techniques attendues Architecture applicative. Intégration de systèmes. Urbanisation du SI et des flux. Middleware et plateformes d'échanges. ESB (Enterprise Service Bus). API et architecture orientée services. Apache NiFi ou forte expertise intégration avec capacité à monter rapidement sur l'outil. Modélisation des flux et interopérabilité des applications. Gouvernance et standards d'architecture.

Dans le cadre d'un projet Data / Big Data, nous recherchons un Data Engineer confirmé / senior spécialisé en Python et Spark/PySpark, pour intervenir sur une plateforme Cloudera CDP. 🎯 Contexte de la missionVous interviendrez sur des sujets de développement Data Engineering, avec la conception et l'évolution de pipelines de données en environnement Big Data, notamment sur des traitements batch et streaming. 🛠️ MissionsDévelopper des pipelines et traitements Data en Python / Spark / PySpark Concevoir et maintenir des traitements Spark Streaming Participer au développement et à l'intégration de flux de données Intervenir sur une plateforme Cloudera CDP 7.1.9 Travailler avec les différents composants de l'écosystème Big Data Participer aux évolutions et à l'industrialisation des traitements Data Collaborer avec les équipes Data / Back / Infrastructure 💻 Environnement techniqueIndispensables : ⭐ Python ⭐ Apache Spark ⭐ PySpark Expérience significative en Data Engineering Environnement fortement apprécié : Cloudera CDP 7.1.9 Kafka NiFi Kubernetes / K8s Hive Ozone Iceberg Data Virtualization Spark Streaming