Trouvez votre prochaine offre d’emploi ou de mission freelance Apache NiFi à Paris

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Nous recherchons pour l'un de nos clients un(e) Data Engineer pour renforcer une squad Data dédiée à la mise en place d’un socle de Master Data Management (MDM) . L’objectif du projet est de centraliser, fiabiliser et gouverner les données liées aux instruments financiers , dans un environnement exigeant en matière de qualité, traçabilité et sécurité. Missions : Intégré(e) à une équipe pluridisciplinaire (Data Engineers, Architecte, BA, PO), vous interviendrez sur : La conception et le développement de pipelines de données (modèle Bronze / Silver / Gold) L’ingestion et l’orchestration des flux via Apache NiFi L’intégration de données multi-sources (CSV, XML, API REST) La modélisation des données et la construction de vues consolidées MDM La mise en place de contrôles de qualité et de traçabilité (logs, audit, complétude, cohérence, versioning) L’optimisation des performances des pipelines Le respect des standards de sécurité et conformité La documentation et le partage de bonnes pratiques au sein de la squad Environnement technique Apache NiFi SQL / NoSQL PostgreSQL Stockage objet : S3 / Blob Formats & protocoles : JSON, XML, CSV, API REST Scripting : Python , Bash CI/CD : GitLab, GitLab CI