Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Au sein du pôle technologique en charge des plateformes as a service , vous rejoignez la Squad Streaming qui est responsable du build et du run d’une plateforme Kafka (Confluent) de grande envergure, utilisée par de nombreuses entités du groupe. La plateforme compte plus de 30 clusters Kafka et constitue un socle critique pour les flux de données temps réel. Build & Architecture Déployer de nouveaux clusters Kafka (Confluent) Participer à la définition des architectures futures de la plateforme Concevoir et tester des prototypes liés aux nouveaux cas d’usage Industrialisation & Automatisation Automatiser les déploiements et opérations via Ansible Standardiser et fiabiliser les configurations Améliorer en continu les processus d’installation, d’upgrade et de scaling Run & Exploitation Assurer la mise en production et le maintien en condition opérationnelle des clusters Mettre à l’échelle les clusters existants (scaling horizontal et vertical) Participer aux astreintes techniques Diagnostiquer et résoudre les incidents complexes liés à la plateforme Support & Expertise Accompagner les équipes utilisatrices dans l’usage de la plateforme Kafka Fournir un support technique avancé Documenter les offres proposées par la plateforme Animer des formations, démonstrations et WebTech Rôle au sein de la Squad Prendre en charge des éléments du backlog Participer aux rituels agiles (daily, rétrospectives, démos, PI Planning) Co-construire la roadmap avec le Product Owner et le Squad Lead Endosser le rôle de lead technique sur un produit de la plateforme Compétences techniques requises Expertise solide Kafka (idéalement Confluent) Expérience d’exploitation de plateformes en production critique Automatisation avec Ansible Systèmes Linux Connaissance des architectures distribuées et résilientes Compétences appréciées Kubernetes Observabilité / monitoring Réseaux & sécurité Scripting (Python, Bash)

En quelques mots Cherry Pick est à la recherche d'un Expert Airflow(H/F) , pour le compte de l'un de ses clients qui opère dans le domaine de Luxe. Description 🏢 Le Contexte : Audit Stratégique & Modernisation Data Pour le compte d’un acteur majeur du Luxe , vous rejoignez le pôle Conseil Data d'une agence de marketing et data de premier plan. La mission consiste à réaliser un audit complet et une trajectoire de modernisation de l’orchestration data du client, actuellement basée sur un écosystème GCP (Google Cloud Platform) . Le client fait face à des enjeux de dette technique sur son legacy de flux et souhaite sécuriser sa transition vers les standards les plus récents de l'industrie. Vous interviendrez en binôme avec le Directeur du pôle Data/IA pour apporter l'expertise technique "Deep Dive" nécessaire. 🎯 Vos Missions : Onboarding, Audit & Recommandations La mission est découpée en trois phases distinctes sur un planning de 15 à 20 semaines : Phase 1 : Audit Global & Inventaire (Full-Time) Réaliser l’inventaire exhaustif des DAGs et des pipelines existants. Analyser les flux de données legacy sur GCP. Évaluer la performance, la fiabilité et la conformité (GCP Compliance) de l'infrastructure actuelle. Phase 2 : Étude de Migration Composer 2 vers 3 Étudier la faisabilité technique et les impacts d'une migration de Cloud Composer 2 vers Cloud Composer 3 . Identifier les risques critiques et les opportunités d'optimisation (coûts, scalabilité, maintenance). Phase 3 : Synthèse & Accompagnement (Part-Time) Rédiger les rapports de synthèse et les préconisations techniques. Présenter la proposition d’accompagnement et la roadmap de transformation au client. Assurer un rôle de conseil expert auprès des collaborateurs et du client.

Bonjour, Nous cherchons pour notre client un Data Engineer Experimenté/Senior . Site : Ile de France Proche paris ; 2/3 jours/semaine obligatoire sur site Date de démarrage : ASAP Date de fin : 31/12/2028 Le Contexte : Rejoignez une équipe de 14 passionnés pour relever un double défi technologique ! Nous recherchons un Data Engineer Senior pour piloter l'évolution d'un écosystème Big Data On-Premise (DataStore) tout en ouvrant la voie vers le Cloud. Vous serez au cœur d’une transformation stratégique : assurer l'excellence opérationnelle actuelle tout en préparant la migration progressive vers GCP . Vos Missions : Piloter l’excellence technique : Superviser les flux, garantir la qualité des données et optimiser les performances du DataStore. Innover et Maintenir : Faire évoluer les pipelines critiques (Spark, Kafka, NiFi). Expertise de pointe : Résoudre les incidents de niveau 3 avec une approche analytique (JIRA/ITZMI). Accélérer la migration : Être un acteur clé des chantiers transverses vers le Cloud.

Au sein d’une équipe agile, vous aurez pour responsabilités : Piloter la progression des développements et définir les orientations techniques Encadrer et accompagner une équipe de développeurs Être le référent technique sur la qualité du code et les bonnes pratiques de développement Participer activement au développement des services et API Concevoir et faire évoluer les architectures applicatives Accompagner les équipes dans l’adoption des bonnes pratiques d’API management Contribuer à la gestion de la dette technique Participer à la résolution d’incidents techniques complexes Collaborer avec les différentes parties prenantes : Product Owner, architectes et équipes Ops Selon les squads, vous pourrez intervenir sur : le développement d’API et services Java la gestion et l’évolution d’une plateforme d’ API Management l’ingestion d’événements et les flux de data opérationnelle l’amélioration et la maintenance de socles techniques transverses

Le client recherche un Architecte Technique Intégration confirmé capable de concevoir et structurer les architectures d’intégration applicative. Le consultant interviendra sur les projets nécessitant la mise en place de flux applicatifs entre différents systèmes métiers et industriels. Ses missions principales seront : -concevoir les architectures techniques des flux applicatifs -garantir la cohérence et l’urbanisation des échanges inter-systèmes -produire les livrables d’architecture nécessaires aux projets -accompagner les équipes techniques lors de la mise en œuvre des solutions -assurer la conformité des architectures aux standards techniques et de sécurité du groupe Le consultant participera également aux instances de validation d’architecture et contribuera à l’évolution des standards techniques de l’organisation. Prestations attendues Architecture & Design: Recueil et analyse des besoins métiers Conception d’architectures d’intégration inter-applicatives Modélisation des architectures techniques Urbanisation des flux applicatifs Définition de patterns d’intégration Participation aux comités d’architecture Conseil & Expertise: Support aux équipes projets et équipes de delivery Accompagnement des équipes techniques lors du déploiement des solutions Contribution aux normes et standards IT du groupe Support aux équipes sécurité et architecture Vérification de la conformité des implémentations aux standards d’architecture Gouvernance & Delivery: Participation aux comités techniques et d’architecture Support aux phases de validation des architectures Accompagnement à la mise en production des solutions Suivi et reporting des activités Livrables attendus : HLD Flux (High Level Design) LLD / Design technique détaillé Patterns d’architecture et modélisation Documentation technique d’intégration Recueil des besoins métiers Rapports d’activité hebdomadaires Support aux comités de validation d’architecture

Mission : Data Engineer Confirmé – Python / Spark / Databricks / AWS Dans le cadre de l’évolution d’une plateforme Data centralisée, nous recherchons un Data Ingénieur confirmé pour intervenir sur le développement et l’optimisation de pipelines de données dans un environnement Big Data et Cloud AWS. Stack technique : Python • Spark • Databricks • SQL AWS (S3, Airflow, Glue, CloudWatch) Git • CI/CD • Agile / Scrum ✅ Profil recherché : Expérience confirmée en Data Engineering Bonne maîtrise de Spark / Databricks Expérience Cloud AWS

Nous recherchons un Product Owner (PO) expérimenté pour rejoindre une équipe agile travaillant sur des applications de financement à l’international. La mission s’inscrit dans un contexte SAFe et comporte des responsabilités à la fois fonctionnelles et techniques. Durée de la mission : 3 ans Démarrage : Avril Localisation : Maison Alfort – 2 jours en présentiel (mardi et vendredi) et 3 jours en télétravail (lundi, mercredi, jeudi) Expérience requise : +7 ans Missions principales : Concevoir, rédiger et maintenir les User Stories (US) et Tests d’acceptation. Suivre la réalisation avec les développeurs et effectuer les tests au fur et à mesure. Accompagner les utilisateurs finaux (conseil, formation, recensement des améliorations fonctionnelles, 1er niveau d’incidents). Assurer le maintien en condition opérationnelle des applications, avec suivi des incidents et respect des SLA. Participer et contribuer aux jalons SAFe : PI Planning, Iteration Planning, Review, PO Sync. Coordonner avec les équipes transverses pour les besoins fonctionnels et techniques.

Expert NiFi (H/F) Dans le cadre d’un projet data, nous recherchons un Expert Apache NiFi pour intervenir chez l’un de nos clients. 🔍 Profil recherché : Expérience confirmée sur Apache NiFi Mise en place et optimisation de flux de données Bonne maîtrise des concepts ETL / ingestion / transformation Expérience sur des environnements data (Big Data / Data Platform) Connaissances en SQL et scripting (Python, Shell…) 🤝 Qualités attendues : Autonomie et proactivité Capacité à travailler en équipe Esprit d’analyse 📍 Mission longue – démarrage ASAP

Almatek recherche pour l'un de ses clients, Un DevOps Sénior Kafka Kubernetes Data Platform Sur la région parisienne. ENVIRONNEMENT TECHNIQUE ET EXPERTISES NÉCESSAIRES. Maîtriser les technologies GCP (Google Cloud Platform) telles que Google Kubernetes Engine (GKE), Cloud Storage, Cloud SQL et Cloud Monitoring. Maîtriser en profondeur Apache Kafka, de sa confi guration avancée (partitionnement, réplication, compaction) à son exploitation en production, en passant par le tuning des performances, la gestion fi ne des topics et des offsets, la mise en oeuvre de la sécurité (TLS, SASL, ACL) et l’intégration avec des outils de supervision comme Prometheus et Grafana Avoir une solide expérience avec Kubernetes, notamment la création et la gestion de clusters, le déploiement d'applications et la supervision des performances. Être à l'aise avec les concepts DevOps, tels que l'intégration continue (CI) et la livraison continue (CD), et les outils associés. Connaissance des bonnes pratiques de sécurité et de la mise en place de politiques d'accès. Compréhension des concepts de base des bases de données relationnelles. Maîtrise des scripts de scripting (bash, Python, etc.). Esprit d'analyse et d'amélioration continue : Capacité à évaluer le code et ses impacts, ainsi qu'à remettre en question les solutions existantes pour les améliorer. Capacité à travailler de manière autonome et à gérer son temps effi cacement. Excellente communication écrite et orale : Aptitude à produire des livrables et des reportings de haute qualité. Esprit d'équipe : Capacité à collaborer effi cacement avec les membres de l'équipe pour atteindre des objectifs communs. Maîtrise des concepts d’Agilité (Scrum, Sprint Planning, Backlog…). Le/la consultant(e) doit disposer de son propre matériel, adapté aux besoins de la mission : OS & CPU : Windows (Intel Core i7 ou i9, AMD Ryzen 7 ou 9), MacOS (M2 ou supérieur), Linux (AMD Ryzen 7 ou 9) RAM : minimum 16 Go, idéalement 32 Go ou plus Stockage SSD) : minimum de 512 Go, idéalement 1 To ou plus

Dans le cadre de la conception et de l’évolution de plateformes applicatives et data orientées temps réel , nous recherchons un Architecte Kafka AWS capable d’intervenir de bout en bout (end-to-end / endzone) : de l’architecture backend et streaming jusqu’à l’intégration avec les applications frontend. Le poste s’inscrit dans des environnements cloud AWS à forts enjeux de performance, de scalabilité et d’intégration SI. Rôle & responsabilitésArchitecture globale (End-to-End) Concevoir l’ architecture applicative et data de bout en bout Garantir la cohérence entre : Frontend (Angular) Backend (.NET) Streaming & intégration (Kafka) Infrastructure AWS Être le référent architecture sur le périmètre fonctionnel et technique Kafka & intégration Concevoir et mettre en œuvre des architectures événementielles basées sur Apache Kafka Définir les patterns d’intégration : Event-driven Pub/Sub CDC (Change Data Capture) Mettre en place Kafka Connect, Schema Registry, MirrorMaker Accompagner les équipes sur la modélisation des événements et contrats de données Environnement AWS Déployer et opérer Kafka sur AWS (Amazon MSK ou équivalent) Concevoir l’architecture cloud : VPC, IAM, sécurité, réseaux EC2 / EKS selon les besoins Intégrer Kafka avec les services AWS (S3, Lambda, bases de données, etc.) Backend – .NET Concevoir des API et services backend en .NET Définir les standards d’architecture (clean architecture, microservices) Garantir performance, sécurité et maintenabilité Intégrer les flux Kafka côté backend Frontend – Angular Définir les principes d’architecture frontend Angular Assurer la bonne intégration avec les API et les flux temps réel Travailler sur l’expérience utilisateur dans des applications data-driven Qualité & gouvernance Mettre en place les bonnes pratiques : Sécurité Monitoring Logging Résilience Documenter les architectures Participer aux revues techniques et d’architecture Accompagner et guider les équipes de développement Compétences techniques requisesStreaming & intégration Apache Kafka (expert) Kafka Connect, Schema Registry Architectures event-driven Formats : JSON, Avro, Protobuf Cloud & DevOps AWS (très bonne maîtrise) Amazon MSK CI/CD Infrastructure as Code (Terraform, CloudFormation) Backend .NET / C# APIs REST Microservices Frontend Angular Intégration frontend / backend Notions UX appréciées Profil recherché Formation ingénieur ou équivalent Expérience confirmée en architecture end-to-end Solide expérience sur Kafka en production À l’aise dans des environnements complexes et multi-équipes Capacité à dialoguer aussi bien avec les développeurs que les métiers Atouts appréciés Expérience grands comptes Connaissances data (Spark, Flink, etc.) Certifications AWS / Kafka Sens du produit et de l’expérience utilisateur

🎯 Contexte Dans le cadre d’un vaste programme de transformation digitale, la DSI d’un grand groupe industriel international renforce sa gouvernance des flux applicatifs entre les systèmes Enterprise et les systèmes Industriels. Ces environnements – bien que segmentés pour des raisons de sécurité – sont fortement interconnectés. Le groupe souhaite donc disposer d’architectures d’intégration robustes, sécurisées et conformes aux standards d’urbanisation IT définis à l’échelle internationale. Le consultant rejoindra l’équipe Solution Design & Architecture as a Service , au sein du département Enterprise Architecture , afin d’intervenir sur la conception d’architectures d’intégration et l’accompagnement des projets. 🔧 Environnement technique AWS (services natifs, data transfer) MuleSoft Kafka MQTT Architecture d’intégration inter-systèmes Urbanisation du SI CI/CD Environnements industriels sécurisés 🎯 Objectif de la mission L’objectif est de prendre en charge la conception et la structuration des architectures d’intégration applicative sur les projets nécessitant l’échange de données entre SI Enterprise et SI Industriels. 💼 Missions principales Concevoir les architectures techniques de flux applicatifs Garantir la cohérence et l’ urbanisation des échanges inter-systèmes Produire les livrables d’architecture (HLD / LLD) Accompagner les équipes techniques lors de la mise en œuvre Assurer la conformité avec les standards IT & sécurité du groupe Participer aux comités et validations d’architecture Contribuer à l’évolution des standards techniques globaux 📌 Prestations attendues 🧩 Architecture & Design Analyse des besoins métiers Conception d’architectures d’intégration inter-applicatives Modélisation des composants et flux techniques Urbanisation des flux Définition de patterns d’intégration Participation aux comités d’architecture 🧠 Conseil & Expertise Support aux équipes projets et delivery Accompagnement au déploiement des solutions Contribution aux normes et standards IT Support aux équipes sécurité / architecture Contrôle de la conformité technique 📊 Gouvernance & Delivery Participation aux comités techniques Support aux phases de validation Accompagnement à la mise en production Suivi des activités et reporting 📄 Livrables attendus HLD (High Level Design) LLD (Low Level Design) / Design technique détaillé Patterns & modèles d’architecture Documentation technique d’intégration Recueil des besoins métiers Rapports hebdomadaires Contribution aux comités de validation

Contexte de la mission : Pour un besoin interne , nous recherchons un Expert Spark Data Engineer La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence construite sur une architecture comprenant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur l’infrastructure OVH. Volumétrie cible : 350 bases de données 5 000 requêtes par seconde 1 To par an Tâches à réaliser : Analyse et état des lieux technique Préconisations d'amélioration : Amélioration Spark streaming + temps réel + dimensionnement infra Préconisations d'amélioration : Dimensionnement infra pour le streaming temps réel. Préconisations d'amélioration : Dimensionnement MongoDB & structuration de la donnée (standardisation des patterns) Document d'architecture cible & de préconisations

QODEXIA est une société de services informatiques implantée en France et en afrique du nord. Partenaire performant, innovant, agile pour aider les entreprises dans leur transforamtion digitale. QODEXIA s'est spécialisée dans le digital, SAP et les nouvelles technologies, accompagne au quotidien les plus grands acteurs de l'industrie, de l'énergie, du Luxe, de la Banque et de l'Assurance sur leurs projets. L’IT est notre passion, les valeurs humaines sont notre capital, c'est de quoi notre ADN est composé. Dans le cadre du développement de son usine digitale orientée Data , notre client recherche 6 Data Engineers expérimentés afin d’accélérer la mise en œuvre de cas d’usage sur la plateforme Databricks. 📍 Localisation : France / Remote 📅 Démarrage : ASAP

Dans le cadre du renforcement de ses équipes techniques, notre client recherche un Développeur Backend Python. Missions : En tant que Développeur Backend, vous serez amené(e) à : Concevoir, développer et maintenir des services backend en Python , basés sur le framework AIOHTTP Participer à la conception d’architectures microservices Développer des API performantes, robustes et sécurisées Intégrer des flux de données asynchrones via Kafka Contribuer à la mise en place et à l’amélioration des pipelines CI/CD Déployer et exploiter les applications dans des environnements Docker / Kubernetes Mettre en œuvre des solutions de monitoring et d’alerting pour garantir la disponibilité et la performance des services Collaborer étroitement avec les autres développeurs, les équipes DevOps et les parties prenantes du projet Participer aux rituels agiles (daily, sprint planning, rétrospectives)

Rejoignez la Direction du Système d'Information d'un acteur majeur de la banque en ligne en pleine croissance. Intégré(e) à l'équipe technique en charge des applications de PFM (Personal Financial Management) , vous participerez au développement de services innovants qui redéfinissent l'expérience bancaire de millions d'utilisateurs. Dans un environnement où l'agilité et l'innovation sont les maîtres-mots, vos missions s'articuleront autour de trois axes majeurs : Développement & Innovation : Concevoir, développer et intégrer de nouvelles fonctionnalités au sein d'un écosystème complexe. Vous serez au cœur de la mise en place des nouveaux services de la banque de demain. Évolutivité & Architecture : En collaboration directe avec les équipes de développement, vous proposerez des choix d'architecture stratégiques permettant au SI de supporter une forte montée en charge tout en garantissant la résilience et la performance des applications. Excellence Opérationnelle : Garantir la non-dégradation des performances et le respect des standards de développement. Vous apporterez également votre expertise sur l'analyse et la résolution durable des incidents de production afin d'assurer une qualité de service irréprochable.