Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Hello, Pour le compte de l'un de mes clients dans le secteur de l'énergie, je suis à la recherche d'un Référent PoC/Kafka & Tech Lead Java sur Lyon Contexte : Mise en place d'un échange Kafka B2B sécurisé, dans les deux sens, entre le système d'information interne et des partenaires externes, via des zones DMZ. Le PoC doit trancher le choix du proxy Kafka et du relais, et fournir les preuves pour la revue de sécurité. Phase 1 : mission PoC (1 à 2 mois) • Prendre en main l'architecture B2B de flux Kafka. • Mettre en place le PoC (flux entrants et sortants), l'exécuter et corriger les écarts sur un environnement Lab simulé. • Installer le PoC sur un environnement interne de l'entreprise. • Comparer les proxys Kafka (Kroxylicious, Envoy, Conduktor Gateway) et le relais (composant maison ou MirrorMaker 2). • Produire les preuves pour la revue de sécurité (audit de configuration et pentest). Phase 2 : mission Tech Lead Java (si PoC réussi) • Industrialiser les composants validés (collecteur, relais, émetteur) en un projet Java maintenable. • Décider ce qui reste développé et ce qui est remplacé par un standard. • Structurer le projet : modules Maven, intégration continue, tests, publication d'une image conteneur. • Fixer les règles de version : client Kafka, Protobuf, dépréciations, compatibilité des contrats de messages. • Intégrer la sécurité : secrets et certificats, revue de code, correction des points d'audit et de pentest. • Mettre en place la supervision, le runbook d'exploitation et le plan de reprise. • Encadrer une petite équipe de type TinyTeam : backlog, estimation, revues de code. Assurer la passation à l'exploitation.

Lieu : Nantes sud (44) Salaire : 50 K€ annuel brut Rythme : 1 journée de télétravail par semaine Nous recherchons pour notre client, un Product Owner Data Technico-Fonctionnel (H/F) dans le cadre d'une création de poste en CDI. VOS MISSIONS : Rattaché(e) directement à la Direction des Systèmes d'Information, vous intégrez une DSI à taille humaine pour piloter la vision, la roadmap et la gouvernance Data de notre client. Vos missions sont les suivantes : Pilotage stratégique et orientation de la roadmap data • Piloter la trajectoire produit : Concevoir, ajuster et prioriser la feuille de route des différents actifs et de la plateforme data en fonction de la valeur métier apportée. • Gérer le cycle de vie de la plateforme : Animer et séquencer les différents chantiers d'évolution et de structuration de l'écosystème data, incluant son volet gouvernance. • Cadrer les besoins métiers : Écouter, qualifier et hiérarchiser les demandes émanant des différentes entités de l'entreprise (réseau, animation, marketing, finance et support). Centralisation des données et unification des référentiels • Orchestrer le DataHub relationnel : Garantir la fiabilité du golden record (conseillers et clients), piloter l'identifiant pivot et centraliser la gestion des flux de leads entrants. • Alimenter l'écosystème CRM 360° : Centraliser l'historique des interactions et veiller au respect des niveaux de confidentialité pour les équipes du siège. • formaliser les contrats de données : Négocier et rédiger les data contracts avec les équipes en charge des applications et les éditeurs tiers. Déploiement d'une gouvernance des données robuste • Instaurer le catalogue de données : Mettre en œuvre et administrer le référentiel documenté, clarifier les définitions métier et identifier les data owners. • Assurer la qualité des données : Définir et surveiller des indicateurs de contrôle stricts (fraîcheur, taux de complétude, déduplication). • Veiller à la conformité réglementaire : Travailler main dans la main avec le DPO pour appliquer le RGPD (politiques de rétention, automatisation des purges, tenue du registre). Conception et mise en valeur des produits data • Industrialiser les flux : Concevoir les pipelines de données et superviser l'alimentation continue du datalake. • Moderniser la BI : Rationaliser et repenser les outils de reporting existants pour concevoir des tableaux de bord pertinents destinés au siège et au réseau. • Piloter la performance : Valider et certifier les indicateurs clés de pilotage, y compris ceux mesurant l'avancement de la trajectoire DSI. • Soutenir l'innovation IA : Préparer et structurer les jeux de données nécessaires aux cas d'usage portés par l'équipe IA Factory. Pilotage du delivery et animation agile • Spécifier les besoins : Rédiger les user stories orientées data, formaliser les spécifications techniques de flux et définir les critères de recette. • Animer les rituels de livraison : Travailler en étroite collaboration avec les data engineers et les intégrateurs, rythmer les cérémonies agiles et valider les mises en production. • Favoriser l'appropriation : Assurer la montée en compétences des utilisateurs finaux et encourager l'autonomie à travers des usages en self-service. ENVIRONNEMENT TECHNIQUE : Data & Gouvernance : Mise en place d'une plateforme Data moderne, gouvernance, qualité et observabilité des données. Compétences techniques : SQL | Data : Airflow, dbt, Snowflake, ClickHouse, Metabase, DataHub. Connaissance du RGPD et de son application aux données personnelles. PROCESS : Après un premier échange en visio avec un membre de notre équipe, vous rencontrerez : • Le Responsable des Systèmes d'information en visio • Puis un entretien final sur site avec la direction Une décision rapide est prise à l'issue des entretiens. Envoyez-nous votre profil ! Si votre expérience correspond, un membre de l'équipe vous contactera sous 24h. Au plaisir d'échanger sur votre projet, S-quaar

Contexte :Nous recherchons un PO / PM technique pour piloter la refonte d'une application métier critique dans le domaine de la sûreté. Le projet comporte des enjeux forts de traitement en temps réel, de performance et d'intégration avec des systèmes existants. La mission est prévue pour 4 mois dans un premier temps, avec une perspective de prolongation sur un programme pouvant aller jusqu'à 24 mois. Votre mission :Constituer et piloter 3 squads de 3 à 4 développeurs. Mettre en place une organisation de travail claire et donner le rythme aux équipes. Traduire les besoins métier et les contraintes techniques en décisions concrètes. Sécuriser la livraison dans un calendrier aux jalons exigeants. Coordonner les équipes et les partenaires impliqués dans le projet. Proposer des usages pertinents de l'IA pour améliorer le travail des équipes.

Il réalise les contrôles et vérifications du plan de production. Il relance si nécessaire les jobs en erreur, en adéquation avec le tableau de consignes ou après validation du responsable fonctionnel. Il communique sur les erreurs rencontrées lors des traitements. Il s'assure du maintien en condition opérationnelle des différents environnements de production et hors production. Il traite les différentes demandes émanant de l'outil de ticketing (récupération de document, passage de scripts,...). Il prépare et réalise les mises en production (MEP) dans le respect des procédures en s'assurant des prérequis avant MEP et effectue les contrôles une fois l'intervention terminée (post-MEP). Il traite, analyse les incidents (système, applicatifs,...) en collaboration avec les autres membres de la Squad et est force de proposition dans leurs résolutions. Il analyse si nécessaire les fichiers de logs et les outils de monitoring afin d'identifier les causes de dysfonctionnements. Il réalise les opérations de maintenance et les mises à jour applicatives. Il assure le suivi de la supervision et traite les alertes remontées par le système de monitoring ou par les équipes fonctionnelles. Il crée, modifie et maintient les jobs et chaînes de traitements automatisés par l'ordonnanceur ou par d'autres systèmes (Crontab,...). Il participe aux opérations d'exploitation et aux changements avec l'aide des autres membres de la Squad si nécessaire. Il documente les interventions et participe aux retours d'expériences afin d'améliorer les procédures existantes. Il met à jour les documentations d'exploitation.

ContexteDans le cadre du renforcement d'une équipe, nous recherchons un consultant Data Engineer Senior/Expert capable d'intervenir de manière autonome sur la conception, l'industrialisation et l'exploitation de produits et pipelines Data. La mission s'inscrit dans un environnement Lakehouse AWS, avec des enjeux de qualité, performance, fiabilité des traitements et maîtrise du RUN. MissionsLe consultant interviendra notamment sur les activités suivantes : Concevoir, développer et optimiser des pipelines de données. Développer et industrialiser les traitements avec Spark/PySpark, Python, SQL et dbt. Exploiter des données au format Apache Iceberg dans une architecture Lakehouse / Medallion. Orchestrer les traitements avec Airflow. Déployer et maintenir les traitements sur AWS et contribuer à l'Infrastructure as Code avec Terraform. Mettre en œuvre les contrôles de Data Quality, tests et mécanismes d'observabilité. Participer au RUN, à l'analyse des incidents et au traitement des causes racines. Contribuer à la documentation, au Data Lineage, aux Data Contracts et au Data Catalog. Travailler avec les Product Owners et interlocuteurs métier afin de traduire les besoins Marketing en solutions Data robustes et maintenables. LivrablesLes livrables de la prestation pourront comprendre : Pipelines Data développés, testés et industrialisés. Transformations Spark et Modèles dbt. Workflows Airflow. Infrastructure Terraform nécessaire aux traitements. Tests automatisés et contrôles de Data Quality. Monitoring et alerting associés aux traitements. Documentation technique et fonctionnelle. Documentation des modèles et règles métier. Contribution aux Data Contracts, lineage et métadonnées. Analyse et résolution des incidents. Plans de remédiation pour les incidents ou problèmes récurrents. Contribution aux standards et bonnes pratiques Data Engineering de l'équipe.

La mission consiste à intervenir en tant qu'Expert Développement / Architecture Applicative dans le cadre d'un projet stratégique de conception, d'implémentation et d'hébergement de composants d'une plateforme de gestion. Le consultant contribuera notamment à la conception et au développement du composant de règlement de la plateforme, avec des enjeux importants de performance, de montée en charge et de résilience. Il aura pour responsabilités de concevoir et développer des solutions robustes, de définir et réaliser les tests unitaires, de respecter les standards de développement du projet et de prendre en compte les indicateurs issus des outils d'analyse de code tels que Sonar. Il participera également à la réalisation de prototypes, aux revues de code, aux choix d'architecture et à la rédaction de la documentation technique en anglais.

Hanson Regan recherche un développeur Java/ Kafka expert- Druid / Flink pour une mission de 12 mois à Paris. • Maîtrise des langages de programmation (Kafka - Druid / Flink) • Solides compétences en architecture des systèmes d'information • Contribuer à la conception et au développement du module de paiement de la plateforme de gestion • Définir et implémenter des tests unitaires pour les modules dont vous avez la responsabilité • Respecter les standards de développement définis par le projet et prendre en compte les indicateurs fournis par les outils d'analyse de code (Sonar) • S'assurer que les composants répondent aux exigences non fonctionnelles (performance, gestion de la charge, résilience, etc.) • Proposer et développer des prototypes • Collaborer avec les autres membres de l'équipe projet (environnement international) • Effectuer des revues de code • Rédiger la documentation technique (en anglais) Environnement technique : La connaissance de Druid et Flink est indispensable et une expérience dans un projet de numérisation de devises serait un atout. • Localisation : Paris (3 jours au bureau par semaine) • A noter : le tarif journalier est plafonné à 615 € pour les profils experts Conformément aux exigences du client, les freelances doivent pouvoir travailler via leur propre entreprise. Malheureusement, nous n'acceptons pas les candidatures via des sociétés de portage salarial pour ce poste. Si ce message vous intéresse, veuillez nous contacter au plus vite.

Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, sécurisation de l'infrastructure, et autonomisation des équipes autour d'une plateforme bancaire de données critiques. Notre client gère des pipelines de données complexes traversant 9 pays européens, avec une volumétrie considérable (200+ DAGs en production). Suite à un audit technique approfondi en début 2026, la plateforme a été stabilisée et entre désormais dans une phase d'optimisation structurelle. Vous serez au cœur de cette évolution, responsable de faire évoluer les mécanismes d'orchestration existants, de renforcer la robustesse face à la charge et aux défaillances, d'étudier les alternatives architecturales, et de structurer les équipes pour une exploitation en autonomie long terme. La mission s'organise autour de quatre axes complémentaires : - Axe 1 - Optimisation architecturale : faire évoluer la DAG Factory existante, migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets), optimiser les performances au parse-time et runtime, et mettre en place la validation automatisée en CI/CD (parse test, linting, tests d'intégration). - Axe 2 - Sécurisation et résilience : implémenter une politique de rotation des secrets, déployer le routage différencié des alertes par type d'incident et criticité, piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs), renforcer l'isolation réseau et durcir la configuration, finaliser et maintenir les runbooks d'incidents. - Axe 3 - Étude et migration vers une infrastructure cible : l'audit a mis en évidence les limites structurelles d'AWS MWAA (contraintes de scaling, flexibilité limitée, coûts). Vous serez chargé de benchmarker les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect ou autres solutions), de produire une recommandation argumentée avec analyse coûts/bénéfices et risques, et de piloter la migration vers l'infrastructure retenue si pertinent. - Axe 4 - Autonomie des équipes : lancer et piloter un programme de formation sur l'orchestration destiné aux équipes Dev et Ops (environ 10 personnes), constituer une méta-équipe plateforme avec vision unifiée Dev + Ops sous leadership technique commun, accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps), et évaluer l'internalisation progressive de profils techniques clés. Vous travaillerez dans un environnement technique mature et ambitieux, au sein d'une organisation valorisant l'excellence technique, la rigueur architecturale et le mentorat. Vous aurez également la responsabilité de concevoir et faire appliquer des standards...

Data Engineer GCP – BigQuery / Airflow – Lille (H/F) ASAP Tech recherche un Data Engineer GCP pour accompagner l'un de ses clients dans le maintien et l'évolution de sa plateforme data à Lezennes, dans la métropole lilloise. L'opportunité est ouverte en freelance ou en CDI, avec 2 jours de télétravail par semaine. Vous rejoindrez un environnement Google Cloud Platform, utilisé par les équipes produit et des agents IA. Votre rôle associera data engineering, exploitation de la plateforme et industrialisation, avec une forte dimension RUN. Vos missions : Concevoir, maintenir et faire évoluer les pipelines ETL/ELT, en batch ou micro-batch. Intégrer des flux de sources multiples dans le Data Lake sur GCP. Exploiter et optimiser BigQuery et Cloud Storage, notamment les performances des traitements et les coûts. Maintenir les traitements et leur orchestration avec Airflow / Cloud Composer : DAGs, planification et monitoring. Gérer les accès IAM aux projets, datasets, tables et buckets, dans le respect du principe de moindre privilège. Traiter les anomalies et les demandes récurrentes liées au fonctionnement de la plateforme. Contribuer à l'automatisation des déploiements avec Terraform ou équivalent, Git et les pipelines CI/CD. Mettre en place des métriques, logs, alertes et tableaux de bord pour renforcer l'observabilité. Participer au suivi FinOps, à la qualité et à la sécurité des données.

Nous recherchez pour une mission longue chez notre client secteur banque/finance en région parisienne, un Data Architect confirmé pour renforcer une équipe dédiée aux architectures analytiques. Vous intervenez sur des plateformes de données au cœur des activités d'une grande banque, avec une forte priorité sur Kafka. L'approche est centrée sur l'automatisation. Vos missions : - Assurer le support et l'exploitation des plateformes Kafka et OpenSearch. - Implémenter des évolutions significatives sur ces technologies. - Résoudre les incidents et garantir la continuité de service. - Investiguer sous Linux (Ubuntu, RedHat) pour diagnostiquer et remédier efficacement. - Participer à l'automatisation des déploiements et des opérations avec Ansible et Python. - Travailler avec des API REST, Git/GitLab, Rundeck et Kubernetes. - Documenter et superviser les environnements. Vous êtes recruté en CDI cadre chez Ingéniance et rejoignez une communauté d'experts de la data et de la finance. Ref : O-KUXWD

Contexte : Dans le cadre du développement de sa plateforme de données groupe, notre client recherche un Senior Data Engineer expérimenté pour rejoindre une équipe en charge de la conception et de la mise en œuvre de produits de données temps réel à forte valeur ajoutée. Vous interviendrez sur des architectures modernes orientées événements et participerez à la construction de solutions robustes, scalables et industrialisées permettant l'exploitation de données en temps réel à l'échelle du groupe. Vous serez également un référent technique auprès de l'équipe et contribuerez à la définition des bonnes pratiques de développement et d'exploitation. Vos missions : Concevoir et développer des pipelines de données temps réel basés sur Apache Kafka et Apache Flink Mettre en place des architectures orientées événements (Event-Driven Architecture) Développer et maintenir des APIs REST et microservices à destination des consommateurs de données Concevoir des pipelines d'ingestion, de transformation et de diffusion de données en streaming et batch Garantir la qualité, la fiabilité et la gouvernance des données Mettre en œuvre les bonnes pratiques CI/CD et DevOps Assurer le monitoring, l'observabilité et le support en production Participer aux choix d'architecture et aux revues de code Encadrer techniquement les membres moins expérimentés de l'équipe Produire la documentation technique et les procédures d'exploitation Environnement technique : Data & StreamingApache Kafka Apache Flink Event-Driven Architecture Data Modeling API Design OpenAPI Cloud AWSAmazon MSK Kinesis Amazon Managed Service for Apache Flink AWS Lambda API Gateway ECS / EKS Amazon S3 IAM DevOps & ObservabilitéGitLab CI / GitHub Actions CloudWatch OpenTelemetry Prometheus Grafana SécuritéOAuth2 OpenID Connect (OIDC) Secrets Management Encryption IAM & Least Privilege

Nous recherchons un(e) Tech Lead Cloudera - freelance pour rejoindre une entreprise d'envergure internationale dans le cadre de l'amélioration de ses environnements Big Data. Basé(e) à Toulouse, vous interviendrez en tant que référent technique sur le socle Big Data afin de garantir son bon fonctionnement et d'accompagner ses évolutions. Vos responsabilités : Veiller à la disponibilité, à la fiabilité et à la performance du socle Big Data. Assurer le support de niveau 2 et garantir l'efficacité des procédures de reprise. Analyser les demandes d'évolution et rédiger les dossiers techniques : analyses d'impact, procédures de mise en production, recettes. Concevoir des solutions techniques complexes, ou y contribuer, et accompagner les phases de pilote, l'industrialisation et la montée en compétences. Réaliser les tests d'assemblage, les recettes d'exploitabilité et les intégrations. Industrialiser les solutions et définir les règles d'exploitation. Jouer un rôle de référent auprès des équipes internes et externes, et animer la communication en amont et en aval avec les architectes et les exploitants. Veiller au respect des normes, standards et bonnes pratiques. Assurer une veille technologique régulière et participer à l'amélioration continue.

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé. Vous rejoignez une équipe qui construit un hub de données de marchés sur AWS, avec Apache Iceberg comme format de stockage central. Un projet structurant, qui s'inscrit dans la stratégie SI du client et interagit avec plusieurs grands programmes. Vos missions : - Concevoir et mettre en œuvre les pipelines d'ingestion depuis les référentiels de données de marchés. - Structurer et modéliser des datasets cohérents à partir des référentiels sources. - Exploiter Apache Iceberg : partitionnement, time travel, évolution de schéma, compaction. - Développer les traitements de transformation et de chargement en Python / PySpark (EMR ou Glue ETL). - Garantir la qualité et la traçabilité des données : lineage, contrôles de cohérence, gouvernance. - Assurer la fiabilité en production : monitoring, alertes, reprises et gestion des incidents. - Échanger avec les équipes métier, data et infrastructure. Vous êtes recruté en CDI cadre chez Ingéniance et rejoignez notre communauté d'experts data. Ref : O-LPXHD

Notre client est un grand groupe français, leader de son marché. Sa DSI développe en interne les logiciels qui pilotent ses opérations terrain : applications mobiles pour les techniciens planification et dispatch des interventions ticketing supervision des incidents data visualisation Ces outils sont en production et utilisés chaque jour par plusieurs centaines d'utilisateurs. Leur performance a un impact direct sur le terrain : quand ils ralentissent, des interventions ne se font pas. C'est dans ce cadre que l'équipe Go recherche son référent technique.

Pour un grand compte du secteur public, nous recherchons un Architecte Infrastructure Sécurité pour un projet de modernisation de la supervision de sécurité du SI : migration des SIEM existants (Splunk, ELK) vers une plateforme cible et intégration de l'ensemble des sources de journaux (réseau, sécurité, systèmes, applications), avec un acheminement des logs par bus Kafka. Vos missions : - Définir l'architecture cible de la chaîne de collecte, transport, stockage et analyse des événements de sécurité (collecteurs, indexeurs, forwarders, rétention, haute disponibilité, volumétrie EPS / Go par jour) - Piloter la conception technique de la migration des SIEM : inventaire de l'existant, stratégie de bascule, double alimentation, non-régression des règles de détection, décommissionnement - Concevoir et valider les intégrations de sources : syslog, agents, API, parsing, normalisation, enrichissement, corrélation - Concevoir, dimensionner et faire évoluer l'architecture Kafka : brokers, ZooKeeper/KRaft, topics, partitionnement, réplication, TLS, ACL, supervision - Contribuer à l'architecture de filtrage des pare-feu : segmentation, matrice de flux, zones de sécurité, haute disponibilité - Rédiger les dossiers d'architecture (DAT), cahiers de recette et procédures ; accompagner le SOC et la production lors des déploiements Cadre : Noisy-le-Grand (93), RER A. Pas de télétravail le premier mois, puis 2 jours par semaine maximum. Mission longue, démarrage ASAP. Poste soumis à une enquête administrative préalable : l'éligibilité à cette procédure est demandée par le client, ainsi qu'un extrait de casier judiciaire (bulletin n° 3).