Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Dans le cadre d’un programme d’industrialisation data, nous recherchons un DataOps Kafka pour fiabiliser, automatiser et exploiter des plateformes de streaming en production. Vous analyserez les pipelines existants, identifierez les points de fragilité et proposerez des améliorations en matière de résilience, de monitoring et de gouvernance des flux. Vous guiderez la mise en place de pratiques DataOps autour de Kafka : automatisation des créations de topics, gestion des schémas, versioning, tests de compatibilité et mise en place de contrôles qualité sur les événements. Vous serez responsable de l’intégration de Kafka dans les chaînes CI/CD, de la mise en place de mécanismes d’observabilité (métriques, alerting, tracing) et de la gestion proactive des incidents. Vous travaillerez main dans la main avec les équipes Data Engineering, DevOps et SRE pour optimiser les performances, la disponibilité et la traçabilité des flux. Vous participerez également à l’amélioration continue des pratiques d’exploitation et à la diffusion d’une culture DataOps autour du streaming.

Dans le cadre d’un besoin interne, nous recherchons un Expert Data Engineer spécialisé Spark. La mission porte sur une solution de traitement de données dédiée à des usages de statistiques et de Business Intelligence. Cette solution repose sur une architecture intégrant Kafka Connect, Spark, Kubernetes et MongoDB, déployée sur une infrastructure OVH. Volumétrie cible : 350 bases de données 5 000 requêtes par seconde 1 To de données par an Tâches à réaliser : Réalisation d’une analyse technique et d’un état des lieux de l’existant Élaboration de recommandations d’amélioration : Optimisation du streaming Spark, notamment sur les aspects temps réel et dimensionnement de l’infrastructure Recommandations sur le dimensionnement de l’infrastructure pour le traitement en temps réel Optimisation de MongoDB, incluant la structuration et la standardisation des modèles de données Rédaction d’un document d’architecture cible accompagné des préconisations associées

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

Contexte Au sein de l’équipe Run Flux , vous interviendrez sur une plateforme critique de gestion de flux de données reposant sur Apache NiFi (environ 100 instances), dans un environnement cloud hybride (GCP / Azure). Missions principales Administration et gestion de plateformes Apache NiFi (configuration, optimisation, flux complexes) Conception et développement de flux de données critiques Automatisation des déploiements sur environnements IaaS & CaaS Développement de scripts en Groovy pour automatisation avancée Monitoring de la performance, disponibilité et fiabilité des flux Participation à la gestion des incidents et amélioration continue Interventions possibles en HNO (astreintes ponctuelles – environnement 24/7) Environnement technique Data / Flux : Apache NiFi Langages : Groovy, Java, SQL Cloud : GCP, Azure Data : BigQuery, BigTable Bases de données : Oracle, SQL Server, PostgreSQL Outils : GitLab, GitHub Formats : JSON, XML, CSV Profil recherché Expérience minimum de 3 ans sur Apache NiFi Bonne maîtrise de Groovy et scripting Compétences solides en SQL et manipulation de données Expérience en environnements cloud et DevOps Capacité à travailler en autonomie et à résoudre des problématiques complexes Très bon niveau de communication en français Atouts Expérience dans le secteur retail / grande distribution Connaissance des environnements critiques à forte volumétrie Culture DevOps / automatisation Soft skills Esprit d’analyse et force de proposition Rigueur et sens de la qualité Bon relationnel et travail en équipe Orientation amélioration continue

Dans le cadre de l’évolution de son système d’information nous recherchons un profil disposant de compétences avérées en matière d'expertise Kafka / Elastic pour développer, industrialiser et automatiser la plateforme Kafka / Elastic. ∗ Assister et conseiller dans le choix et l’utilisation des méthode ∗ Informer sur les évolutions ∗ Former aux nouvelles technologies et systèmes ∗ Participer aux études et développement & conduite d’études ponctuelles ∗ Gérer des normes, méthodes, outils et référentiels ∗ Mettre en place les normes, méthodes et outils et en vérifier l'application ∗ Certifier des composants et applications développées

Au sein de la DSI d’un grand groupe industriel international, vous intégrez une équipe Data & Streaming en charge de la conception et de l’exploitation de la plateforme de streaming de données temps réel. L’environnement technique est centré sur Apache Kafka (Confluent Platform) déployé sur Microsoft Azure. Missions principales: - Concevoir, développer et maintenir les pipelines de streaming de données basés sur Apache Kafka (Confluent Platform) sous Azure - Assurer la mise en place et l’administration des clusters Kafka : topics, partitions, consumers, connecteurs (Kafka Connect) - Développer des applications de traitement en temps réel avec Kafka Streams ou ksqlDB - Implémenter et gérer les schémas de données via le Schema Registry (Avro, Protobuf, JSON Schema) - Participer à la mise en place de patterns d’intégration événementielle (Event-Driven Architecture) - Monitorer les performances et la fiabilité des flux Kafka (Confluent Control Center, Grafana, Azure Monitor) - Collaborer avec les équipes Data Engineering, DevOps et Architecture dans un contexte Agile - Rédiger la documentation technique en anglais

Dans le cadre d’un programme de structuration des usages Fast Data, nous recherchons un Expert Kafka pour accompagner les équipes projets et promouvoir les bonnes pratiques autour du streaming événementiel. Vous interviendrez sur l’accompagnement des équipes applicatives dans l’adoption de Kafka, depuis la conception des flux jusqu’à la mise en production, en adressant des problématiques variées (design des topics, schémas, sécurité, performance). Vous participerez à la mise en place de mécanismes avancés tels que l’authentification OAuth pour les clients Confluent Cloud et à la définition de stratégies de gouvernance des flux. Vous contribuerez à la livraison de plans de continuité d’activité et de reprise après sinistre garantissant l’intégrité des données. Vous animerez une communauté technique autour du Fast Data, en partageant les retours d’expérience, en organisant des sessions de présentation et en contribuant à la montée en compétence collective sur les technologies de streaming.

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Pour le compte d'un acteur majeur, nous recherchons un(e) Data Engineer confirmé(e) pour concevoir et déployer des chaînes de traitement de données complexes au sein d'un Datalake moderne. Vous intégrerez une équipe évoluant en mode Agile (Scrum/Kanban) avec une forte culture de l'automatisation. Vos responsabilités : Concevoir et mettre en œuvre les chaînes d’ingestion, de validation et de croisement de données. Assurer le déversement et l'enrichissement des données dans le Datalake. Produire automatiquement des agrégats (journaliers à mensuels) via la puissance du Cloud. Développer et documenter les User Stories en collaboration directe avec le Product Owner. Garantir la qualité via l'automatisation des tests fonctionnels et la correction des anomalies. Participer activement à la chaîne de delivery continue et assister les équipes d'exploitation. Profil recherché : Expertise confirmée sur la plateforme GCP (indispensable) . Maîtrise avancée de l'écosystème Spark / Scala / Kafka . Expérience solide sur les environnements conteneurisés ( GKE, Docker ) et l'Infrastructure as Code ( Terraform, Ansible ). Compétences pointues en stockage et requêtage ( BigQuery, SQL, HDFS ). Capacité à orchestrer des workflows complexes avec Airflow / Composer . Esprit collaboratif, curieux des évolutions technologiques et doté d'un excellent relationnel.

Contexte de la mission Dans le cadre du développement de produits digitaux liés aux fonctions Ressources Humaines , nous recherchons un Développeur Java afin de renforcer une équipe technique en charge du développement et de la maintenance de plusieurs solutions internes. Vous interviendrez au sein d’un environnement agile composé de plusieurs équipes produit (gestion administrative, recrutement, développement des talents, sécurité et diversité) et d’une squad technique transverse responsable de la réalisation des développements. Dans un contexte d’évolution rapide et d’intégration de nouvelles solutions SaaS, vous participerez au développement de nouvelles fonctionnalités et à l’intégration de plusieurs produits au sein de l’écosystème existant. Vos missions Participer au développement et à l’évolution des produits digitaux du domaine RH. Concevoir et développer des services backend en Java / Spring Boot . Contribuer à l’intégration de nouvelles solutions SaaS au sein du système d’information. Mettre en place et maintenir les mécanismes de gestion des accès (ACL) et des droits utilisateurs. Développer et maintenir les API et services applicatifs . Participer à la qualité du code via des tests unitaires et bonnes pratiques de développement. Contribuer aux rituels agiles et à la collaboration avec les équipes produit. Assurer le maintien et l’amélioration continue des solutions existantes. Compétences techniques requises Java / Spring Boot (expert – impératif). PostgreSQL (confirmé – impératif). Kafka (confirmé – important). Git / GitHub (confirmé – important). Environnement technique Java, Spring Boot JUnit, MapStruct, Flyway, Lombok PostgreSQL, MongoDB Kafka Git / GitHub Datadog Linux Méthodologie Agile / Scrum Compétences appréciées React / TypeScript Python / Django

Contexte Dans le cadre du renforcement de ses équipes data, un acteur du secteur digital recherche un Data Engineer pour intervenir sur des problématiques de traitement et d’exploitation de données à grande échelle. Missions Concevoir et maintenir des pipelines de données (batch & streaming) Gérer l’ingestion, la transformation et la qualité des données Développer sur des environnements Big Data (Spark, Kafka) Mettre en place et optimiser les workflows (Airflow) Participer à l’industrialisation des traitements (CI/CD) Collaborer avec les équipes Data, DevOps et métiers Stack technique • Scala / Python / SQL avancé Spark / PySpark, Kafka Airflow (ETL / orchestration) Cloud : Azure et/ou AWS Git, CI/CD

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations

Assistance et Conseil : Fournir un accompagnement et des recommandations pour le choix ainsi que l'utilisation des méthodes et services, notamment dans le cadre des Maintenances en Condition Opérationnelle (MCOs). Veille et information : Assurer une communication régulière sur les évolutions pertinentes dans le domaine. Participation aux études : Contribuer aux activités de recherche, développement, ainsi qu’à la conduite d’études ponctuelles pour répondre aux besoins spécifiques. Gestion des normes et outils : Superviser la gestion des référentiels, méthodes, normes et outils utilisés, en veillant à leur cohérence et à leur mise à jour. Mise en œuvre et vérification : Définir et déployer les normes, méthodes et outils, puis en assurer le suivi et la conformité lors de leur application. Dossiers d'expertise : Maintenir et actualiser les référentiels liés à notre domaine d'expertise. Mettre à jour les Dossiers d'Architecture pour refléter les évolutions techniques et fonctionnelles. Assurer la mise à jour régulière de l’outil JIRA, en intégrant les nouvelles informations et ajustements nécessaires. Produire et veiller à la qualité des livrables techniques liés aux projets et études.

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients. Contexte : La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants : 350 bases de données 5 000 requêtes par seconde 1 To de données par an L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante. Votre mission : Au sein d'une équipe projet, vous serez en charge de : - Réaliser un audit et un état des lieux technique de l’existant - Identifier les axes d’amélioration des traitements Spark (batch et streaming) - Optimiser les performances pour les flux temps réel - Définir les recommandations de dimensionnement de l’infrastructure - Proposer des améliorations sur MongoDB (modélisation et structuration des données) - Rédiger un document d’architecture cible et de préconisations