Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

🏭 Secteurs stratégiques : Banque d'investissement 🗓 Démarrage : ASAP PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 💡Objectif global : Expert kafka 💡Description détaillée Le contexte de la mission : Dans le cadre de l'équipe Data Analytic , nous créons et maintenons des architectures Big Data pour les besoins internes de l'entreprise. Pour renforcer notre équipe support, nous proposons une mission de DATA ENGINEERING sur KAFKA 💡Responsabilités principales : Mise en œuvre son expertise sur Kafka Support, automatisation et maintien en conditions opérationnelles des plateformes Kafka Participation aux développement de l'équipe data Analytics et projet Topic As a Service Support plateforme WWW 💡Compétences communication Environnement anglophone

• Migration des flux TIBCO vers Apache Camel : analyse des routes existantes, réécriture et validation • Développement et maintenance de routes Apache Camel complexes en Java DSL et YAML DSL : routage dynamique, CBR (Content-Based Router), modèles d'intégration d'entreprise (Enterprise Integration Patterns), gestion des erreurs via Dead Letter Channel, Retry et Circuit Breaker • Conception de kamelets réutilisables et mise en œuvre de catalogues de composants d'intégration partagés • Implémentation de pipelines d'orchestration en plusieurs étapes avec gestion des transactions distribuées et annulations • Intégration de mécanismes d'idempotence (EIP « Idempotent Consumer ») pour garantir une livraison « exactly-once » des flux critiques • Implémentation de transformations complexes : XSLT avancé, JSONata, modèles Velocity, marshalling/unmarshalling (JAXB, Jackson) • Développement et maintenance de services backend Spring Boot exposant des API REST • Intégration avec des systèmes de messagerie et des architectures événementielles (Kafka, IBM MQ) • Mise en œuvre de modèles de résilience : split/aggregate, limitation de débit, contre-pression, routage asynchrone • Déploiement et exploitation sur une infrastructure cloud native avec application des principes de l'Infrastructure as Code : définition, gestion des versions et déploiement de l'infrastructure via Terraform, Helm et GitOps (ArgoCD ou Flux) • Contribution au pipeline CI/CD de GitLab et aux déploiements multi-environnements • Mise en place et maintenance des tests d'intégration (CamelTestSupport, TestContainers) • Participation aux activités liées à l'observabilité : métriques Camel (Micrometer), supervision des routes Compétences et expérience requises • Apache Camel (Java DSL, YAML DSL, EIP, kamelets, gestion avancée des erreurs) – Niveau expert, plus de 5 ans d'expérience avec Apache Camel • Migration depuis TIBCO (BusinessWorks, EMS ou équivalent) • Spring Boot 3.x • Java 17 / 21 • Cloud natif : conteneurs, déploiement et exploitation • Infrastructure as Code : Terraform, Ansible ou équivalent • GitOps (ArgoCD, Flux ou équivalent) • Kafka et architectures orientées événements • XML, XSD, XSLT avancé, transformation et validation de messages • Modèles EIP : CBR, Aggregator, Splitter, Idempotent Consumer, Dead Letter Channel • Tests d'intégration Camel (CamelTestSupport, TestContainers) • Observabilité : OpenTelemetry, Micrometer, surveillance des routes Camel • Oracle (SQL, schémas, transactions) • Modules multiples Maven • CI/CD GitLab • La maîtrise de l'anglais est obligatoire • Expérience avec Apache Camel, expertise avérée en modèles d'intégration d'entreprise (EIP), conception de routes complexes et gestion de volumes élevés • Expérience avérée dans des projets de migration TIBCO (BusinessWorks, EMS, ActiveMatrix…) vers des solutions modernes • Solide expérience avec Spring Boot et l'écosystème Java • Expérience confirmée dans les environnements cloud-native : déploiement et exploitation en cloud-native, CI/CD, Infrastructure as Code (Terraform, Helm, GitOps) – capacité à définir, versionner et déployer des infrastructures comme du code • Bonne maîtrise des architectures distribuées, des architectures orientées événements et des modèles de résilience • Habitude de travailler sur des systèmes critiques à fort volume • Capacité à analyser, comprendre et migrer les flux TIBCO existants vers Apache Camel • Autonomie dans l'analyse fonctionnelle et technique d'une architecture existante • Sensibilité aux enjeux de performance, de fiabilité, de traçabilité, d'idempotence et de résilience • Aisance dans les environnements Agile et au sein d'équipes pluridisciplinaires

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

Missions : Être la référence technique Data Engineering : définir les standards d'architecture, challenger les choix techniques, industrialiser les pipelines, garantir performance/qualité/sécurité et accompagner les équipes. Profils recherchés : Senior / Expert – Lead Data Engineer / Data Architect / Data Engineering Design Authority Compétences : Architecture Data, batch/streaming, Kafka, Spark, Airflow, Databricks, Snowflake, Cloud, DataOps, gouvernance/sécurité. Anglais B2+

Résumé Le poste d'expert Open Search et Kafka vise à auditer, améliorer et optimiser une plateforme technique complexe, en fournissant des recommandations claires et en accompagnant les équipes techniques dans leur mise en œuvre. Responsabilités :Effectuer un audit de l'architecture existante. Analyser les choix techniques réalisés et identifier des axes d'amélioration. Apporter une expertise sur l'optimisation de la plateforme OpenSearch (performance, résilience, maintenabilité). Fournir une expertise sur les environnements Kafka (administration des clusters, optimisation des flux, gestion des performances et évolutions). Fournir une expertise sur Logstash (compatible OpenSearch) (pipelines, parsing, optimisation). Contribuer à la migration d'ELK vers OpenSearch (index, mappings, pipelines). Industrialiser les processus via Ansible / AWX. Documenter les processus et accompagner les équipes. Must Haves :Expertise confirmée sur OpenSearch (architecture, optimisation des performances, gestion de clusters). Expertise confirmée de Kafka : Administration et exploitation de clusters, optimisation des performances et des flux, capacité à accompagner les évolutions d'architecture. Bonne expertise sur Logstash (compatible OpenSearch) (conception et optimisation des pipelines). Expérience dans des contextes de migration ELK vers OpenSearch. Maîtrise d'Ansible / AWX.

Contexte & Enjeux Dans le cadre du passage à l'échelle de sa plateforme Data (croissance rapide de 100 à plus de 500 DAGs en production), l'environnement AWS MWAA du client subit des ralentissements majeurs et une instabilité récurrente. L'équipe technique dispose déjà d'un premier historique de recommandations, mais fait face à un effet de « balancier » : la résolution d'une anomalie en entraîne de nouvelles. L'objectif actuel est de sortir d'un mode uniquement réactif (pompier) pour reprendre la main de manière proactive sur la plateforme, comprendre les fondements infra/système, et offrir une sérénité totale sur le delivery et les déploiements. Missions & Responsabilités Le consultant aura les mains libres et la responsabilité directe de la stabilité de la plateforme Airflow, en lien étroit avec les équipes Ops et Tech Lead : Urgence & Stabilisation Immédiate (Court Terme) : Réaliser un diagnostic flash des métriques de production et traiter la cause racine des pannes récurrentes (No space left on device, Deadlocks BDD, blocages Virtual Hand, dérives de parsing DagBag). Isoler et corriger les comportements asynchrones non reproductibles (erreurs survenant uniquement en production liées aux dépendances de plugins). Apporter des correctifs opérationnels immédiats pour restaurer la fiabilité des exécutions. Audit Infra, Tuning & Proactivité (Moyen Terme) : Évaluer le dimensionnement global de MWAA (arbitrage et réglages des instances, scaling horizontal vs vertical des workers, allocation de mémoire/CPU, gestion des slots et de la concurrence). Mettre en place et affiner l'observabilité de l'infrastructure via AWS CloudWatch (suivi du heartbeat du Scheduler, des connexions MetaDB, de la charge des workers) pour détecter les anomalies avant la panne. Analyser l'impact du code des DAGs sur la plateforme (distinction entre temps de parsing et temps d'exécution, suppression du code top-level bloquant, accompagnement sur l'usage des DAG Factory). Pérennisation & Trajectoire Future (Long Terme) : Définir la trajectoire d'évolution infra, notamment la sortie des workers vers des conteneurs Docker pour isoler les traitements. Garantir la sécurité et la fiabilité des déploiements dans la CI/CD pour que les équipes projets puissent délivrer leurs pipelines sans risquer de déstabiliser la plateforme. Transmettre les bonnes pratiques de configuration aux équipes en place.

Nous recrutons pour une entreprise du secteur de l'assurance un ou une Lead Data Engineer pour concevoir, fiabiliser et industrialiser sa plateforme data. Vous combinerez expertise technique, conception d'architecture et accompagnement d'équipe. Vous veillerez à la qualité, à la sécurité et à la performance des données, en lien étroit avec les équipes IT et métiers. Vos missions Pilotage et leadership Accompagner une équipe de Data Engineers et, éventuellement, d'Analytics Engineers Définir et promouvoir les bonnes pratiques en matière de qualité, de documentation, de gestion de versions et de supervision des données Jouer un rôle de référent technique et garantir la cohérence des choix d'architecture, en collaboration avec les équipes DevOps et l'architecte d'entreprise Travailler avec les équipes métiers, notamment en actuariat, finance, gestion des sinistres et marketing, ainsi qu'avec les équipes IT Data engineering Concevoir et maintenir des pipelines de données robustes et évolutifs Orchestrer les flux de données avec Apache Airflow Modéliser et structurer les bases de données selon les besoins analytiques Garantir la performance, la sécurité et la traçabilité des données Industrialisation et DevOps Mettre en œuvre les pratiques CI/CD pour les projets data Automatiser les tests, les déploiements et les contrôles qualité Collaborer avec les équipes DevOps et Réseaux sur la gestion et la sécurisation des environnements Superviser les traitements et contribuer à la gestion des incidents data

Dans le cadre d'un programme de transformation et de modernisation du système d'information, nous recherchons un Architecte Solution / Architecte Transverse pour accompagner plusieurs chantiers structurants au sein d'un environnement SI complexe. Vous interviendrez sur des sujets d'urbanisation, d'intégration, de Data et d'infrastructure, avec pour objectif de garantir la cohérence et l'évolution des architectures entre les différents domaines du SI. Vos missionsAccompagner la définition des architectures cibles et des trajectoires d'évolution du SI. Analyser les architectures existantes et identifier les axes de modernisation. Concevoir et challenger les architectures de solutions. Garantir la cohérence et l'urbanisation entre les différents domaines : Data, Middleware, applications Core, Finance et Infrastructure. Participer à la refonte et à la rationalisation des flux Middleware et inter-applicatifs. Accompagner la migration des chaînes d'ordonnancement vers Apache Airflow. Participer aux travaux d'architecture autour des plateformes Data et analytiques. Contribuer aux dispositifs de reprise informatique, résilience et haute disponibilité. Identifier les dépendances entre applications, données, flux et infrastructures. Participer aux choix de solutions et aux arbitrages techniques. Collaborer avec les équipes Data, Middleware, Infrastructure, Sécurité, Développement et Finance. Produire et maintenir les livrables d'architecture : DAT, HLD, LLD, cartographies de flux, dossiers d'architecture, etc. Présenter et vulgariser les choix d'architecture auprès des différentes parties prenantes. Environnement techniqueApache Airflow Data Lake / plateformes analytiques Middleware / ESB / API Kafka / architectures événementielles SAP / Finance Applications Core / développements spécifiques Cloud et infrastructures hybrides Automatisation / Infrastructure as Code PCA / PRA / PRI Haute disponibilité et résilience Profil recherchéFormation supérieure en école d'ingénieur ou équivalent. 5 à 8 ans minimum d'expérience sur des fonctions d'Architecture Solution, Architecture SI ou Architecture Transverse. Expérience sur des SI complexes et fortement interconnectés. Bonne maîtrise des problématiques d'urbanisation du SI. Expérience significative sur les architectures Middleware et les échanges inter-applicatifs. Bonne connaissance des flux API, messaging, batch, fichiers et événements. Connaissance des problématiques d'ordonnancement et d'orchestration. Une expérience sur Apache Airflow est fortement appréciée. Expérience sur des architectures Data / Data Lake / plateformes analytiques. Connaissance des enjeux PCA/PRA/PRI, haute disponibilité et résilience. Une expérience dans des environnements SAP / Finance est un plus. Capacité à challenger les choix techniques tout en restant suffisamment proche des équipes opérationnelles. Bon esprit d'analyse et de synthèse, autonomie, rigueur et capacité de coordination. Excellente capacité à vulgariser des sujets d'architecture complexes. Le profil recherché est à la fois transverse et suffisamment hands-on pour être capable d'entrer dans le détail technique lorsque nécessaire.

🏭 Secteurs stratégiques : Banque d'investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Les activités s'inscrivent dans la démarche de modernisation de l'usine logicielle et visent à renforcer l'automatisation, la fiabilité et la maintenabilité des processus de développement et de déploiement. Elle contribue notamment à : • La migration des composants applicatifs • La refonte et l'optimisation des chaînes de build, de test et de contrôle qualité • L'amélioration de l'industrialisation logicielle et de la traçabilité des livraisons • L'automatisation des processus d'intégration continue • La sécurisation des déploiements et de la gestion des dépendances L'objectif est de garantir une chaîne de production logicielle performante, reproductible et conforme aux exigences des systèmes critiques.

Dans le cadre du renforcement de l'équipe, intervention sur des sujets d'ingénierie des données (Big Data) et DataOps en lien avec le socle transverse on premise et cloud. La mission intervient sur le Run quotidien et sur des sujets techniques et fonctionnels liés à l'obsolescence technique et applicative, à la scalabilité du socle de données et au déploiement de services Azure. L'environnement comprend également Databricks, des bases relationnelles et NoSQL, ainsi que CI/CD et DevOps / DataOps Missions : - Contribuer au Run quotidien du socle de données - Intervenir sur les sujets d'obsolescence technique et applicative - Intervenir sur la scalabilité du socle de données - Déployer des services Azure - Intervenir sur des sujets d'ingénierie des données Big Data - Intervenir sur des sujets DataOps - Exploiter Airflow et Kafka dans le cadre des activités du socle de données - Intervenir sur Hadoop et Databricks - Exploiter les bases relationnelles et NoSQL - Utiliser CI/CD et DevOps / DataOps Profil attendu : Profil confirmé avec de bonnes compétences en ingénierie des données (Big Data) et DataOps. Expérience attendue sur Spark Scala, Python, SQL, Airflow, Kafka, Hadoop, Cloud Azure / Terraform et les environnements Databricks. Le profil

Hello, Pour le compte de l'un de mes clients Lyonnais dans le secteur de l'énergie, je suis à la recherche d'un tech lead Spark/Java/Databricks. Description du profil : Les missions s'inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants • Migration de traitements Informatica et PL/SQL vers Spark (Java) • Participation à l'optimisation des traitements existants • Maintenance corrective et évolutive des traitements PL/SQL • Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) • Participation au projet stratégique de migration vers le cloud • Conception et mise en œuvre de pipelines de données sur Databricks • Industrialisation des traitements dans un environnement moderne En parallèle des missions de développeur big data, le tech lead aura en charge la définition de la trajectoire technique de l'équipe Spark, l'animation et la montée en compétence des développeurs big data. Activité : • Concevoir, développer et maintenir des pipelines de données en Spark (Java) • Migrer des traitements legacy vers des architectures Big Data modernes • Assurer la maintenance des traitements existants SQL / PL-SQL • Garantir la performance, la robustesse et la qualité des données • Participer activement au RUN et à l'amélioration continue • Evolutions et MCO du socle technique • Définir les besoins sur l'outillage (workflow de dev, CI/CD) et participer aux évolutions en collaboration avec l'équipe DevOps • Définir les évolutions nécessaires sur le socle technique • Accompagner les DE dans la prise en main et la maitrise de la stack de développement (socle, spark, delta, databriks) • Assurer la cohérence globale du code produit par l'équipe. • Assurer la vision long terme et l'alignement des développements avec les objectifs métiers et techniques.

Le Prestataire aura en charge les activités suivantes (liste non exhaustive) : Installation de serveurs virtuels (VM) & conteneurs Kubernetes via les portails de déploiements associés Administration des environnements : Gestion des environnements hors production (déploiement legacy, modern) Intégrer les applications jusqu'à la mise en exploitation (nouvelles applications ou mises à jour des applications existantes) : MEP, MEV, MES sur les environnements Homologation & Production Participer à la rédaction des procédures techniques d'installation Middleware & applicatif (gestes manuels et/ou automatisés) Déployer et configurer les applications/middlewares (manuels & automatisés) sur les environnements Homologation & Production (selon les Procédures d'installations ou scripts dédiés) Installer les montées de version : Pilotage des MEV applicatives et techniques (majeures/mineures/correctives), y compris les montées de version des middlewares (MW) en production et hors production. Gérer les demandes & changements Réaliser le transfert de connaissances des activités réalisées durant la phase d'intégration vers les équipes d'exploitation (formation) Développer des scripts d'intégration & automatisation des déploiements via des Playbooks Ansible (Windows/RHEL/K8S) Contribuer au packaging d'image docker Support et accompagnement des équipes projet dans l'utilisation des outils DevOps & chaines CI/CD Participer à la production des livrables techniques : Procédures Techniques d'Installation (PTI). Documents d'Exploitation (DEX). Livrables d'installation Kubernetes. Elaboration des chronogrammes pour les MEV applicatives et techniques Dérouler les Tests Techniques Tests des déploiements (phases HOMOLOGATION, PRODUCTION) Tests des Dossier d'Exploitation Gestion des Changements et des Certificats Gestion des demandes et changements : Traitement des demandes et des changements sur tous les environnements (hors production et production) Gestion des certificats : Génération des CSR/clés privées et installation sur les serveurs applicatifs (homologation et production). Participer au MCO, Support et Résolution d'Incidents MCO des environnements Homologation Analyser & résoudre les incidents sur environnements hors production Participer au troubleshooting lors d'incidents majeurs (N3) sur les environnements de Production Réaliser une veille technologique pour anticiper et s'adapter aux évolutions futures Proposer des évolutions & de l'amélioration continue

SI TU ADORES CODER, ENCADRER, DÉCIDER ET FAIRE GRANDIR LES ÉQUIPES, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d'une équipe dynamique Participer à des projets innovants d'envergure Relever des défis liés à l'architecture, au pilotage technique et à la qualité logicielle Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi ! Au sein d'un acteur majeur du secteur du retail, tu participeras à la conception des solutions, au pilotage des développements et à l'animation technique de l'équipe pour garantir la réussite des projets : Les choix techniques et technologiques, tu arbitreras Les bonnes pratiques de développement, tu diffuseras La qualité, la performance et la sécurité du code, tu assureras La collaboration entre les développeurs, tu favoriseras La veille technologique et l'innovation, tu encourageras Ton équipe, tu accompagneras Aux instances de pilotage, tu participeras

Nous recherchons un Data Scientist confirmé pour rejoindre une équipe Data et intervenir sur des projets à forts enjeux métiers, de la phase de cadrage jusqu'à l'industrialisation des solutions. Missions principalesParticiper aux ateliers métiers et identifier les cas d'usage Data à forte valeur. Contribuer au cadrage et au pilotage technique des études Data. Réaliser des analyses statistiques et développer des modèles de Machine Learning. Concevoir et maintenir les traitements de données nécessaires aux analyses. Assurer le lien entre les équipes métiers et Data. Développer des visualisations et tableaux de bord d'aide à la décision. Présenter et vulgariser les résultats auprès des différentes parties prenantes. Documenter les travaux et accompagner leur industrialisation et mise en production. Environnement techniquePython (Pandas, Polars, Scikit-learn, XGBoost, Pandera, GeoPandas), PostgreSQL, Teradata, Spark / PySpark, Git, GitLab CI/CD, Power BI.