Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Nous cherchons un profil technico fonctionnel qui puisse nous aider à la mise en place / évolution / durcissement d’un bastion d’administration basé sur Keeper Connection Manager (Guacamole). • Maîtrise technique de KCM / Apache Guacamole : architecture, protocoles (RDP/SSH…), configuration avancée. • Pilotage & change management : gestion des évolutions, mise en production, conduite du changement, documentation et formation. • Modèle de rôles (RBAC avancé) : conception, structuration et mapping des rôles/groupes (AD) vers les permissions KCM, gestion du moindre privilège et des politiques d’accès granulaires.

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

Dans le cadre de la conception et de l’évolution de plateformes applicatives et data orientées temps réel , nous recherchons un Architecte Kafka AWS capable d’intervenir de bout en bout (end-to-end / endzone) : de l’architecture backend et streaming jusqu’à l’intégration avec les applications frontend. Le poste s’inscrit dans des environnements cloud AWS à forts enjeux de performance, de scalabilité et d’intégration SI. Rôle & responsabilitésArchitecture globale (End-to-End) Concevoir l’ architecture applicative et data de bout en bout Garantir la cohérence entre : Frontend (Angular) Backend (.NET) Streaming & intégration (Kafka) Infrastructure AWS Être le référent architecture sur le périmètre fonctionnel et technique Kafka & intégration Concevoir et mettre en œuvre des architectures événementielles basées sur Apache Kafka Définir les patterns d’intégration : Event-driven Pub/Sub CDC (Change Data Capture) Mettre en place Kafka Connect, Schema Registry, MirrorMaker Accompagner les équipes sur la modélisation des événements et contrats de données Environnement AWS Déployer et opérer Kafka sur AWS (Amazon MSK ou équivalent) Concevoir l’architecture cloud : VPC, IAM, sécurité, réseaux EC2 / EKS selon les besoins Intégrer Kafka avec les services AWS (S3, Lambda, bases de données, etc.) Backend – .NET Concevoir des API et services backend en .NET Définir les standards d’architecture (clean architecture, microservices) Garantir performance, sécurité et maintenabilité Intégrer les flux Kafka côté backend Frontend – Angular Définir les principes d’architecture frontend Angular Assurer la bonne intégration avec les API et les flux temps réel Travailler sur l’expérience utilisateur dans des applications data-driven Qualité & gouvernance Mettre en place les bonnes pratiques : Sécurité Monitoring Logging Résilience Documenter les architectures Participer aux revues techniques et d’architecture Accompagner et guider les équipes de développement Compétences techniques requisesStreaming & intégration Apache Kafka (expert) Kafka Connect, Schema Registry Architectures event-driven Formats : JSON, Avro, Protobuf Cloud & DevOps AWS (très bonne maîtrise) Amazon MSK CI/CD Infrastructure as Code (Terraform, CloudFormation) Backend .NET / C# APIs REST Microservices Frontend Angular Intégration frontend / backend Notions UX appréciées Profil recherché Formation ingénieur ou équivalent Expérience confirmée en architecture end-to-end Solide expérience sur Kafka en production À l’aise dans des environnements complexes et multi-équipes Capacité à dialoguer aussi bien avec les développeurs que les métiers Atouts appréciés Expérience grands comptes Connaissances data (Spark, Flink, etc.) Certifications AWS / Kafka Sens du produit et de l’expérience utilisateur

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

Les missions sont : Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Notre Plateforme Kafka est un socle stratégique regroupant un ensemble de services et de composants applicatifs centralisés, conçu pour tous nos pays partenaires. Elle joue un rôle clé en permettant aux applications métiers d’utiliser les différents compostons de Kafka pour Produire et consumer des évènements. La prestation peut-être basée à Levallois ou Mérignac. Mission principales dans le cadre de la prestation : Onboarding & Accompagnement des équipes - Valider les topics, ACLs et schémas Avro ( compatibilité) . - Assurer l’onboarding des équipes et les former aux bonnes pratiques Kafka. Support & Troubleshooting - Analyser et résoudre les incidents sur Kafka ( Kafka producer , Kafka consumer, Kafka Connect, Schema Registry….) - Diagnostiquer les problèmes de latence, offset, débit et consommation. - Identifier les route cause et proposer des optimisations. Développement & Intégration de Connecteurs Kafka Connect - Concevoir et tester de nouveaux connecteurs adaptés aux besoins métiers. - Réaliser des tests de performance et assurer la validation avant mise en production. - Documenter et mettre à disposition les connecteurs sur la plateforme Kafka. Monitoring & Observabilité - Mettre en place des dashboards Kibana pour surveiller Kafka et ses composants. - Installer et configurer des agents de monitoring pour prévenir les incidents. - Définir des alertes automatisées pour garantir la résilience de la plateforme. Automatisation & Industrialisation - Automatiser la gestion de Kafka via CI/CD et Infrastructure (Git, Terraform, Ansible). - Structurer et documenter les process pour assurer une gouvernance efficace. Profil & Compétences recherchées : - Expertise technique sur Apache Kafka (administration, technique, troubleshooting). - Schéma Avro & Schema Registry : validation, compatibilité et évolution. - Monitoring & Logging : Kibana, Logstash, Filebeat, Grafana , Dynatrace. - CI/CD & Automatisation : Git, Jenkins, Terraform, Ansible. - Esprit analytique et capacité à résoudre des problèmes complexes. - Excellentes compétences en communication pour accompagner les équipes. - Approche DevOps et automatisation des processus. - Bonne compréhension des architectures de données (API, flux, BDD, etc.) - Anglais courant

Le but du projet serait d'accompagner l'ensemble des abonnées (subscribers) de la plateforme actuelle (basée sur une offre OnPremise Kafka Confluent) pour une bascule vers une offre managé full Cloud . Nous souhaitions être accompagner par une prestation dont le rôle serait d’élaborer le plan et réaliser la migration autour des périmètre ApacheKafka Event Stream , IBM Cloud (IKS). Mission Principale : - Pilotage de l'activité auprès des providers de services (Offre Kafka , Offre KafkaConnect sous Cloud) : - Appropriation de l'offre, remontée de besoins spécifiques, réalisation des POC, troubleshooting, reporting sur l'avancement de la migration . - Setup Infrastructure Offre Cloud Kafka ( Mise en place de la stratégie de Migration Event): - Documentation (assurer un transfert de compétences en internes / Inventaire & cadrage de l'existant / Automatisation (Scripting Shell, Python) / Gouvernance de données via Catalogue). - Migration de la configuration du Cluster (OnPremise to Cloud) - Documentation d'architecture/ exploitation (Réplication de cluster / Build par environnement d'exploitation). - Garantir la résilience , la sécurité et la performance de la nouvelle plateforme. - Accompagnement des Producers/Consumers lors de la mise en production sous la nouvelle plateforme . - Support de proximité lors du projet de Migration (Gestion Incident & Run) et stabilisation de l'écosystème post migration. - Mise en place du Monitoring/Alerting pour la nouvelle plateforme EventStream (Dasbhoard ELK , Dynatrace ) Périmètre et Compétence Technique : Il s'agit d'un projet de migration d'une plateforme Event Driven pour les applications métier autour d'écosystème Kafka : - Expertise Kafka & Kafka Connect - Maitrise des brique d'intégration Event Driven IBM IDR, Mirror Maker - Connaissance du Cloud IBM , IAM , VPC - Connaissance des outils API : Apigee, Rest Proxy Producer - Compétence Cloud : Container Kubernetes / Docker - Compétence Avancés sous CI CD : Git / Ansible, Terraform)/ Développement : Java / SpringBoot, Shell, Python - Méthodologie : Agile, - Tools: Lenses, ELK - Anglais technique requis . Une expérience significative en project de Migration Cloud serait appréciée.

Description détaillée Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Nous recherchons un Développeur Kafka pour contribuer au développement, à l’évolution et à l’industrialisation d’une plateforme de data streaming basée sur Kafka et Kafka Connect. Le rôle consiste à concevoir et implémenter des solutions event-driven de bout en bout répondant aux cas d’usage métiers, à développer des connecteurs, des flux de streaming et des outils d’automatisation, ainsi qu’à participer à l’amélioration continue de la plateforme (performance, disponibilité, scalabilité). Le développeur interviendra également sur l’optimisation des pipelines CI/CD, le monitoring et l’alerting, l’accompagnement des équipes applicatives dans l’adoption des bonnes pratiques Kafka, et le conseil technique autour des architectures event-driven, de la gouvernance des données et de la sécurité, dans un environnement agile, On-Premise et Cloud, avec un anglais technique requis.

Au sein de l'équipe Data, vos fonctions consisteront notamment à : Participer à l'estimation de la complexité des chantiers techniques liés à la montée de version SPARK (3.4) Concevoir et développer les traitements applicatifs en collaboration avec les intervenants internes à l'équipe, ou externes à celle-ci (architectes techniques, architectes data, experts sur des technologies liées...) Rédiger les dossiers de conception et documentations techniques nécessaires Concevoir et exécuter les cas de tests unitaires / d'intégration Faire des revues de code croisées avec les collègues de l'équipe Contribuer à l'installation et au déploiement des composants Participer activement aux rétrospectives afin de garantir le process d’amélioration continue Assurer la qualité et le suivi des développements, en participant à la correction des problèmes de production

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Nous cherchons un profil technico fonctionnel qui puisse nous aider à la mise en place / évolution / durcissement d’un bastion d’administration basé sur Keeper Connection Manager (Guacamole). • Maîtrise technique de KCM / Apache Guacamole : architecture, protocoles (RDP/SSH…), configuration avancée. • Pilotage & change management : gestion des évolutions, mise en production, conduite du changement, documentation et formation. • Modèle de rôles (RBAC avancé) : conception, structuration et mapping des rôles/groupes (AD) vers les permissions KCM, gestion du moindre privilège et des politiques d’accès granulaires.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Contexte Nous recherchons un(e) Développeur(se) Spark / Java pour intervenir sur la mise en place d’un socle SIG (Système d’Information Géographique) dédié à la gestion des risques climatiques. Le projet vise à industrialiser des modèles de calcul définis par une direction actuarielle afin d’intégrer et croiser des données géographiques, topographiques, satellites et métier, pour produire des scores de risques climatiques (inondation, sécheresse, tempête, etc.) dans un environnement Google Cloud Platform (GCP). Objectifs de la mission Comprendre et analyser les modèles de calcul définis par les actuaires Participer aux phases de conception de la solution Réaliser les développements en Spark Java, avec des librairies géospatiales Accompagner la montée en compétence sur la mise en œuvre de traitements Spark / Java Déployer les développements dans un environnement Google Cloud Platform Produire la documentation et assurer sa transmission aux parties concernées Anticiper les phases d’exploitation et de maintien en conditions opérationnelles Assurer un reporting régulier sur l’avancement Livrables Solution applicative développée et testée Documentation mise à jour Suivi interne mis à jour Profil recherché +5 ans d’expérience sur Spark & Java Expérience sur des traitements Big Data et pipelines de calcul Connaissance de librairies géospatiales dans Spark (fort plus) Expérience sur une solution équivalente type Apache Beam (plus) Capacité à produire de la documentation claire Autonomie, rigueur, bonne communication Environnement technique Java Apache Spark Librairies géospatiales Google Cloud Platform (GCP) Plus : Apache Beam

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité