Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka à Bordeaux

Support Technique Niveau 2 et 3 sur Cloudera Data Platform • Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera. • Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers. • Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire. • Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes. • Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka • Administrer et optimiser l’infrastructure Kafka sur Cloudera. • Gérer la scalabilité et la résilience des clusters Kafka. • Assurer une supervision efficace des topics, brokers et consommateurs. • Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets. • Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement • Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation. • Automatiser la gestion des incidents récurrents et les procédures de maintenance. • Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure • Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail. • Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources. • Analyser et proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier. • Assurer une veille technologique et être force de proposition pour améliorer la plateforme. Documentation et Transmission de Connaissances • Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre. • Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents. • Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.

En tant que Développeur, et en coordination avec l’équipe, vos missions seront de : Développer et maintenir des pipelines de traitement de données (batch ou temps réel) Intégrer, transformer et charger des données depuis différentes sources (APIs, bases de données, fichiers, flux, etc.) Concevoir et optimiser des jobs ETL/ELT pour alimenter les environnements analytiques (Data Lake, Data Warehouse) Implémenter les logiques de nettoyage, d’enrichissement et de validation des données Participer à la modélisation des structures de données pour répondre aux besoins métiers et analytiques Assurer la performance, la fiabilité et la scalabilité des traitements de données Automatiser les processus de collecte et de transformation via des scripts et outils d’orchestration (Airflow, Azure Data Factory, etc.) Collaborer avec les Data Scientists, Data Analysts et les équipes DevOps pour garantir la disponibilité et la qualité des données Surveiller et corriger les anomalies dans les flux de données Rédiger la documentation technique des pipelines et des processus mis en place

Garantir la mise en œuvre et la maintenance d’une solution MongoDB Atlas hébergée sur Azure robuste, performante et conforme aux exigences réglementaires (PDP, RGPD), tout en répondant aux besoins métiers : disponibilité, traçabilité, sécurité, gouvernance des données et exploitation BI (Grafana, Power BI). Responsabilités principales Architecture et conception Définir l’architecture cible MongoDB Atlas sur Azure (topologie, multi-régions, interconnexion, réseaux, haute disponibilité, sauvegarde et reprise d’activité). Concevoir les schémas documentaires et le modèle de données optimisé selon les cas d’usage applicatifs et les contraintes réglementaires (rétention, anonymisation, traçabilité). Élaborer la stratégie de sauvegarde, restauration et gestion des incidents (playbooks, tests de restauration). Sécurité et conformité Définir et implémenter les mécanismes de sécurité : chiffrement at-rest et in-transit , gestion des clés (BYOK / Azure Key Vault), contrôle d’accès (RBAC, LDAP/AD, IAM), audit et journalisation. Garantir la conformité PDP / RGPD des données et des traitements. Intégration et performance Piloter l’intégration technique avec les pipelines ETL/ELT , les solutions de streaming ( Kafka , Azure Data Factory , Functions , iPaaS , etc.). Optimiser la performance : indexation, sharding, agrégations, profiling, tuning des requêtes et gestion de la charge. Observabilité et supervision Mettre en place les pratiques d’observabilité : alerting, dashboards, métriques et logs centralisés via Grafana , Zabbix , Azure Monitor ou équivalents. Intégrer MongoDB avec les outils de visualisation Grafana et Power BI (connecteurs, sécurité, gouvernance des accès). Projet et documentation Participer aux phases projet : ateliers d’architecture, proof of concept, accompagnement en RUN (SLA, runbooks, transfert de compétences). Rédiger les livrables techniques : architecture cible, schémas de données, règles de sécurité, runbooks, plans de tests et documents d’exploitation. Compétences techniques requises Base de données & Cloud Expertise MongoDB Atlas : déploiement, configuration, sécurité, scaling, sharding, sauvegarde/restore, performance tuning. Très bonne connaissance d’ Azure : VNet, ExpressRoute/VPN, Managed Identities, Azure Key Vault, Azure AD, Storage, Log Analytics. Développement & intégration Maîtrise des drivers MongoDB (Java, Node.js, .NET, Python selon la stack applicative). Connaissance des principes de data modelling NoSQL : embedding vs referencing, patterns de consultation, conception pour volumes variables. Expérience avec les outils d’intégration et ingestion : Azure Data Factory , Kafka , SnapLogic , Functions . Sécurité & conformité Chiffrement, BYOK, IAM, RBAC, audit, conformité PDP/RGPD . Observabilité & reporting Monitoring MongoDB, alerting, dashboards ( Grafana , Zabbix , Azure Monitor ). Intégration MongoDB ↔ Power BI / Grafana (connecteurs, APIs, performances). DevOps Bonnes pratiques Infrastructure as Code : Terraform , ARM , Bicep . CI/CD et tests automatisés pour les déploiements. Notions de DevSecOps appréciées.