Mission freelance Expert Kafka / Confluent - Socle d’échange de données

Notre client, un organisme de protection sociale (retraite complémentaire), construit son socle Kafka d’entreprise sur la distribution Confluent. Ce socle portera les échanges, la réplication et l’intégration de données de tout le SI. Il doit aussi remplacer progressivement IBM CDC, les extractions batch et le socle WebMethods. Vous rejoignez l’équipe projet pour concevoir, construire et industrialiser ce socle.

La mission est basée à Gradignan, près de Bordeaux. Un profil basé à Paris ou à Lyon est envisageable s’il est très autonome et peut se déplacer régulièrement sur site.

• Concevoir l’architecture Kafka / Confluent et la faire évoluer d’un socle pilote vers une plateforme cible capacitive et multi-cas d’usage

• Installer, configurer et administrer les clusters Kafka : brokers en mode KRaft, Schema Registry, workers Kafka Connect, sur RedHat et Kubernetes (Confluent / Strimzi)

• Mettre en œuvre et industrialiser les connecteurs Kafka Connect : JDBC, Debezium PostgreSQL, HDFS, Datastage, Teradata. Cela couvre la déclaration des producteurs et consommateurs, la gestion des configurations et des souscriptions, l’initialisation des données et l’évolution des schémas

• Remplacer les flux CDC et batch existants par des flux temps réel, et mettre en place la réplication PostgreSQL via Kafka

• Sécuriser les échanges et intégrer la gestion des habilitations à l’écosystème SI existant

• Tuner et optimiser les performances de la plateforme

• Automatiser le déploiement et les opérations récurrentes avec Ansible, Shell, Python et des pipelines CI/CD

• Mettre en place l’exploitation du socle : supervision Prometheus / Grafana, tableaux de bord, procédures d’arrêt et de relance, traitement des incidents, demandes et changements

• Rédiger les dossiers d’architecture, d’administration et d’exploitation, ainsi que les normes et bonnes pratiques

• Former les équipes et assurer le transfert de compétences