Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka à Rennes

Au sein de l’équipe, votre mission sera la suivante : • animer l’équipe selon les principes et les valeurs de l’Agilité : animer les daily, garantir le respect des priorités, informer/alerter le chef de projet • concevoir techniquement les évolutions en collaboration avec le LeadDEV de l’équipe et l’architecte du domaine • développer les évolutions et en assurer la couverture en tests unitaires et fonctionnels en lien avec le Product Owner et le Testeur QA * Contribuer aux opérations de maintien en conditions opérationnelles * Participer au suivi de la Production (alerting, logs) Livrables Code Source Documentation Technique Compétences Maîtrise des architectures SOA Attacher une importance à la robustesse et la qualité du code Être habitué à la démarche devOps Être force de proposition Être autonome tout en sachant prendre en compte les compétences de l'équipe En recherche d'amélioration continue

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé / senior : Participer à la définition de l'architecture Data Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Contexte du poste : Nous recherchons un Data Engineer afin d’intégrer l’équipe DATA technique de notre client, acteur majeur du secteur des médias et du digital. L’équipe est en charge des traitements d’ingestion, de transformation et d’exposition des données du groupe : audience web et mobile, marketing digital, base clients, contenus éditoriaux, offres commerciales ou encore logistique de distribution. Dans un contexte de transformation de la plateforme DATA, le socle technique migre actuellement d’un environnement Cloudera on premise vers Snowflake. Missions principales : Développer et maintenir les flux d’ingestion et de transformation de données Participer à la migration des traitements Cloudera / Hive / Hadoop vers Snowflake Développer des traitements en Python, SQL et éventuellement PySpark Exploiter différentes sources de données : API, Kafka, RabbitMQ, fichiers plats, bases relationnelles Assurer le suivi de production, analyser les incidents et mettre en place les correctifs Participer aux revues de code et aux bonnes pratiques via Git Rédiger et maintenir la documentation technique des traitements Mettre en place des contrôles de cohérence et de qualité des données