Contexte du poste Dans le cadre d'un projet de transformation majeur au sein d'un acteur de référence des télécommunications, nous recherchons un Expert ClickHouse / Data Engineer Senior en freelance. Vous rejoindrez une équipe en charge de la valorisation de la consommation télécom, qui traite d'importants volumes de données issus des CDR (traces de sessions). Au cœur de l'écosystème se trouve une plateforme ClickHouse, alimentée par des pipelines d'ingestion Kafka et associée à différents outils et scripts Python, SQL et dashboards Grafana. L'équipe engage aujourd'hui une transformation importante de son architecture avec l'objectif de faire évoluer en profondeur les modèles de données, les vues et les pipelines existants. Nous recherchons donc un profil disposant d'une véritable expertise ClickHouse en environnement de production, capable à la fois de prendre en main la plateforme, de la faire évoluer et de transmettre son expertise aux ingénieurs de l'équipe. Missions Missions principales Reprendre en main la plateforme ClickHouse existante : configuration, ingestion, pipelines, schémas et dashboards Concevoir et faire évoluer les modèles de données ClickHouse Travailler sur les problématiques de MergeTree, partitionnement et vues matérialisées Optimiser les requêtes analytiques sur des volumes de données importants Participer à la refonte des pipelines dans le cadre de la transformation de l'architecture Maintenir et faire évoluer les pipelines développés en Python Participer à l'exploitation et à l'administration de ClickHouse Identifier et mettre en place les bonnes pratiques permettant de pérenniser la plateforme Mentorat & transmission La mission comporte une forte dimension de transfert de compétences. L'objectif n'est pas uniquement de disposer d'un expert capable de traiter les sujets ClickHouse, mais de permettre progressivement aux ingénieurs internes de devenir autonomes. Vous serez donc amené à : Accompagner techniquement les ingénieurs de l'équipe Partager les bonnes pratiques ClickHouse Documenter les choix d'architecture et d'exploitation Organiser des sessions de partage et de montée en compétence Éviter la création d'une dépendance technique autour de votre expertise Stack technique Compétences indispensables ClickHouse : expérience significative en production MergeTree Partitionnement Vues matérialisées Modélisation de données Optimisation de requêtes analytiques à forte volumétrie Exploitation et administration ClickHouse Python SQL Compétences appréciées Kafka – ingestion de données Grafana – dashboards et monitoring Superset – visualisation de données Environnement complémentaire C Lua
Dans le cadre de l'évolution de sa plateforme analytique, nous recherchons actuellement un.e Expert ClickHouse / Data Platform Engineer pour intervenir chez l'un de nos clients du secteur des télécommunications. Vous rejoindrez une équipe en charge de la chaîne de valorisation des données télécom, dont le cœur repose sur une plateforme ClickHouse alimentée par des pipelines d'ingestion Kafka. Votre mission consistera à faire évoluer cette plateforme, optimiser ses performances et accompagner les équipes dans leur montée en compétence. 🎯 Votre rôle En tant qu'Expert ClickHouse, vous prenez en charge l'administration, l'optimisation et l'évolution de la plateforme analytique. Au-delà de votre expertise technique, vous jouez un rôle de référent auprès des ingénieurs de l'équipe en assurant le transfert de compétences, la documentation et la pérennisation des bonnes pratiques. Vos missions📊 Administration & évolution de la plateforme ClickHouse Vous intervenez sur le cœur de la plateforme de valorisation des données. À ce titre, vous serez amené.e à : Reprendre en main la configuration et l'exploitation de la plateforme ClickHouse. Administrer et optimiser les bases de données analytiques en production. Concevoir et faire évoluer les modèles de données. Optimiser les performances des requêtes sur des volumes de données importants. Gérer les stratégies de partitionnement, les moteurs MergeTree et les vues matérialisées. Participer à la refonte des schémas de données et des pipelines d'alimentation. ⚙️ Data Engineering & industrialisation Vous contribuez à l'évolution de l'architecture de données. Vos principales responsabilités seront de : Maintenir et faire évoluer les pipelines développés en Python. Participer aux flux d'ingestion de données via Kafka. Mettre à jour les scripts SQL associés aux traitements analytiques. Participer à l'industrialisation de la plateforme. Assurer la qualité, la fiabilité et les performances des traitements. 🤝 Mentorat & accompagnement technique Vous accompagnez les équipes dans leur montée en compétence. Dans ce cadre, vous serez chargé.e de : Former et accompagner les ingénieurs de l'équipe sur ClickHouse. Documenter les architectures, procédures et bonnes pratiques. Assurer le transfert de connaissances afin de garantir la pérennité de la plateforme. Participer aux réflexions d'architecture et aux choix techniques. 🧭 Environnement technique🛠 Technologies ClickHouse Python SQL Kafka Grafana Apache Superset Pipelines de données Modélisation analytique MergeTree Vues matérialisées Connaissances appréciées : C Lua
ContexteDans le cadre du renforcement de son équipe Data & IA, notre client recherche un Data Engineer / Administrateur Plateforme Data pour assurer l'administration, l'exploitation et l'évolution des infrastructures Data basées sur Cloudera CDP et les technologies Open Source. Vous interviendrez sur des plateformes critiques en collaboration avec les équipes applicatives, infrastructures, métiers et internationales afin de garantir la disponibilité, les performances et l'évolution des environnements Data. MissionsAdministration & ExploitationAdministrer et maintenir les plateformes Data Cloudera CDP. Garantir le maintien en condition opérationnelle des infrastructures. Superviser les plateformes et assurer le traitement des incidents. Participer aux astreintes et aux interventions hors horaires ouvrés. Optimiser les performances et la capacité des plateformes. Data EngineeringConcevoir les solutions d'ingestion de données (API). Mettre en œuvre des architectures de stockage (Hadoop, Ozone, Druid, ClickHouse...). Développer et automatiser les traitements de données. Mettre en place les tests unitaires et d'intégration. Industrialiser les traitements de nettoyage et de transformation des données. Évolution des plateformesParticiper aux migrations des clusters Hadoop Cloudera. Contribuer au déploiement des nouvelles plateformes Cloudera Data Services sous OpenShift/Kubernetes. Être force de proposition sur les évolutions techniques. Participer au design des infrastructures Data. Support & ExpertiseRésoudre les incidents complexes (Hive, Spark, Yarn...). Accompagner les équipes applicatives et métiers. Assurer un support technique de haut niveau. Participer à la documentation et au partage de connaissances. Environnement techniqueImpératifCloudera CDP 7.1.x RedHat Enterprise Linux 8 & 9 Python Java Ansible DevOps Très bonnes connaissancesHadoop Hive HBase Kafka Spark Solr Knox Ranger ZooKeeper Kerberos LDAP AppréciéesOpenShift Kubernetes Trino / Starburst Airflow Flink Maven Gradle ClickHouse Ozone Druid Profil recherchéFormation Bac+5 en informatique ou équivalent. Expérience significative sur des plateformes Big Data Cloudera. Expertise Linux RedHat. Bonne maîtrise des environnements Open Source Data. Solides compétences en automatisation (Ansible). Connaissances DevOps. Capacité à analyser et résoudre des incidents complexes. Esprit d'équipe, autonomie et bonnes capacités de communication. ConditionsCouverture de l'équipe : 8h00 – 19h00 Astreintes et interventions hors horaires ouvrés selon un planning de rotation. Niveau attendu : Confirmé / Senior (N4). Compétences clés : Cloudera CDP 7.1.x, RedHat 8/9, Hadoop, Spark, Hive, Kafka, Python, Java, Ansible, DevOps, OpenShift, Kubernetes.
Rattaché·e à l'Engineering Manager dans une équipe déjà constituée de 3 développeurs Full Stack et 1 Product owner, vous participerez activement au développement d'un nouveau projet qui s'appuiera sur de l'IA généraive à destination des clients de la société. Vous pourrez être amené·e à travailler aussi bien sur des sujets où la vélocité sera de mise, dans le cadre de prototypages par exemple, que sur des sujets où une réflexion plus poussée sera nécessaire, sur des choix d'architecture par exemple. Vous travaillerez dans un environnement agile avec une approche centrée sur l'expérience utilisateur, avec une culture très tournée vers la qualité logicielle (tests unitaires, intégration continue,....) Enfin, vous aurez la responsabilité de superviser le quotidien des membres de l'équipe en distribuant et en suivant l'avancement des tâches de chaque membre de celle-ci. Vous serez accompagné.e par l'Engineering Manager pour monter en compétence sur ces sujets si ils vous sont encore peu familiers. Environnement technique : TypeScript (requis), Java EE 20 (souhaité), Python (requis), Spring Boot (souhaité), Angular 15 (souhaité), JUnit (souhaité), REST (requis), Kafka, ClickHouse, Docker (requis), Kubernetes
