Job position Tech Lead Databricks
Share this job
En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d’ingestion, de traitement et d’industrialisation des données sur la data plateforme. Sans être responsable de l’architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers.
Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique
Vous correspondez au/à la Tech Lead que nous recherchons si :
Vous disposez d’un leadership technique, reconnu et légitime auprès des équipes
Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d’objectifs communs
Vous faites preuve d’une excellente communication, associée à une forte capacité pédagogique
Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d’amélioration continue
Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables
Vous êtes autonome, proactif et doté d’un fort sens des responsabilités
Vous favorisez le partage de connaissances et la montée en compétence collective
Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers)
Vous maîtrisez Python et SQL à un niveau avancé, avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité)
Vous êtes capable de définir, documenter et faire appliquer des standards de développement, incluant la structuration des projets, les conventions de code et les stratégies de tests
Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data
Vous portez une attention particulière à la qualité des données, à la testabilité et à l’observabilité des pipelines en production
Vous pratiquez régulièrement les revues de code, le mentoring et l’accompagnement technique des Data Engineers
Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d’industrialiser et standardiser les développements
Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts, et savez les intégrer dans vos choix techniques
Candidate profile
Compétences techniques attendues autour de la plateforme Databricks :
Expertise avancée de la plateforme Databricks et de ses usages en contexte Data Engineering
Maîtrise approfondie d’Apache Spark via PySpark et Spark SQL, incluant la compréhension et l’optimisation des mécanismes internes (partitionnement, shuffles, caching, plans d’exécution)
Maîtrise approfondie de Delta Lake et de ses mécanismes clés (Delta log, ACID, schema evolution, time travel...)
Structuration et standardisation des projets Databricks
Définition de l’environnement de travail des Data Engineers et des outils associés (outillage, conventions, frameworks internes)
Maîtrise du framework Spark Declarative Pipelines
Mise en place de stratégies de tests automatisés pour les pipelines Databricks incluant : (pytest, DQX, SDP Expectations)
Optimisation des performances Spark et de la maîtrise des coûts d’exécution sur la plateforme
Définition et maintien de standards de développement et de gestion des environnements sur Databricks
Bonne connaissance des mécanismes de sécurité Databricks, incluant la gestion des secrets, des permissions et de la gouvernance via Unity Catalog
Responsabilité de la stratégie de déploiement CI/CD de la plateforme , s’appuyant sur Databricks Asset Bundles et/ou Terraform
Support technique sur la plateforme
Certifications recommandées :
Databricks Certified Data Engineer Professional (ou équivalent)
Working environment
Qui sommes-nous ?
• Komeet Technologies est née de l’envie de créer un Kollectif résolument dirigé vers l’excellence, au service de nos clients et de nos collaborateurs. L’ensemble des Komeeters crée le prochain champion du conseil et de l’intégration Data.
• Rejoindre notre Kollectif c’est l’assurance de travailler aux côtés d’experts data ayant à cœur de partager leurs connaissances sur toute la chaine de valeur de la donnée, en interne et en externe. Cela s’illustre par exemple par cinq jours communautaires dé-staffés dédiés à l’échange, organisés et planifiés par les Komeeters eux-mêmes.
• Rejoindre Komeet Technologies c’est adherer à la notion d’engagement : celle des fondateurs envers tous les Komeeters et celle de l’ensemble du Kollectif vers nos clients et la réussite de leurs projets.
• Les notions d’équilibre et de partage sont au cœur des valeurs de Komeet Technologies. Depuis sa création, une part des bénéfices est redistribuée à ses salariés à part égale et une semaine de congé supplémentaire est mise en place pour l’ensemble des collaborateurs.
• Komeet Technologies, créée en 2021, vous permettra de vivre la croissance et le développement d’une jeune ESN tout en y apportant votre contribution !
Notre métier :
- Stratégie et Gouvernance Data
o Concevoir la stratégie data la plus appropriée à votre organisation en phase avec vos objectifs métiers.
o Décliner opérationnellement cette stratégie pour mettre en place l’organisation, les compétences et les processus associés.
- Pilotage & Agilité
o Accompagner vos métiers et vos équipes en tant que Scrum Master et Product Owner.
o Piloter vos projets, vos centres de services et de compétences Data.
- Data Platform
o Concevoir, construire et industrialiser les plateformes Data dans une démarche DevOps.
o Garantir la qualité et la sécurité de vos données
- Data Valorisation
o Exploiter vos données pour en tirer de la valeur.
o Mettre en place des solutions d’Analytics et d’IA pour répondre aux enjeux de vos métiers.
Environnement technologique
Databricks
dbt
Qlik Talend
Les services Data des Cloud providers (AWS, Azure, GCP et OVH)
Power BI, Tableau
Snowflake
Microsoft Fabric
DuckDB
Dlt
Votre package sera constitué :
Une rémunération fixe + variable en fonction de votre profil
Tickets restaurant
Mutuelle à 100%
5 jours de congés en plus des 25 légaux
Un « Package Kollaborateur » de 1000 € pour vous équiper en télétravail
Un accord d’intéressement pour partager collectivement la réussite de l’entreprise
Si vous vous reconnaissez dans cette description ou si vous souhaitez tout simplement en savoir plus, n’hésitez pas à postuler !
Apply to this job!
Find your next job from +1,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Tech Lead Databricks
KOMEET TECHNOLOGIES