Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive à Lyon

Notre client est un grand acteur du secteur de l'énergie en France, engagé dans une transformation technologique ambitieuse. Dans ce cadre, il recherche un Domain Lead Engineer pour piloter la stratégie technique d'un département à grande échelle (~50 personnes). Véritable bras droit du CTO, le DLE est le garant de la cohérence architecturale, de la vision technique long terme et du lien entre stratégie globale et réalité terrain. Le poste est localise à Lyon, ouvert aux freelances. Démarrage janv. 27 En tant que Domain Lead Engineer, vos missions sont les suivantes : Décliner les orientations techniques du CTO à l'échelle du département Définir et maintenir la vision technique court, moyen et long terme Construire et piloter les roadmaps techniques structurantes Identifier en amont les risques techniques et zones de transformation Garantir la cohérence globale des architectures du département Définir et diffuser les standards, cadres et bonnes pratiques d'ingénierie Participer aux revues d'architecture et de code sur les sujets critiques Assurer l'adoption des standards via les Apps Leads et Lead Techs Être le point d'escalade technique pour les équipes sur les sujets complexes et multi-périmètres Remonter au CTO les difficultés techniques, organisationnelles et process Identifier des opportunités d'innovation à fort impact et favoriser l'expérimentation Diffuser la connaissance et les retours d'expérience au sein du département Requirements Profil recherché Minimum 15 ans d'expérience, avec un solide passé de développeur Minimum 6 ans de pilotage technique (50+ personnes) Très forte expertise technique full-stack, data engineering et architecture de SI complexes Maîtrise des technologies du département : Java, Spring, Angular, PostgreSQL, Kafka, Hadoop, Hive, Impala, PySpark, Spark (Java/Scala), Python, Databricks, PowerBI, Git/Gitlab, Kubernetes, Docker, Helm, Ansible, Grafana Capacité à adresser des problématiques de scalabilité, performance et architecture distribuée Vision bout-en-bout du SI (applications, infra, data, tests, sécurité, production) Capacité à fédérer des équipes aux intérêts parfois divergents Expérience en contexte cloud appréciée

Vous rejoignez une équipe data/BI en charge de la mise en place et de l’évolution de l’architecture décisionnelle : datawarehouse, datamarts, traitements de données et reporting métier. Missions : - Analyser les besoins fonctionnels et techniques des métiers - Localiser et qualifier les données nécessaires - Concevoir, modéliser et enrichir les datawarehouses et datamarts - Développer les processus d’intégration de données (ETL / pipelines Big Data) - Traiter et nettoyer les données, garantir leur qualité - Participer à la migration vers le cloud, (Databricks ) - Développer et optimiser des traitements Spark - Produire des rapports et tableaux de bord lisibles pour les métiers - Accompagner et former les utilisateurs dans l’exploitation des données et des rapports - Tester, documenter, déployer et maintenir les livrables en conditions opérationnelles - Participer aux revues de code et à l’amélioration continue de l’architecture décisionnelle Stack & environnement technique : - Big Data : Spark (essentiel), Hive, Indexima - Cloud / Data Platform : Databricks (fort enjeu de migration) - Stockage : Oracle, CEPH S3 (parquet) - Langages : SQL, Python, PL/SQL, Shell, Java (plus apprécié mais pas obligatoire) - ETL : Informatica - Dataviz : Tableau Server - CI/CD & outillage : Git, Jenkins, Ansible, Terraform - Ordonnancement : Control-M -Méthodologie : environnement agile Profil recherché : - Minimum 5 ans d’expérience sur des fonctions BI / Data Engineer / Ingénieur Décisionnel - Très bonne maîtrise de SQL - Solide expérience en modélisation d’entrepôts de données (DWH, datamarts) - Compétences avérées en traitement et nettoyage de données - Maîtrise de Spark indispensable - Expérience en accompagnement métier : ateliers, recueil de besoins, formation, support - Bon niveau de développement (Spark, SQL, idéalement Python et/ou Java en plus) Soft skills : - Autonomie, rigueur, sens de la qualité - Esprit d’équipe, bonnes capacités de communication - Curiosité, envie de comprendre le métier et les usages data - Capacité d’analyse et de synthèse - Force de proposition sur les solutions techniques et décisionnelles

Contexte Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans nos actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" (Groupes de protection sociale). La connaissance de Power BI et de SAS sont des plus." Livrables attendus Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale (Retraite Complémentaire idéalement)