Find your next tech and IT Job or contract Apache Spark

Contexte de la missionDans le cadre de projets stratégiques de transformation et de modernisation des plateformes Data, nous recherchons un Tech Lead Databricks Senior pour piloter techniquement la conception, le développement et l'industrialisation de solutions Data à grande échelle. Vous interviendrez en tant que référent technique auprès des équipes Data Engineering et participerez activement aux choix d'architecture, à l'optimisation des performances et à la mise en place des bonnes pratiques de développement. Missions principalesAssurer le leadership technique d'une équipe de Data Engineers. Concevoir et faire évoluer des architectures Data basées sur Databricks. Piloter le développement et l'industrialisation des pipelines de données. Définir les standards techniques et les bonnes pratiques de développement. Accompagner les équipes sur Python, PySpark, SQL et Apache Spark. Optimiser les performances des traitements Big Data. Mettre en place des architectures Lakehouse avec Delta Lake. Garantir la qualité, la sécurité et la gouvernance des données. Participer aux choix d'architecture Cloud et aux décisions techniques. Réaliser des revues de code et accompagner la montée en compétences des développeurs. Superviser l'intégration continue et le déploiement des solutions Data. Collaborer avec les architectes, Product Owners et équipes métiers.

Dans le cadre d'un projet Data / Big Data, nous recherchons un Data Engineer confirmé / senior spécialisé en Python et Spark/PySpark, pour intervenir sur une plateforme Cloudera CDP. 🎯 Contexte de la missionVous interviendrez sur des sujets de développement Data Engineering, avec la conception et l'évolution de pipelines de données en environnement Big Data, notamment sur des traitements batch et streaming. 🛠️ MissionsDévelopper des pipelines et traitements Data en Python / Spark / PySpark Concevoir et maintenir des traitements Spark Streaming Participer au développement et à l'intégration de flux de données Intervenir sur une plateforme Cloudera CDP 7.1.9 Travailler avec les différents composants de l'écosystème Big Data Participer aux évolutions et à l'industrialisation des traitements Data Collaborer avec les équipes Data / Back / Infrastructure 💻 Environnement techniqueIndispensables : ⭐ Python ⭐ Apache Spark ⭐ PySpark Expérience significative en Data Engineering Environnement fortement apprécié : Cloudera CDP 7.1.9 Kafka NiFi Kubernetes / K8s Hive Ozone Iceberg Data Virtualization Spark Streaming

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.