Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Lyon

Intégré(e) au sein d’une équipe Agile, vous participerez à : La conception et la mise en place de pipelines ETL performants L’ingestion, la transformation et la qualité des données La gestion et l’optimisation des flux Data dans un environnement Azure / Databricks / Spark L’automatisation des traitements et le monitoring des workflows La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels

CITECH recrute ! 👌 Dans le cadre du renforcement de son pôle dédié à l’architecture, la valorisation et l’exploitation de la donnée, une grande entreprise nationale du secteur de l’énergie recherche un Data Engineer / Data Analyst (H/F) .🚀 L’objectif : contribuer à la fiabilité, la qualité et l’analyse des données nécessaires à la gestion des réseaux, ainsi qu’au développement de plateformes Data avancées. 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 Data Engineering 🔸Concevoir, développer et maintenir des pipelines de données robustes et scalables. 🔸Industrialiser les traitements dans un environnement Databricks (Spark, Delta Lake). 🔸Optimiser la qualité, la performance et la disponibilité des données. 🔸Participer à l’architecture des solutions Data, notamment dans un contexte cloud. Data Analysis 🔸Structurer, analyser et valoriser les données issues des réseaux et services. 🔸Construire des Dashboard et indicateurs fiables pour les équipes métiers et techniques. 🔸Contribuer à la mise en place d’une gouvernance efficace des données. Collaboration & Support 🔸Travailler étroitement avec les équipes Architecture, Exploitation et SI. 🔸Participer à la documentation, la standardisation et l’amélioration continue des pratiques Data. 🔸Accompagner les utilisateurs internes dans la compréhension et l’exploitation des datasets.

CONTEXTE Experience : 5 ans et plus Métiers Fonctions : Architecture technique, Sécurité, Méthode, Expert technique Spécialités technologiques : Cloud, Infrastructure & Cloud, Devops, Gouvernance des données, IAM Compétences Technologies et Outils AWS CI/CD Spark Terraform Python Docker Kinesis Amazon Kubernetes Gitlab Description et livrables de la prestation Le poste d'Architecte Technique Data Expert Technique, également de niveau Expérimenté ou Sénior, a pour mission d'assurer la validité technique et l'alignement des architectures Data avec les standards définis dans le cadre du Programme Vision 2035. En tant que référent technique, vous interviendrez en amont au sein des équipes CAPVISION (méthodologies Capvision, Découverte, Zoom) pour définir les architectures cibles et garantir leur cohérence au sein de l'écosystème SI existant. Vos responsabilités englobent la définition des architectures Cloud (performance, résilience), la mise en œuvre de la gouvernance des données (Dataviz, Datamesh), et la sécurisation des données. Compétences et Technologies (Focus Technique) : Ce rôle requiert une expertise en architecture Data et Cloud (Niveau 4). La maîtrise des outils de gouvernance de la donnée tels que Dataviz et Datamesh est primordiale (Niveau 4). Une expertise est demandée sur la gestion de la sécurité du SI, notamment la gestion des accès (IAM) et les mécanismes de protection des données (Niveau 4). De solides connaissances en intégration et déploiement continus (CI/CD) sont requises (Niveau 4). Techniquement, vous utiliserez Python et Spark. Les services Cloud spécifiques comprennent AWS IAM, Amazon Kinesis, AWS Lake Formation, AWS S3, ainsi que les outils d'industrialisation AWS, Gitlab CI, Docker, Kubernetes et Terraform. Expertise souhaitée Architecte Technique Data Expert Technique