Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Lyon

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Contexte Nous recherchons un(e) Développeur(se) Spark / Java pour intervenir sur la mise en place d’un socle SIG (Système d’Information Géographique) dédié à la gestion des risques climatiques. Le projet vise à industrialiser des modèles de calcul définis par une direction actuarielle afin d’intégrer et croiser des données géographiques, topographiques, satellites et métier, pour produire des scores de risques climatiques (inondation, sécheresse, tempête, etc.) dans un environnement Google Cloud Platform (GCP). Objectifs de la mission Comprendre et analyser les modèles de calcul définis par les actuaires Participer aux phases de conception de la solution Réaliser les développements en Spark Java, avec des librairies géospatiales Accompagner la montée en compétence sur la mise en œuvre de traitements Spark / Java Déployer les développements dans un environnement Google Cloud Platform Produire la documentation et assurer sa transmission aux parties concernées Anticiper les phases d’exploitation et de maintien en conditions opérationnelles Assurer un reporting régulier sur l’avancement Livrables Solution applicative développée et testée Documentation mise à jour Suivi interne mis à jour Profil recherché +5 ans d’expérience sur Spark & Java Expérience sur des traitements Big Data et pipelines de calcul Connaissance de librairies géospatiales dans Spark (fort plus) Expérience sur une solution équivalente type Apache Beam (plus) Capacité à produire de la documentation claire Autonomie, rigueur, bonne communication Environnement technique Java Apache Spark Librairies géospatiales Google Cloud Platform (GCP) Plus : Apache Beam

Le client engage un programme de transformation global (organisationnelle, SI et métier) visant à intégrer les systèmes d’information de deux entités afin de converger vers un SI unifié, désigné comme le SI cible. Dans ce cadre, la DSI du client veut se renforcer par un dispositif d'’Architecte d’Entreprise qui intervient en tant que garant de la cohérence globale de la transformation du SI et de son alignement continu avec la stratégie métier du groupe. Mission: Porter la vision cible du SI Groupe, Définir l’architecture cible (métier, fonctionnelle, applicative, solution), Proposer des scénarios de trajectoire et un état stable pluriannuel, Intégrer les feuilles de route existantes et les dépendances entre parties prenantes, Éclairer et sécuriser les décisions de gouvernance, Jouer un rôle de facilitateur et garantir la cohérence globale du SI. Activités principales • Effectuer un état des lieux sur les différences entre processus métier • Définir, faire valider et maintenir la vision cible du SI intégré. • Définir, faire valider et piloter les trajectoires de convergence des SI. La convergence vers le SI cible s’appuie sur une succession d’états intermédiaires stables, garantissant la continuité des activités, la maîtrise des risques et une création de valeur progressive tout au long de la transformation. • Garantir la cohérence globale des architectures métier, fonctionnelle, applicative, data et technique sur l’ensemble du programme. • Sécuriser les choix structurants et contribuer à la réduction des risques liés à la transformation. • Accompagner et conseiller les équipes projets dans la conception et la mise en œuvre des transformations. Exemples de livrables attendus • Référentiel des exigences et contraintes • Cible métier à l’issue de l’intégration • Définition du SI cible et des trajectoires • Stratégie de reprise et de migration des données • Trajectoire de convergence • Schémas et dossiers d’architecture • Notes de cadrage et d’aide à la décision

Vos missions ? En tant que Data Analyst Java Angular (H/F), vous serez en charge des missions suivantes: - Le développement des tâches qui vous sont assignées en respectant les spécifications - Le Code Review avec les autres développeurs du projet - L'écriture de tests unitaires et fonctionnels durant vos développements - L'industrialisation de vos développements via notre PIC (Jenkins) - La participation au Daily Scrum Meeting, Sprint Revue, Rétro de Sprint et Planning Poker La stack technique : - Python Spark GCP - BDD : SQL (MySQL, PostgreSQL, SQLServer) et/ou NoSQL (MongoDB, Cassandra, Redis) - Outils : Git, Jenkins, Jira

Data Architect ETL, Spark, Kafka; BI, dashboards; SQL/NoSQL, Data Lake, Data Warehouse, BPMN - Maîtrise des formalismes de modélisation (BPMN, modèles conceptuels et logiques de données) - Réalise les études de cadrage pour l’architecture Data en s’appuyant sur une expertise des technologies clés - Stockage (SQL/NoSQL, Data Lake, Data Warehouse) - Traitement (ETL, Spark, Kafka) - Restitution (BI, dashboards) - Exploration et référentiels (catalogues, gouvernance) Télétravail : 3 jours max par semaine

Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle. Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark. Expérience significative dans le domaine de la Data et du Cloud (GCP ou AWS), en particulier les services tels que Cloud Storage, BigQuery, Dataproc, Kubernetes, et d'autres outils pertinents pour la gestion et le traitement de données à grande échelle Bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données. Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data. Bonne connaissance de l’environnement Linux et des outils de ligne de commande. Connaissance approfondie des concepts d'architecture microservices et des bonnes pratiques de développement. Expérience dans l'écriture de tests unitaires et d'intégration pour garantir la qualité du code. Connaissance sur Kafka-stream, spring boot, Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires.

CITECH recrute ! 👌 Dans le cadre du renforcement de son pôle dédié à l’architecture, la valorisation et l’exploitation de la donnée, une grande entreprise nationale du secteur de l’énergie recherche un Data Engineer / Data Analyst (H/F) .🚀 L’objectif : contribuer à la fiabilité, la qualité et l’analyse des données nécessaires à la gestion des réseaux, ainsi qu’au développement de plateformes Data avancées. 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 Data Engineering 🔸Concevoir, développer et maintenir des pipelines de données robustes et scalables. 🔸Industrialiser les traitements dans un environnement Databricks (Spark, Delta Lake). 🔸Optimiser la qualité, la performance et la disponibilité des données. 🔸Participer à l’architecture des solutions Data, notamment dans un contexte cloud. Data Analysis 🔸Structurer, analyser et valoriser les données issues des réseaux et services. 🔸Construire des Dashboard et indicateurs fiables pour les équipes métiers et techniques. 🔸Contribuer à la mise en place d’une gouvernance efficace des données. Collaboration & Support 🔸Travailler étroitement avec les équipes Architecture, Exploitation et SI. 🔸Participer à la documentation, la standardisation et l’amélioration continue des pratiques Data. 🔸Accompagner les utilisateurs internes dans la compréhension et l’exploitation des datasets.