Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Lyon

Contexte Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans nos actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" (Groupes de protection sociale). La connaissance de Power BI et de SAS sont des plus." Livrables attendus Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale (Retraite Complémentaire idéalement)

Au sein du pôle Big Data d'un grand groupe, l'objectif principal de ce poste est de réaliser et de maintenir les développements nécessaires à l'alimentation du Datalake sur une plateforme Cloudera Hadoop, de mettre en place des extractions de données et d'accompagner les utilisateurs. Rattaché(e) au responsable Big Data, vous évoluerez dans un contexte de production à fortes attentes où la tenue des délais de livraison et le pilotage opérationnel sont primordiaux. Vos principales missions seront les suivantes : Développement et intégration : Prendre en charge les évolutions des données à intégrer et reprendre les développements existants pour l'alimentation du Datalake. Vous développerez également des extractions avec un niveau d'expertise en SQL et créerez des scripts Shell avancés pour l'automatisation. Expertise technique et mentorat : Spécifier techniquement les tâches, fournir des requêtes de référence, effectuer des revues de code et accompagner les collaborateurs juniors, stagiaires ou alternants. Support et accompagnement : Assurer le support de niveau 2, faire appliquer les bonnes pratiques et consignes aux utilisateurs, et rédiger la documentation requise (guides, description de processus). Optimisation et maintenance : Garantir la maintenabilité, les performances et l'exploitabilité de la plateforme en respectant l'utilisation des modèles référencés par la Gouvernance de la Donnée. Vous optimiserez les traitements de la plateforme et ceux des utilisateurs, et mènerez des investigations (reverse engineering) dans une architecture héritée complexe

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

CONTEXTE : Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs Livrables attendus "Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale

Description du poste : Dans le cadre de l'activité Big Data de notre client, nous recherchons un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans nos actions sur notre plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs.

Contexte Nous recherchons un(e) Développeur(se) Spark / Java pour intervenir sur la mise en place d’un socle SIG (Système d’Information Géographique) dédié à la gestion des risques climatiques. Le projet vise à industrialiser des modèles de calcul définis par une direction actuarielle afin d’intégrer et croiser des données géographiques, topographiques, satellites et métier, pour produire des scores de risques climatiques (inondation, sécheresse, tempête, etc.) dans un environnement Google Cloud Platform (GCP). Objectifs de la mission Comprendre et analyser les modèles de calcul définis par les actuaires Participer aux phases de conception de la solution Réaliser les développements en Spark Java, avec des librairies géospatiales Accompagner la montée en compétence sur la mise en œuvre de traitements Spark / Java Déployer les développements dans un environnement Google Cloud Platform Produire la documentation et assurer sa transmission aux parties concernées Anticiper les phases d’exploitation et de maintien en conditions opérationnelles Assurer un reporting régulier sur l’avancement Livrables Solution applicative développée et testée Documentation mise à jour Suivi interne mis à jour Profil recherché +5 ans d’expérience sur Spark & Java Expérience sur des traitements Big Data et pipelines de calcul Connaissance de librairies géospatiales dans Spark (fort plus) Expérience sur une solution équivalente type Apache Beam (plus) Capacité à produire de la documentation claire Autonomie, rigueur, bonne communication Environnement technique Java Apache Spark Librairies géospatiales Google Cloud Platform (GCP) Plus : Apache Beam

Data Architect ETL, Spark, Kafka; BI, dashboards; SQL/NoSQL, Data Lake, Data Warehouse, BPMN - Maîtrise des formalismes de modélisation (BPMN, modèles conceptuels et logiques de données) - Réalise les études de cadrage pour l’architecture Data en s’appuyant sur une expertise des technologies clés - Stockage (SQL/NoSQL, Data Lake, Data Warehouse) - Traitement (ETL, Spark, Kafka) - Restitution (BI, dashboards) - Exploration et référentiels (catalogues, gouvernance) Télétravail : 3 jours max par semaine

Architecte Data / Cloud Senior (Expert)🎯 Contexte & Enjeux Dans le cadre de la transformation de notre client (Secteur d' Assurance) vers un Système d’Information Data Centric , nous recherchons un(e) Architecte Data / Cloud Senior capable d’accompagner la modernisation de notre infrastructure Data On-Premise et Cloud. Cette transformation stratégique vise à bâtir un SI : Agile Évolutif Résilient Orienté données Aligné avec nos enjeux long terme L’expert(e) interviendra en transverse auprès des équipes MOA, Techlead, Développeurs et DBA afin de garantir une intégration fluide des architectures Data modernes. 🎯 Objectifs de la mission Évaluer l’architecture existante et recommander les meilleures pratiques Data / Cloud Concevoir et mettre en œuvre une architecture Data Centric robuste et scalable Définir et implémenter les patterns Data (Batch, Streaming, Event-driven, Microservices data, etc.) Assurer l’intégration cohérente des environnements On-Premise et Cloud Accompagner les équipes internes (MOA, Tech, DBA) Garantir la sécurité, la gouvernance et la performance des données Assurer le transfert de compétences Produire une documentation complète (HLD, LLD, DAT, schémas d’architecture) 📦 Livrables attendus Dossier d’architecture cible (HLD/LLD) Schémas d’urbanisation Data Blueprint Data/Cloud (multi-cloud / hybrid) Recommandations techniques formalisées Plan de migration On-Premise → Cloud Documentation des pipelines Data Guide de bonnes pratiques Support aux équipes techniques Plan de gouvernance et sécurité des données 🛠 Responsabilités principales Définir l’architecture Data (Batch & Streaming) Mettre en œuvre des pipelines temps réel (Kafka, Spark Streaming, Beam) Concevoir des architectures multi-cloud (AWS, GCP, Azure, Oracle Cloud) Intégrer les solutions NoSQL (CouchDB, MongoDB) Concevoir des architectures sécurisées (Keycloak, IAM, RBAC) Superviser les choix techniques liés aux bases Oracle Accompagner l’industrialisation sous OpenShift Garantir la performance, la scalabilité et la résilience 👤 PROFIL RECHERCHÉ🎓 Formation Bac+5 (Ingénieur / Master en Informatique / Data / Cloud) Minimum 8 à 10 ans d’expérience dont plusieurs années en architecture Data

Je recherche pour un de mes client un Développeur Big Data sur Lyon CONTEXTE DE LA MISSION Le client, dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs. DESCRIPTION DE LA MISSION Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Les principales missions confiées seront les suivantes : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale). La connaissance de Power BI et SAS sont des plus. Exemples de livrables attendus : - Code source documenté - Plan de tests / fiches de test - Bilan - Bordereau de livraison - Manuel d’installation - Dossier d’exploitation - JIRA documentée Environnement technique : - Hadoopa Cloudera - Hive - Impala - Python - Shell - Spark - Linux - SQL - VBA - Git - Jupyter Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement).

Contexte Au sein de la Direction des Systèmes d’Information d’un grand groupe, vous intervenez dans le cadre d’un programme stratégique de transformation visant la modernisation d’une plateforme de données à grande échelle. L’environnement est multi-équipes et multi-sites, avec des enjeux forts de performance, de montée en charge, de fiabilité et d’alignement avec les besoins métiers. Mission principale Assurer le pilotage transverse d’un programme de transformation technique portant sur la migration et l’évolution de plusieurs plateformes data, en garantissant la cohérence globale, la maîtrise des risques et la fluidité des interactions entre équipes. Responsabilités Pilotage de programme Planifier et coordonner les différents chantiers techniques Synchroniser les équipes impliquées (data, cloud, architecture, exploitation, sécurité…) Assurer le suivi opérationnel et le reporting à différents niveaux Contribuer au cadrage et au suivi budgétaire Garantir le respect de la trajectoire globale de transformation Gestion des projets de migration Accompagner la migration de plateformes data existantes vers de nouvelles solutions Superviser l’évolution d’une plateforme Data Lake et d’architectures orientées microservices Veiller à la performance, la scalabilité et la robustesse des solutions Coordination des équipes Faciliter la collaboration entre équipes techniques et managers Identifier rapidement les risques, blocages et écarts Proposer des actions correctives adaptées Soutenir la montée en maturité d’équipes récentes Suivi et gouvernance Définir et piloter des indicateurs de performance (KPI) pertinents Produire des tableaux de bord d’avancement Assurer la visibilité globale du programme auprès du management Sécuriser la trajectoire globale plutôt que l’optimisation locale Environnement technique Plateformes de données et Data Lake Traitements batch et temps réel Architectures microservices Technologies Big Data (ex. Spark, Scala) Technologies backend (ex. Java) Environnements cloud ou hybrides Outils de streaming (ex. Kafka) Profil recherché Compétences techniques Solide expérience en pilotage de projets techniques complexes Bonne compréhension des architectures data et cloud Expérience des programmes de migration ou de transformation IT Capacité à interagir avec des experts techniques variés Compétences comportementales Excellente communication et leadership transversal Forte autonomie et capacité d’adaptation Esprit d’analyse et de synthèse Orientation résultats et gestion des risques Capacité à entrer rapidement dans des sujets complexes

Organisation Dans le cadre de ses activités liées au traitement de données volumineuses, une organisation recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans la gestion d'une plateforme Hadoop. Objectif de la mission Réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, notamment la mise en place d'extractions et l'accompagnement des utilisateurs. Description de la mission Le candidat, rattaché au responsable en charge du traitement de données volumineuses, sera principalement chargé de : Prendre en charge l'évolution des flux de données et reprendre les développements existants pour leur alimentation, en faisant évoluer ceux-ci selon les besoins. (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) Définir la spécification technique des tâches, fournir des requêtes de référence, réaliser des revues de code, et accompagner d’éventuels alternants ou stagiaires. Mettre en place des processus d'extraction à partir des données. Assurer le support de niveau 2. Faire respecter les consignes d’utilisation auprès des utilisateurs. Garantir le respect des délais de livraison dans un environnement exigeant. Contribuer à la maintenabilité, la performance et l’exploitabilité de la plateforme. Il veillera également à respecter l’utilisation des modèles référencés ou leur évolution, en collaboration avec la Direction Technique et la Gouvernance des Données. Le profil doit posséder des compétences avérées en communication, diplomatie, capacité d’intégration, partage de connaissances, documentation, et accompagnement des utilisateurs.

Contexte de la mission : Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d’expérience en environnement Data. La mission se déroule au sein de l’équipe Big Data, chargée de l’alimentation, de l’évolution et de l’optimisation du Data Lake sous Cloudera Hadoop. L’objectif principal est de concevoir, faire évoluer et maintenir les traitements d’alimentation pour assurer la qualité, la performance et la maintenabilité des solutions. Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais. Missions principales : Développement & évolution du Data Lake : Gérer les évolutions des flux et des données à intégrer Faire évoluer les développements existants d’alimentation Maintenir les traitements d’ingestion et de transformation Concevoir des extractions de données pour répondre aux besoins métiers Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter Expertise technique & structuration : Rédaction des spécifications techniques Fourniture de requêtes SQL de référence Revue de code Structuration et pilotage via JIRA Documentation des processus et accompagnement des utilisateurs Encadrement de profils juniors (alternants, stagiaires) Performance & optimisation : Optimiser les traitements et requêtes Améliorer la performance et l’exploitabilité Contribuer à la maintenabilité globale Réaliser du reverse engineering dans une architecture héritée complexe Support & accompagnement : Assurer le support de niveau 2 Faire respecter les bonnes pratiques Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients) Gouvernance & conformité : Veiller au respect des modèles de données Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards

Mission principale Leader technique et fonctionnel chargé de concevoir, déployer et industrialiser des solutions AI/ML utilisant des algorithmes avancés Identifier les opportunités d’amélioration data et piloter leur mise en œuvre dans des environnements cross-fonctionnels Encadrer et faire monter en compétences une équipe de Data Scientists et Data Analysts Garantir le cycle de vie complet des modèles (développement, déploiement, monitoring, amélioration continue) Collaborer étroitement avec les équipes métiers pour transformer les besoins business en solutions data Expérience requise 8 à 10+ ans d’expérience en Data Science Expérience confirmée en développement de code déployable et mise en production de modèles Expérience en développement logiciel production-ready et en environnement agile Expérience de management d’équipe Data Expérience en environnement healthcare ou manufacturing appréciée Compétences techniques Maîtrise des langages Data Science : Python, R, C++ Connaissance des bases de données SQL / NoSQL / Graph / Time series Expertise en AI/ML : Supervised & Unsupervised Learning Deep Learning LLMs Reinforcement Learning Federated Learning Time series forecasting Bayesian statistics et optimisation Expérience cloud et HPC : AWS, Azure, Spark CI/CD, orchestration et industrialisation des modèles Data visualization & storytelling (Tableau, Power BI, Streamlit) Expérience APIs enterprise et big data mining Connaissance des réglementations Data & AI Compétences comportementales Leadership et management d’équipe Communication écrite et orale excellente Capacité à aligner plusieurs équipes et parties prenantes Esprit analytique et résolution de problèmes Autonomie, proactivité et esprit d’équipe Formation Master ou PhD en mathématiques, informatique, ingénierie, statistiques ou domaine quantitatif équivalent