Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake à Lyon

Nous recherchons pour l’un de nos clients un Data Engineer pour intervenir sur un projet stratégique de référentiel de données financières . Le projet vise à centraliser, fiabiliser et gouverner l’ensemble des données liées aux instruments financiers , au sein d’un socle de Master Data Management (MDM) . Vous intégrerez une squad Data pluridisciplinaire composée de développeurs Data, d’un Architecte technique, d’un Business Analyst et d’un Product Owner. Mission : Conception & développement Data : Conception et développement de pipelines de données robustes et évolutifs Implémentation du modèle Bronze / Silver / Gold Intégration et transformation de données multi-sources Orchestration & ingestion : Développement et paramétrage de workflows Apache NiFi Collecte et normalisation de données issues de : fichiers CSV / XML API REST Industrialisation et sécurisation des flux Modélisation & qualité des données : Participation à la modélisation du socle de données Construction de vues consolidées MDM Mise en place de contrôles de qualité : complétude unicité cohérence traçabilité et versioning Performance, sécurité & bonnes pratiques : Suivi et optimisation des performances des pipelines Mise en œuvre des standards de sécurité des données (authentification, chiffrement, gestion des accès) Documentation technique et partage de connaissances au sein de la squad

Contexte de la mission : Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d’expérience en environnement Data. La mission se déroule au sein de l’équipe Big Data, chargée de l’alimentation, de l’évolution et de l’optimisation du Data Lake sous Cloudera Hadoop. L’objectif principal est de concevoir, faire évoluer et maintenir les traitements d’alimentation pour assurer la qualité, la performance et la maintenabilité des solutions. Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais. Missions principales : Développement & évolution du Data Lake : Gérer les évolutions des flux et des données à intégrer Faire évoluer les développements existants d’alimentation Maintenir les traitements d’ingestion et de transformation Concevoir des extractions de données pour répondre aux besoins métiers Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter Expertise technique & structuration : Rédaction des spécifications techniques Fourniture de requêtes SQL de référence Revue de code Structuration et pilotage via JIRA Documentation des processus et accompagnement des utilisateurs Encadrement de profils juniors (alternants, stagiaires) Performance & optimisation : Optimiser les traitements et requêtes Améliorer la performance et l’exploitabilité Contribuer à la maintenabilité globale Réaliser du reverse engineering dans une architecture héritée complexe Support & accompagnement : Assurer le support de niveau 2 Faire respecter les bonnes pratiques Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients) Gouvernance & conformité : Veiller au respect des modèles de données Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards

Data Architect ETL, Spark, Kafka; BI, dashboards; SQL/NoSQL, Data Lake, Data Warehouse, BPMN - Maîtrise des formalismes de modélisation (BPMN, modèles conceptuels et logiques de données) - Réalise les études de cadrage pour l’architecture Data en s’appuyant sur une expertise des technologies clés - Stockage (SQL/NoSQL, Data Lake, Data Warehouse) - Traitement (ETL, Spark, Kafka) - Restitution (BI, dashboards) - Exploration et référentiels (catalogues, gouvernance) Télétravail : 3 jours max par semaine

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Architecte Data AWS (H/F) à Lyon, France. Contexte : Dans le cadre d’un programme de transformation Data, nous souhaitons consolider son socle data autour d’une architecture cible fiable, évolutive et sécurisée. L’architecte data interviendra en support de l'équipe existante, en assurer la validation technique et fonctionnelle, et mettre en œuvre les mesures de sécurité nécessaires. Les missions attendues par le Architecte Data AWS (H/F) : Sous la responsabilité du responsable de centre d'expertise Data, il aura en charge de : Valider, sécuriser et faire évoluer l’architecture technique de la plateforme Data (Data Lake, Data Mesh, Data Warehouse) en intégrant les exigences de sécurité Garantir la cohérence, la robustesse et la sécurité des flux de données entre les différents systèmes. Accompagner les équipes projets dans le choix et l’implémentation des solutions techniques. Assurer la veille technologique et proposer des améliorations continues. Collaborer avec les architectes, le RSSI, DPO et équipes cybersécurité pour intégrer les contrôles nécessaires. Assurer la traçabilité des décisions et la documentation des choix techniques. Partager sur des solutions et architectures mises en œuvre chez d'autres clients. Assurer la veille technologique et proposer des améliorations continues. Environnement technique : Architecture et modélisation : Conception de modèles de données (relationnels, NoSQL, dimensionnels, etc.). Maîtrise des architectures Data Warehouse, Data Lake et Data Mesh. Base de données : Expertise en systèmes de gestion de bases de données SQL, NoSQL et notamment PostgreSQL, Snowflake, ElasticSearch et DuckDB Cloud Computing : Connaissance approfondie des services de données des fournisseurs Cloud et notamment AWS Langages et technologies : Intégration & Flux : Apache Nifi ; Transport & Temps Réel : Apache Kafka ; Visualisation (BI) & Reporting : Apache Superset Gouvernance Data : Définition des politiques, des standards et des normes pour garantir la qualité, l'intégrité et la gestion du cycle de vie des données. Sécurité : Connaissance des principes de cybersécurité et maîtrise de la réglementation sur la protection des données (notamment le RGPD). Approche Secure by design (chiffrement, gestion des accès, observabilité, supervision).

Architecte Data / Cloud Senior (Expert)🎯 Contexte & Enjeux Dans le cadre de la transformation de notre client (Secteur d' Assurance) vers un Système d’Information Data Centric , nous recherchons un(e) Architecte Data / Cloud Senior capable d’accompagner la modernisation de notre infrastructure Data On-Premise et Cloud. Cette transformation stratégique vise à bâtir un SI : Agile Évolutif Résilient Orienté données Aligné avec nos enjeux long terme L’expert(e) interviendra en transverse auprès des équipes MOA, Techlead, Développeurs et DBA afin de garantir une intégration fluide des architectures Data modernes. 🎯 Objectifs de la mission Évaluer l’architecture existante et recommander les meilleures pratiques Data / Cloud Concevoir et mettre en œuvre une architecture Data Centric robuste et scalable Définir et implémenter les patterns Data (Batch, Streaming, Event-driven, Microservices data, etc.) Assurer l’intégration cohérente des environnements On-Premise et Cloud Accompagner les équipes internes (MOA, Tech, DBA) Garantir la sécurité, la gouvernance et la performance des données Assurer le transfert de compétences Produire une documentation complète (HLD, LLD, DAT, schémas d’architecture) 📦 Livrables attendus Dossier d’architecture cible (HLD/LLD) Schémas d’urbanisation Data Blueprint Data/Cloud (multi-cloud / hybrid) Recommandations techniques formalisées Plan de migration On-Premise → Cloud Documentation des pipelines Data Guide de bonnes pratiques Support aux équipes techniques Plan de gouvernance et sécurité des données 🛠 Responsabilités principales Définir l’architecture Data (Batch & Streaming) Mettre en œuvre des pipelines temps réel (Kafka, Spark Streaming, Beam) Concevoir des architectures multi-cloud (AWS, GCP, Azure, Oracle Cloud) Intégrer les solutions NoSQL (CouchDB, MongoDB) Concevoir des architectures sécurisées (Keycloak, IAM, RBAC) Superviser les choix techniques liés aux bases Oracle Accompagner l’industrialisation sous OpenShift Garantir la performance, la scalabilité et la résilience 👤 PROFIL RECHERCHÉ🎓 Formation Bac+5 (Ingénieur / Master en Informatique / Data / Cloud) Minimum 8 à 10 ans d’expérience dont plusieurs années en architecture Data

Mission basée à Lyon. Pour l'un de nos clients, nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur des environnements cloud Microsoft et participer à la conception de plateformes data modernes et performantes. Missions Concevoir et développer des pipelines de données robustes sur Azure Mettre en place et maintenir les flux via Azure Data Factory Développer et optimiser les traitements de données dans Databricks Participer à la modélisation des données (Data Lake / Data Warehouse) Garantir la qualité, la performance et la fiabilité des données Collaborer avec les équipes métiers et BI pour faciliter l’exploitation des données (notamment via Power BI )

Contexte Au sein de la Direction des Systèmes d’Information d’un grand groupe, vous intervenez dans le cadre d’un programme stratégique de transformation visant la modernisation d’une plateforme de données à grande échelle. L’environnement est multi-équipes et multi-sites, avec des enjeux forts de performance, de montée en charge, de fiabilité et d’alignement avec les besoins métiers. Mission principale Assurer le pilotage transverse d’un programme de transformation technique portant sur la migration et l’évolution de plusieurs plateformes data, en garantissant la cohérence globale, la maîtrise des risques et la fluidité des interactions entre équipes. Responsabilités Pilotage de programme Planifier et coordonner les différents chantiers techniques Synchroniser les équipes impliquées (data, cloud, architecture, exploitation, sécurité…) Assurer le suivi opérationnel et le reporting à différents niveaux Contribuer au cadrage et au suivi budgétaire Garantir le respect de la trajectoire globale de transformation Gestion des projets de migration Accompagner la migration de plateformes data existantes vers de nouvelles solutions Superviser l’évolution d’une plateforme Data Lake et d’architectures orientées microservices Veiller à la performance, la scalabilité et la robustesse des solutions Coordination des équipes Faciliter la collaboration entre équipes techniques et managers Identifier rapidement les risques, blocages et écarts Proposer des actions correctives adaptées Soutenir la montée en maturité d’équipes récentes Suivi et gouvernance Définir et piloter des indicateurs de performance (KPI) pertinents Produire des tableaux de bord d’avancement Assurer la visibilité globale du programme auprès du management Sécuriser la trajectoire globale plutôt que l’optimisation locale Environnement technique Plateformes de données et Data Lake Traitements batch et temps réel Architectures microservices Technologies Big Data (ex. Spark, Scala) Technologies backend (ex. Java) Environnements cloud ou hybrides Outils de streaming (ex. Kafka) Profil recherché Compétences techniques Solide expérience en pilotage de projets techniques complexes Bonne compréhension des architectures data et cloud Expérience des programmes de migration ou de transformation IT Capacité à interagir avec des experts techniques variés Compétences comportementales Excellente communication et leadership transversal Forte autonomie et capacité d’adaptation Esprit d’analyse et de synthèse Orientation résultats et gestion des risques Capacité à entrer rapidement dans des sujets complexes

Dans le cadre d’un projet data stratégique, nous recherchons un Architecte Data spécialisé Azure disposant d’une solide expérience sur l’écosystème Azure Analytics et d’une expertise confirmée sur Databricks . Le consultant interviendra en tant qu’ Architecte de domaine et sera responsable de la conception et de l’alignement de l’architecture data avec les standards du groupe. Il travaillera en étroite collaboration avec les Data Product Owners, Data Engineers, Data Analysts et Data Scientists , ainsi qu’avec la communauté des architectes, afin de garantir la cohérence et la pérennité des solutions mises en place. Le poste nécessite à la fois une vision d’architecture globale , une capacité de coordination technique et une implication opérationnelle dans les discussions techniques. Responsabilités Définir et concevoir l’architecture data sur l’écosystème Azure Garantir l’alignement des solutions avec l’architecture cible Participer aux discussions d’architecture et aux choix techniques Accompagner les équipes data sur les bonnes pratiques d’architecture Concevoir et documenter les architectures de solutions Développer et maintenir les modèles de données logiques et physiques Contribuer à la roadmap produit et à la priorisation du backlog Assurer le leadership technique sur le périmètre data Environnement technique Azure Databricks Azure Data Factory Azure Data Lake Storage (ADLS) Azure SQL Database Power BI

Data Engineer Senior – Plateforme Data Cloud (H/F) Lyon – Mission longue durée – Temps plein Nous recherchons un Data Engineer senior pour intervenir sur une plateforme data stratégique au sein d’un grand environnement industriel en transformation. La mission s’inscrit dans une équipe dédiée à l’industrialisation et à la performance des pipelines data, sur une architecture cloud moderne à forte volumétrie. Missions • Concevoir et optimiser des pipelines d’ingestion et de transformation de données • Garantir la performance, la fiabilité et la scalabilité de la plateforme • Mettre en place des mécanismes de contrôle qualité des données • Automatiser et superviser les traitements data • Participer à la gouvernance et au cycle de vie de la donnée • Contribuer à l’optimisation des infrastructures cloud • Supporter les utilisateurs de la plateforme • Participer à la veille technologique Environnement technique Databricks sur AWS PySpark, Python, SQL avancé Architecture Data Lake et pipelines industriels Outils DevOps / DataOps (Git, CI/CD, ticketing) Méthodologie Agile à l’échelle (SAFe) Profil recherché Minimum 5 ans d’expérience en data engineering Expertise Databricks, AWS et PySpark Expérience en industrialisation de pipelines data Rigueur technique et autonomie Bon esprit d’équipe Anglais professionnel Connaissance du secteur industriel ou énergie appréciée. Conditions Mission longue durée avec visibilité Projet à fort impact Équipe technique experte Environnement cloud avancé