Find your next tech and IT Job or contract Data Lakehouse

Contexte de la missionLa direction Métier Réassurance Cession engage une feuille de route Data ambitieuse visant à moderniser ses plateformes décisionnelles, améliorer la valorisation des données et renforcer la gouvernance des flux. Dans ce contexte, la mission consiste à piloter des projets Data à forts enjeux métiers, fonctionnels et techniques, en lien avec les équipes métier, IT, architecture, gouvernance et data management. Le consultant interviendra comme Chef de Projet MOA senior afin d'assurer le cadrage, la coordination, la sécurisation et le suivi des projets de transformation Data. Missions· Piloter les projets Data inscrits dans la feuille de route de la direction Métier Réassurance Cession. · Assurer le cadrage des besoins métiers, la formalisation des cas d'usage, des expressions de besoin et des spécifications fonctionnelles ou technico-fonctionnelles. · Animer les ateliers de travail avec les parties prenantes métiers, fonctionnelles, techniques, architecture et gouvernance Data. · Contribuer aux arbitrages fonctionnels, applicatifs et techniques liés à la modernisation des environnements Data. · Participer à la définition des trajectoires de transformation, des feuilles de route projet et des impacts organisationnels associés. · Coordonner les équipes projet et assurer le suivi des actions, risques, dépendances, plannings et livrables. · Accompagner la conception et la mise en œuvre de Data Products, de plateformes Lakehouse et de solutions Data modernes. · Garantir la bonne prise en compte des enjeux de qualité, de gouvernance, de lignage et de compréhension des flux de données. · Préparer les supports de présentation et assurer les restitutions auprès des comités de pilotage, instances de gouvernance et directions concernées. · Accompagner la conduite du changement auprès des utilisateurs et contribuer à l'adoption des nouvelles pratiques Data.

Contexte Dans le cadre d'un programme stratégique associant Data et intelligence artificielle générative, nous recherchons un Data Engineer AWS pour participer au développement et à l'évolution d'une Data Platform destinée à alimenter des solutions métiers et des cas d'usage IA. La plateforme est déjà en production sur AWS. La mission consiste à renforcer son architecture, développer de nouveaux pipelines et industrialiser la gestion des données selon une approche moderne de type Data Lakehouse. Missions Participer à la définition et à l'évolution de l'architecture de la Data Platform et du Lakehouse. Concevoir, développer et optimiser des pipelines d'ingestion et de transformation de données. Développer des jobs Data avec AWS Glue, Spark et PySpark. Intégrer les services AWS dédiés au Data Management. Développer et maintenir des API en Java 17/21 avec Spring Boot. Traiter des données internes et provenant de fournisseurs externes. Traduire les besoins fonctionnels en solutions techniques fiables et évolutives. Participer à la mise en place d'un environnement Data Lab. Industrialiser les développements et les déploiements avec des pipelines CI/CD. Mettre en place les tests automatisés et les contrôles de qualité du code. Garantir la sécurité, la performance et la maintenabilité des solutions. Participer aux mises en production. Assurer le support de production en cas d'incident majeur. Produire et maintenir la documentation technique. Compétences techniquesAWS : S3, Glue et services Data associés Data Engineering : Spark, PySpark et Hadoop Lakehouse : Apache Iceberg et Trino Développement : Java 17/21 et Spring Boot Bases de données : PostgreSQL et Oracle Tests : JUnit 5 et Mockito CI/CD : GitLab CI Qualité et gestion des dépendances : SonarQube, Maven et Artifactory Conteneurisation : Docker et Kubernetes GitOps et déploiement : Argo CD Formats : JSON, YAML et XML Outils : GitHub, GitHub Copilot, IntelliJ IDEA, Jira et SharePoint

Bonjour, Nous recherchons pour notre client grand compte un Product Owner Data spécialisé DataLake d'entreprise Nous étudions - prioritairement - les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour en français Date de prochaine disponibilité Tarif journalier Merci d'indiquer la référence MDE/PO/5532 dans l'objet de votre message Notre client, un organisme de gestion collective, renforce l'équipe en charge de son DataLake d'entreprise. Ce datalake a vocation à centraliser les données à forte valeur de l'organisme et à devenir fournisseur de données pour les besoins de recherche et d'analyse (mesures, tableaux de bord, exploration). L'équipe compte 4 développeurs et travaille en étroite collaboration avec l'équipe BI. Elle développe une application data dotée d'une interface utilisateur. Activités principales Animer les ateliers métiers pour recueillir les besoins, les challenger et imaginer des compromis Rédiger les User Story pour les développeurs Animer les équipes de développement Suivre le bon déroulement des tâches de réalisation lors des sprints S'assurer que le delivery de l'équipe est en adéquation avec le besoin métier S'assurer de la qualité des données du datalake Animation des cérémonies agiles avec les équipes métiers et IT Construction du backlog en conséquence Mesure de la performance de l'application Analyse des anomalies Piloter les recettes des évolutions Communiquer l'avancement et remonter les alertes

Architecte IA / Data Senior Data Mesh, Lakehouse, Event Driven Architecture, ODS temps réel et virtualisation des données. La mission se déroule sur Nantes avec 2j de Télétravail. Prestation d''Architecte IA / Data Senior pour définir, structurer et faire évoluer une architecture Data cible nativement « IA Ready », capable de répondre aux enjeux de partage, d'exploitation et de valorisation des données dans un environnement complexe et en forte transformation. Le consultant contribue à la définition de l'architecture Data et technique de référence, en s'appuyant sur les principes Data Mesh, Lakehouse, Event Driven Architecture, ODS temps réel et virtualisation des données. Il assure la cohérence globale des choix d'architecture, leur interopérabilité avec les plateformes existantes, ainsi que leur alignement avec les exigences de gouvernance et de sécurité. Sur le volet architecture, il réalise les études de cadrage, produit les dossiers d'architecture, définit les modèles de données et accompagne la mise en œuvre des premiers cas d'usage. Il intervient également sur les problématiques de robustesse, de scalabilité, de résilience et de réversibilité des plateformes, tout en garantissant la prise en compte des contraintes de souveraineté, de sécurité et de conformité réglementaire. En parallèle, il joue un rôle de référent transverse auprès des équipes métiers, techniques et des partenaires, en apportant son expertise sur les architectures Data modernes et les usages IA associés. Il contribue aux arbitrages d'architecture, à la définition des trajectoires cibles et à l'accompagnement des projets, avec une forte attente sur sa capacité à fédérer les acteurs, structurer les décisions et construire une plateforme durable, évolutive et prête à accueillir les futurs usages d'intelligence artificielle. Environnement technique : Data Mesh, Lakehouse, Databricks, Apache Kafka, Change Data Capture (CDC), Azure Data Factory, Azure Event Hub, RAG (Retrieval-Augmented Generation), IAM/RBAC, API Management

Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT sénior (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks, dbt et les meilleures pratiques d'ingénierie Data. Vos missions Concevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt. Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.

Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer pour intervenir sur une plateforme Data à fort volume, au sein d'un environnement international et orienté produit. Vous rejoindrez une équipe technique en charge de construire, industrialiser et faire évoluer des solutions permettant de collecter, transformer, fiabiliser et exposer la donnée à destination des équipes Data et métiers. L'environnement repose sur une Modern Data Stack, avec une architecture de type Lakehouse, et de forts enjeux autour de la scalabilité, de l'automatisation et de la qualité des données. Vos missionsConcevoir, développer et maintenir des pipelines de données robustes et scalables. Collecter, transformer et mettre à disposition des données provenant de différentes sources. Développer des traitements en Python / PySpark / SQL. Orchestrer les pipelines de données et les workflows avec Airflow. Participer à la modélisation et à la structuration des données. Développer et maintenir les transformations avec dbt. Mettre en place des contrôles permettant de garantir la qualité et la fiabilité des données. Optimiser les performances et les coûts des traitements. Participer à l'amélioration continue de la plateforme Data. Contribuer aux sujets de Data Governance, Data Lineage et Data Contracts. Appliquer les bonnes pratiques de Software Engineering : Git, GitHub, CI/CD, tests et documentation. Travailler en étroite collaboration avec les Data Engineers, Analytics Engineers, Data Analysts et Data Scientists. Environnement techniqueCloud : AWS / GCP Data Platform : Databricks, S3 Processing : Spark / PySpark Langages : Python, SQL, idéalement Scala Orchestration : Airflow Transformation : dbt Data Quality : Great Expectations Versioning / Delivery : Git, GitHub, CI/CD Data : Lakehouse, Data Lineage, Data Governance, Data Contracts Méthodologies : Agile / Scrum / Kanban

ContexteLa mission porte sur le pilotage des projets de la feuille de route associée à la Direction Métier Réassurance Cession, pour laquelle les enjeux liés à la Data sont majeurs. Le client recherche un consultant senior disposant d'au moins 10 ans d'expérience dans le domaine de la Data, avec une expertise avérée dans la transformation et la modernisation des plateformes décisionnelles. Type de prestationPilotage de projets Data — Transformation et modernisation de plateformes décisionnelles Missions principales : Piloter les projets de la feuille de route Data de la Direction Réassurance Cession Accompagner la migration d'environnements Data Legacy vers des plateformes modernes (architectures Lakehouse, solutions cloud de nouvelle génération) Participer à la conception et à la mise en œuvre de Data Products et de plateformes Data Lakehouse, dans une approche Agile (valorisation, simplification, structuration de la donnée) Assurer les arbitrages techniques, fonctionnels et applicatifs Élaborer des trajectoires et feuilles de route Data Collecter et formaliser les besoins métiers : rédaction de cas d'usage (use cases), Expressions de Besoin (EDB), spécifications fonctionnelles et technico-fonctionnelles Animer des ateliers de cadrage, recueillir les besoins, challenger les exigences et accompagner leur traduction en solutions Data concrètes Coordonner des équipes métiers, fonctionnelles et techniques Contribuer à des programmes de transformation et de conduite du changement de grande ampleur (atout) Communiquer, synthétiser et restituer auprès des différentes parties prenantes, y compris les instances de gouvernance et de direction

Nous recherchons actuellement un(e) Data Engineer Senior pour accompagner une équipe Data sur des sujets à forts enjeux autour de la Data Engineering, du Big Data et des architectures Lakehouse. 🔎 1 Data Engineer Senior 🎯 Missions principales : · Concevoir, développer et optimiser des pipelines de données à grande échelle · Mettre en œuvre des flux batch, streaming et ingestion via API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Développer et industrialiser les pipelines avec DBT, Spark et Iceberg · Contribuer à l'évolution et à l'optimisation de l'architecture Lakehouse · Déployer et maintenir les pipelines dans un environnement Cloud AWS · Orchestrer les workflows ETL / ELT avec Airflow · Mettre en œuvre l'Infrastructure as Code avec Terraform · Travailler sur des environnements conteneurisés avec Docker / Kubernetes · Garantir la disponibilité, la supervision et l'observabilité des traitements · Participer à la gestion des incidents et à l'amélioration continue · Définir et mettre en œuvre les règles de qualité des données : tests, validations et contrôles automatisés · Documenter les architectures, pipelines et règles métier · Garantir la conformité des flux, notamment dans le respect des exigences RGPD ⚙️ Environnement technique : · DBT / Data Catalog · Apache Spark · Apache Iceberg · AWS : Glue, EMR, S3… · Terraform · Airflow · Python · Trino / Starburst · Datadog · Docker / Kubernetes · Architectures Big Data / Lakehouse · Modélisation et collecte de données 🧑‍💻 Profil recherché : · Minimum 8 ans d'expérience en Data Engineering · Expertise confirmée des architectures Big Data et Lakehouse · Très bonne maîtrise de DBT, Spark, Iceberg, AWS et Terraform · Solide expérience sur les services AWS, notamment Glue, EMR et S3 · Connaissance de Trino / Starburst et Datadog · Bon niveau en Python · Forte capacité d'analyse et de compréhension des enjeux métiers · Expérience dans l'accompagnement et l'encadrement de profils juniors · Autonomie, rigueur et forte culture de l'amélioration continue 🌍 Contexte : · Environnement Data à grande échelle · Projets autour de la modernisation et de l'industrialisation des plateformes Data · Forts enjeux Lakehouse, Data Quality, Observabilité et Cloud · Collaboration avec des équipes Data, IT et métiers 📍 Localisation : Île-de-France – Hybride 🏠 Télétravail : 3 jours par semaine 📅 Démarrage : fin août 2026 💼 Mission longue durée Si vous êtes intéressé(e) ou connaissez un(e) Data Engineer Senior correspondant à ce profil, n'hésitez pas à me contacter en MP ou directement par téléphone. Cordialement,

Environnement Dans un contexte multi domaines/clients (banque de détail, assurances, banque de marchés, asset management, etc.), vous êtes rattaché à l'équipe « Data4Ops », au sein du domaine d'expertise « Automatisation et Observabilité » Cette équipe a la charge de structurer les données dites « opérationnelles » à savoir les données utiles à l'ensemble des métiers et équipes opérationnelles, en adéquation avec la stratégie Data (basée sur les principes/concepts Data Mesh) et en relation avec le PO Data4Ops et le PM (Product Manager) du domaine d'expertise. Mission La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de données devenues très hétérogènes, dispersées et silotées du fait de l'organisation. Prenant en compte ce cadre, vos missions seront plus spécifiquement : - Faire un état des lieux et préparer l'évolution des data platform - Concevoir le design de la solution technique permettant de manipuler les données (ingestion, flux, stockage, traitement) - Définir le type de BDD permettant de stocker les données, selon le type de données, plus particulièrement données de type inventaire / référentiel technique - Spécifier la modélisation des données dans la base (quelle donnée, quelle table, les relations, …) - Définir les spécifications techniques et fonctionnelles Contexte technique - Base de données de type Sql/NoSql - Suite de type Data Lakehouse (Spark, MinIO, Stockage S3, Iceberg, Trino) - Infrastructure conteneurisée - Moyens de stockage tels que la suite Elastic, InfluxDB

Dans le cadre de la modernisation de sa plateforme data et de la montée en charge de ses projets IA, un grand compte recherche un Data Architect pour concevoir une architecture data performante, condition pour que les projets d'analyse, de BI et d'IA puissent passer à l'échelle. Le consultant interviendra notamment sur : ▪ La conception de l'architecture data cible : Data Warehouse, Lakehouse, modélisation normalisée (étoile, flocon, Data Vault) ▪ Le cadrage des migrations cloud des actifs data ▪ La définition des patterns d'alimentation des cas d'usage IA : feature stores, pipelines RAG, gouvernance des données d'entraînement ▪ La définition des standards de modélisation, de sécurité et de gouvernance des données ▪ L'accompagnement des équipes data engineering dans la mise en œuvre ▪ Les arbitrages techniques et la rédaction des dossiers d'architecture

ContexteLe consultant interviendra sur des sujets mêlant : Développement Web Digital Analytics Business Intelligence Exploitation de données de performance digitale Support applicatif Il travaillera sur la conception et le développement de solutions web tout en assurant l'exploitation et la valorisation des données via l'écosystème Microsoft Fabric. MissionsConcevoir et développer des solutions web. Participer à l'intégration et aux échanges de données entre applications. Exploiter les données digitales et web analytics. Développer des pipelines et traitements de données sous Microsoft Fabric. Construire et maintenir des tableaux de bord Power BI. Participer à la modélisation des données. Garantir la qualité, la fiabilité et la gouvernance des données. Rédiger la documentation technique et fonctionnelle. Compétences indispensablesDéveloppement Web (priorité forte)HTML CSS JavaScript Compréhension des architectures web Intégration applicative Gestion de flux de données Data & BIMicrosoft Fabric Lakehouse Data Factory Warehouses Analytics Power BI Modélisation de données Architecture décisionnelle DéveloppementPython Soft skillsForte capacité analytique Autonomie Rigueur Bon relationnel Capacité à vulgariser auprès des métiers Sens du service et gestion des priorités Ce que cherche réellement la cliente

Delivery data engineering en proximité métier Concevoir, développer et maintenir des pipelines de données batch, event-driven ou streaming selon les besoins des produits data. Traduire les exigences fonctionnelles et contraintes techniques en solutions data simples, robustes, scalables et maintenables. Contribuer aux cérémonies de delivery, au chiffrage, à la planification, à la gestion des dépendances et à la sécurisation des engagements des squads. Assurer une collaboration fluide avec les Delivery Managers pour rendre visibles les risques, dépendances, arbitrages et points de blocage. Industrialisation, qualité et fiabilité Mettre en œuvre les « quality gates » : tests unitaires et d'intégration, tests de données, contrôle de schéma, idempotence, stratégies de reprise et validation de la qualité. Appliquer les standards de développement Python, PySpark et SQL, ainsi que les bonnes pratiques Git, CI/CD, revue de code et documentation. Contribuer à l'observabilité des flux : logs, métriques, alerting, lineage, suivi des SLA/SLO et analyse des incidents de run. Participer au diagnostic et à la résolution des incidents ou problèmes de production en lien avec les équipes plateformes, CloudOps et SecOps. Architecture data, Lakehouse et performance Implémenter les patterns d'architecture validés : ingestion, modélisation Lakehouse, architecture médaillon, data products, APIs de données et intégrations réutilisables. Optimiser les traitements Spark/Databricks, les requêtes SQL, les stratégies de stockage et l'utilisation du compute afin d'améliorer performance et coûts. Documenter les choix techniques structurants et contribuer aux ADR lorsque les décisions impactent les standards ou la trajectoire cible. Veiller à la cohérence des solutions avec l'architecture One B2C, les standards Data Engineering & Platforms et les exigences entreprise. Sécurité, gouvernance et conformité Intégrer les exigences de sécurité by design : gestion des secrets, IAM, droits d'accès, chiffrement, durcissement, scans et séparation des environnements. Appliquer les règles de protection des données, d'anonymisation, de minimisation, de traçabilité et de conformité RGPD. Contribuer à la gouvernance opérationnelle des datasets, métadonnées, contrats de données, contrôles d'accès et règles de qualité. Travailler avec les équipes Cybersecurity, Infrastructure, Data Office et Architecture pour garantir l'alignement avec les standards ENGIE. AI-assisted engineering et amélioration continue Utiliser de manière responsable les outils d'ingénierie assistée par IA, tels que Copilot, agents, génération de code, SQL, tests, documentation et aide au debugging. Identifier et proposer des opportunités d'automatisation pour accélérer le delivery, réduire les erreurs et standardiser les pratiques d'ingénierie.

Bonjour ✋ 🎯 La mission Notre client, un grand groupe français, recherche un(e) Chef(fe) de Projet Data pour rejoindre son pôle Architecture & Data. L'objectif : piloter des projets liés aux échanges de données et aux flux, dans un contexte de transformation des méthodes et du socle technologique. Tu seras au cœur des sujets, avec un rôle à la fois fonctionnel, technique et projet. 🚀 Tes missions : Recueillir les besoins auprès des responsables applicatifs et les traduire en solutions concrètes Piloter plusieurs projets/sujets Data en parallèle Planifier les différentes étapes et suivre les délais, risques et livrables Coordonner les équipes internes, techniques et les éventuels centres de services Comprendre les architectures SI et identifier les impacts entre les différents projets Modéliser les flux et cinématiques d'échanges de données Rédiger ou mettre à jour les spécifications techniques Suivre les développements et réaliser la recette des livrables Assurer le reporting et l'avancement auprès des différentes parties prenantes 🛠️ Environnement technique Data / Intégration : SQL API REST Informatica IDMC : MDM, CAI, API Center, CDI, CDQ Informatica PowerCenter Microsoft : Microsoft Fabric Power BI Lakehouse / Data Warehouse Azure APIM Azure DevOps : Boards, Repos BI : IBM Cognos

Dans le cadre d'un renforcement d'une équipe Data pour un de nos clients, nous recherchons un Data Engineer Senior spécialisé Databricks pour intervenir sur des projets de transformation et d'industrialisation des plateformes Data. Vous participerez à la conception, au développement et à l'optimisation de pipelines de données robustes, performants et scalables, dans des environnements Lakehouse et Cloud. Vos principales responsabilités seront : Concevoir, développer et maintenir des pipelines de données sur Databricks. Développer des traitements distribués avec Apache Spark / PySpark. Assurer l'ingestion, la transformation et la mise à disposition des données. Concevoir et faire évoluer les différentes couches d'un Data Lake / Lakehouse. Mettre en œuvre les bonnes pratiques Medallion Architecture. Travailler avec Delta Lake / Delta Tables. Participer à la conception et à l'évolution de l'architecture Data. Optimiser les performances et la scalabilité des traitements. Industrialiser les développements et les déploiements. Mettre en place et maintenir les pipelines CI/CD. Utiliser Git pour la gestion, le versioning et la revue du code. Contribuer à l'automatisation et, lorsque nécessaire, aux pratiques Infrastructure as Code. Participer à l'amélioration continue de la plateforme Data et aux choix techniques.