Trouvez votre prochaine offre d’emploi ou de mission freelance Make à Paris

Contexte Le Cluster lance l'étude d'un potentiel nouveau Data Lake afin de remplacer l’infrastructure legacy par une plateforme moderne, scalable et pleinement gouvernée. Le nouveau lake s’appuiera sur une architecture Medallion et intégrera les technologies suivantes : TrinoDB, Apache Iceberg, Parquet, dbt, Argo Workflows, Apache Superset, Metabase et OpenMetadata . Missions Analyse de l’existant & migration Cartographier les sources, pipelines et jeux de données actuels (legacy, SQL, fichiers plats...). Définition de la stratégie de migration vers le nouveau lake (bronze -> silver -> gold). Conception des plans de bascule tout en minimisant les interruptions de service. Architecture & ingestion Conception des couches Bronze / Silver / Gold du nouveau Data Lake avec TrinoDB, Apache Iceberg et Parquet. Création de pipelines d’ingestion (batch & near-real-time) depuis les systèmes de crédit. Modélisation & transformation Développement des modèles de transformation dans dbt : scripts SQL, tests automatisés, documentation et versionning. Harmonisation des schémas (normes de nommage, typage, PK/UK) avec les exigences du domaine crédit. Orchestration Implémentation des workflows de migration et de rafraîchissement des données avec Argo Workflows (planification, gestion des dépendances, monitoring). Self-service & visualisation Déploiement des espaces de travail Apache Superset et Metabase pour que les analystes métier puissent créer leurs propres dashboards à partir du nouveau lake. Rédaction des guides d’utilisation et accompagnement de la montée en compétence des équipes. Gouvernance, catalogue & lineage Intégration OpenMetadata pour le catalogage automatique, le suivi du lineage et la gestion des métadonnées (description, propriétaire, sensibilité). Mise en place des processus de data ownership, de versionning et de validation. Qualité & validation Implémentation, dans les modèles dbt, des tests de qualité (not-null, unicité, règles métiers spécifiques au crédit). Mise en place des indicateurs de suivi (freshness, complétude, anomalies) et des alertes automatiques. Sécurité & conformité Application des standards de sécurité du groupe (RBAC, data-masking). Contribution aux audits internes et aux revues de conformité réglementaire. Collaboration inter-équipes Travail en étroite coordination avec les équipes métiers. Participation aux cérémonies projets et aux ateliers de design.

Objectifs et livrables Dans le cadre du lancement de notre nouveau projet, nous recherchons une prestation de Data Engineer senior pour concevoir et mettre en œuvre des pipelines de données dans un environnement serverless exigeant. Le prestataire Data Engineer senior doit être capable de produire, mais aussi de comprendre les enjeux métier, de cadrer les sujets en amont, de faire les bons choix de conception et de diffuser son savoir-faire au sein de la squad. Missions principales : Concevoir et développer des pipelines de données en Python Implémenter des traitements batch et des orchestrations via Azure Durable Functions Manipuler des données volumineuses, notamment au format Parquet Mettre en place des validations de schémas et des contrôles de qualité de données Assurer l’intégration avec des APIs externes Participer à la modélisation et à l’optimisation des bases Azure SQL Mettre en œuvre l’observabilité de la solution : traces, métriques, logs Industrialiser les déploiements via CI/CD • Garantir la qualité et la sécurité du code Contribuer à l’analyse des besoins et au cadrage des sujets avant implémentation Porter une réflexion de conception sur les choix techniques, les compromis et la maintenabilité Utiliser l’IA comme un levier d’ingénierie concret : accélérer l’exécution, explorer des options, challenger des choix, améliorer la qualité et gagner en efficacité, sans déléguer la réflexion ni baisser le niveau d’exigence Partager ses pratiques, expliciter ses choix et contribuer à la montée en compétence de la squad Travailler efficacement dans un environnement international, y compris en anglais sur des sujets techniques et de conception Profil recherché : Capable de comprendre rapidement les enjeux métier et de les traduire en solutions robustes et pragmatiques Capable de penser le problème avant de se focaliser sur l’implémentation Doté d’une vraie expertise d’ingénierie et de conception, au-delà de la seule maîtrise d’un langage, d’un framework ou d’une version spécifique Capable d’utiliser les outils d’IA de manière avancée, critique et pertinente, et non comme un simple générateur de code Proactif, précis et honnête sur ses capacités, ses limites et les risques associés à ses choix Capable de produire de la synthèse utile à la décision Attiré par l’immersion dans les sujets, le partage, la transmission et le travail transverse Compétences requises : Langage : Python Cloud : Expérience des Azure Functions, notamment Durable Functions v2 Capacité à récupérer et exploiter des données depuis différentes sources Azure : Data Lake, Blob Storage, Azure DB Data processing: Pandas Polars PyArrow Langues : Bon niveau d’anglais, permettant de participer de manière autonome à des échanges techniques et de conception, à l’écrit comme à l’oral La valeur attendue réside aussi dans la capacité à comprendre les enjeux, concevoir les bonnes solutions, utiliser l’IA avec discernement, expliciter les choix et faire progresser l’équipe. Compétences demandées PYTHON - Expert POLARS - Confirmé PYARROW - Confirmé PANDAS - Confirmé Fonctions Azure - Expert Niveau de langue Anglais - Courant

Contexte de la mission Dans le cadre du développement de son équipe Data Accelerator (DAC), notre client recherche un Data Engineer confirmé orienté Data Quality et Data Governance. DAC est une équipe transverse en charge d’accompagner les équipes métiers et IT sur l’ensemble de la chaîne de valeur de la donnée : collecte, ingestion, transformation, industrialisation, gouvernance et optimisation des performances. L’environnement s’appuie principalement sur les technologies AWS, Databricks, Dataiku et Collibra, avec un fort enjeu autour de la qualité, de la fiabilisation et de la structuration des données au sein du Data Lake. Le consultant interviendra dans un contexte stratégique avec une forte collaboration avec les équipes Data Analysts, Data Scientists ainsi qu’avec le Chief Data Officer. Missions principalesQualification et gestion des données Captation des données structurées et non structurées provenant de multiples sources Intégration et supervision des flux de données Structuration de la donnée (normalisation, sémantique, référentiel) Cartographie des données disponibles Nettoyage des données (suppression des doublons, contrôle qualité) Validation et qualification des données avant intégration dans le Data Lake Participation à la création et à l’amélioration des référentiels de données Industrialisation et performance Développement et optimisation des traitements data Amélioration des performances et maîtrise des coûts des plateformes data Participation aux développements correctifs, évolutifs et adaptatifs Contribution aux dossiers d’architecture Production des tableaux de bord de suivi Gouvernance & collaboration Participation à la définition de la politique data Respect des standards de sécurité, gouvernance et conformité Collaboration avec les équipes métiers, IT et gouvernance data Contribution à l’industrialisation des cas d’usage Data & GenAI

Nous recherchons un Développeur Talend confirmé / Data Engineer pour renforcer une équipe existante, en appui direct au Tech Lead, afin d’augmenter la capacité de delivery sur les projets data. 🧠 Compétences requises 🔴 Compétences impératives Talend (ETL) : niveau confirmé (3 à 6 ans) Développement de pipelines d’intégration de données Maintenance et évolution de flux existants (MCO) 🟠 Compétences importantes Data engineering (modélisation, qualité de données) Intégration de données multi-sources Compréhension des architectures data (Data Lake, ETL) 🟡 Compétences appréciées Gouvernance data / bonnes pratiques Sécurité des données Outils de versioning et CI/CD Documentation technique 🎓 Formation & expérience Bac +2 à Bac +5 (informatique / data) Expérience : 3 à 6 ans minimum Expérience significative sur Talend obligatoire 📋 Fiche de poste – Missions 🎯 Objectif principal Renforcer l’équipe data pour : Développer de nouveaux pipelines d’intégration Assurer la maintenance des flux existants Garantir la qualité, la sécurité et la performance des données 🔧 Missions principales 🏗️ Développement & intégration Concevoir et développer des flux Talend Réaliser : Modélisation Paramétrage Développement Tests Implémenter de nouveaux pipelines data 🔄 Maintenance & exploitation (MCO) Assurer le maintien en condition opérationnelle des pipelines Corriger les anomalies et optimiser les performances Superviser les traitements de données 🧩 Data engineering Structurer et organiser les données (formats, modèles) Garantir la qualité des données (nettoyage, validation) Participer à l’alimentation du Data Lake 🛠️ Gouvernance & bonnes pratiques Appliquer les normes et standards de développement Contribuer à : L’architecture data Les bonnes pratiques de développement La gestion de configuration Documenter les développements 🤝 Support & collaboration Accompagner les équipes projet (SI, data, métiers) Travailler en collaboration avec le Tech Lead Participer à la montée en compétence de l’équipe 🔐 Sécurité & conformité Garantir la sécurité des flux de données Respecter les règles de gouvernance data 📦 Livrables attendus Développements Talend (jobs, pipelines) Documentation technique Dossiers d’architecture data Cartographie des flux et données Indicateurs de qualité des données

Contexte de la mission Cette équipe est responsable de la conception, du déploiement et de la maintenance d'une plateforme data cloud utilisée à l’échelle du groupe. Cette plateforme doit répondre à des enjeux majeurs tels que : la scalabilité la gouvernance la sécurité la performance Actuellement, l’environnement est principalement orienté vers Azure, avec une interopérabilité multi-cloud envisageable. Objectifs et livrables Infrastructure & Cloud (Azure) Développement et maintenance d’infrastructures en utilisant Terraform, Bicep et ARM Déploiement et gestion des ressources Azure : Azure Data Lake Storage (ADLS Gen2) Azure Storage (Blob) Azure Virtual Network, NSG, Private Endpoints Gestion des environnements cloud (DEV, TEST, PROD) Data Platform Administration et exploitation d’un Data Lake Azure Gestion des accès, de la gouvernance et de la sécurité des données : Azure AD / RBAC Politiques / Purview pour la gouvernance data Optimisation des performances et des coûts CI/CD & Automatisation Conception et maintenance de pipelines CI/CD avec Azure DevOps et GitHub Actions Automatisation des déploiements (infrastructure, données et services) Développement & APIs Création de microservices en Python Développement de REST APIs et architectures événementielles Intégration avec les services Azure tels que Functions et Event Hub Containers & Orchestration Déploiement de services containerisés via : Azure Kubernetes Service (AKS) Azure Container Apps / Azure Container Instances Monitoring & Fiabilité Mise en place de solutions de supervision telles que Azure Monitor, Log Analytics et Application Insights Suivi de la performance et de la disponibilité des services Collaboration Rédaction de documentation technique Interaction avec les équipes data, développement et métier Participation aux cérémonies Agile

Contexte Dans le cadre de la modernisation de sa plateforme data, un grand acteur du secteur de l’énergie renforce ses équipes data pour accompagner le déploiement de solutions basées sur Microsoft Fabric . L’objectif est de structurer une architecture data moderne, scalable et orientée métier, afin de répondre aux enjeux de valorisation des données (trading, consommation, production, performance énergétique). Missions Concevoir et développer des pipelines de données sur Microsoft Fabric Participer à la mise en place d’une architecture data (Lakehouse, Medallion Architecture) Intégrer et transformer des données issues de multiples sources (IoT, marché, SI internes) Optimiser les performances et la qualité des données (data quality, monitoring) Collaborer avec les équipes métiers (trading, risk, opérations) pour répondre aux besoins analytiques Contribuer à l’industrialisation des traitements (CI/CD, bonnes pratiques) Stack technique Microsoft Fabric (OneLake, Data Factory, Synapse, Power BI) Azure (Data Platform) Python / PySpark / SQL Data Lake / Lakehouse Git / CI-CD