Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake à Paris

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

Un grand groupe a lancé une stratégie Data (Microsoft Fabric, Power BI, Data Lake). Le domaine RH reste en retard : données silotées, dépendance à une ressource unique, enjeux importants liés à la masse salariale. Missions Recueillir et formaliser les besoins métiers RH (indicateurs : effectifs, absentéisme, turnover, masse salariale…). Rédiger les spécifications fonctionnelles (Pléiades, Horoquartz) et structurer un dictionnaire de données RH. Collaborer avec les équipes Data/BI pour assurer qualité et cohérence des flux (Microsoft Fabric, Power BI). Contribuer à la gouvernance et à la mise à disposition des données RH.

Bonjour, Pour le compte de l'un de mes clients près de bordeaux, je suis à la recherche d'un Data Manager (DP Data & IA). Contexte & Objectifs : Dans le cadre de la transformation digitale client, le Data Manager aura pour mission de piloter les projets Data stratégiques, d’assurer leur gouvernance, et de structurer les initiatives IA émergentes. Il sera le point d’entrée des métiers pour les projets Data, et garant de leur bon déroulement. Missions principales : Gouvernance & Pilotage Cadrer les projets Data avec les métiers & l’IT Définir les business cases et les modèles de gouvernance Prioriser et planifier les demandes Data Constituer les équipes projet avec le Directeur Data Piloter les équipes projet Data et les activités de support Assurer le suivi budgétaire et le respect des objectifs Expertise Data & IA : Superviser la mise en œuvre de solutions BI, Data Lake, Datawarehouse Participer à l’industrialisation de modèles IA (IA Gen, Machine Learning, Data Science) Garantir la qualité des données et la conformité des traitements Contribuer à l’acculturation des équipes métiers à la Data et à l’IA Communication & Coordination : Préparer les comités de pilotage Assurer la coordination entre les équipes techniques, métiers et partenaires Rendre compte de l’avancement, des risques et des blocages

Compétences techniques et expérience Expérience avérée dans des projets d’architecture de données à grande échelle (national ou multi-sources), de préférence impliquant des données sensibles ou critiques (sécurité, souveraineté des données). Maîtrise approfondie des concepts de conteneurisation et d’orchestration , incluant : Conteneurisation des données et des charges de travail (Docker, Kubernetes ou équivalents). Gestion du cycle de vie des données en environnement conteneurisé (stockage, migration, sauvegarde, reprise après sinistre). Connaissance solide des architectures de données (data lakes, entrepôts de données nouvelle génération), avec une compréhension des enjeux de gouvernance, métadonnées, catalogage et traçabilité . Compétences en modélisation des coûts et estimation financière IT , incluant : Capex/Opex, coût total de possession (TCO), scénarios de migration et de montée en charge. Modèles de coûts pour les infrastructures cloud et/ou hybrides sur site. Connaissance des exigences de sécurité et de conformité , notamment : Protection des données, chiffrement, gestion des identités et des accès (IAM), segmentation, auditabilité et traçabilité. Maîtrise des cadres réglementaires pertinents (RGPD, normes nationales de sécurité des données, ISO/IEC 27001, etc.). Expérience en gouvernance des données et gestion de données sensibles : Politiques de conservation, classification des données, gestion des métadonnées et cadres de gouvernance. Expertise en migration et transformation de données , couvrant : Planification, nettoyage, transformation, validation et post-validation des migrations. Capacité à développer et justifier des modèles financiers et des BOQ (Bill of Quantities) pour des projets IT/data. Expérience avérée en dimensionnement et chiffrage de solutions à mettre en œuvre. Qualifications professionnelles et certifications Diplôme en Informatique, Ingénierie, Data Science, Géomatique ou dans un domaine connexe (un Master constitue un atout). Certifications pertinentes (liste non exhaustive) : Conteneurisation / Orchestration : Certified Kubernetes Administrator (CKA) ou équivalent. Cloud : AWS Certified Solutions Architect, Azure Solutions Architect, Google Professional Cloud Architect (selon l’environnement cible). Sécurité : CISSP, CISM ou certifications équivalentes. Une certification en gestion de projet (PRINCE2, PMP ou équivalent) est un plus.

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer" pour un client dans le secteur de l'Energie Description 🎯 Contexte & Objectifs Intégré(e) à la squad Data Platform, vous interviendrez sur les activités de build, run et automatisation d’une plateforme de données Cloud (AWS / Azure). Votre rôle sera clé pour : Participer à la réalisation du workplan et aux user stories du backlog. Contribuer aux activités de support N2/N3 (RUN) et de Build. Livrer et suivre les artefacts de mise en production. Proposer et mettre en œuvre des optimisations FinOps, sécurité et observabilité. Développer des microservices et automatiser les pipelines & déploiements. 🛠️ Missions principales Participer au développement et maintien de la Data Platform Cloud. Créer et maintenir des processus de déploiement automatisés avec Terraform. Développer des microservices en Python et maîtriser l’intégration (CI/CD). Assurer le monitoring et l’exploitation via Grafana, App Insights. Contribuer aux flux ETL/ELT et à l’alimentation du Data Lake (AWS S3, ADLS Gen2). Gérer les activités RUN/SRE : supervision, support, automatisation. Définir et appliquer les bonnes pratiques de sécurité, qualité, résilience et FinOps. Collaborer en mode Agile/Scrum avec les parties prenantes (Data Officers, Data Architects, Engineers). Maintenir la documentation et promouvoir une approche User-Centric (recueil feedbacks, amélioration UX).