Trouvez votre prochaine offre d’emploi ou de mission freelance Data Engineering

L'équipe est chargée de la gestion transversale et globale des outils dédiés aux filières éolienne, solaire et hydraulique, en étroite collaboration avec Engie Digital et les systèmes d'information (SI) des différentes zones géographiques ; elle recherche actuellement un ingénieur plateforme de données (Data Platform Engineer). La mission s'effectuera au sein de l'équipe « Digital Delivery » ; elle consistera à soutenir la gouvernance des données ainsi que la gestion de la plateforme Databricks, et à piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks. Les objectifs de la mission sont les suivants : - Administrer et sécuriser la plateforme Databricks (gestion technique et opérationnelle) - Déployer et faire respecter la gouvernance des données appliquée à Databricks ainsi que les bonnes pratiques associées (structure du catalogue, organisation par domaines, règles d'accès et d'utilisation) - Piloter la migration des données depuis l'ancien « data lake » d'entreprise vers Databricks - Accompagner et soutenir les ingénieurs de données (data engineers) et les utilisateurs métiers (data citizens) dans l'utilisation de la plateforme - Intégrer les impératifs de cybersécurité, de conformité et de maîtrise des coûts dès la conception (« by design ») - Contribuer à la communauté informatique (échanges sur les bonnes pratiques, retours d'expérience, etc.) Activités principales : - Administration de la plateforme Databricks : administrer, surveiller et maintenir les espaces de travail (workspaces) Databricks (gestion technique et opérationnelle : espaces de travail, ressources de calcul, accès, coûts, sécurité, gestion des incidents) - Gouvernance des données sur Databricks : mettre en œuvre et faire évoluer le cadre de gouvernance des données sur la plateforme Databricks (structure du catalogue, organisation par domaines, règles d'accès, normes de nommage et de qualité) et garantir la conformité avec les politiques du Groupe - Migration depuis l'ancien « data lake » : piloter la migration des données de l'ancien « data lake » d'entreprise vers Databricks : évaluer le périmètre existant, définir l'architecture cible et la feuille de route, planifier et coordonner les vagues de migration avec les équipes « data », et sécuriser le basculement - Accompagnement et support des utilisateurs : accueillir et soutenir les nouveaux utilisateurs — des ingénieurs de données aux utilisateurs métiers — dans l'adoption de Databricks et l'application des bonnes pratiques ; Fournir de la documentation, du coaching et de la formation - DataOps sur Databricks : Concevoir et mettre en œuvre les pipelines permettant de promouvoir les actifs de données et le code entre les environnements Databricks (développement, test, production) et les catalogues, en utilisant l'intégration et le déploiement continus (CI/CD) basés sur Git ainsi que les outils natifs de Databricks (ex. : Databricks Asset Bundles), tout en encourageant l'adoption des pratiques DataOps au sein des équipes. - Veille technologique : Tester et évaluer les nouvelles fonctionnalités de Databricks (y compris les capacités d'IA) ainsi que les outils complémentaires, et recommander leur adoption. - Reporting et communication : Rendre compte de l'avancement de la plateforme et de la migration, et partager les meilleures pratiques ainsi que les retours d'expérience avec la communauté informatique. Principaux défis : • Adoption de la gouvernance : Amener les entités et les utilisateurs à adopter les normes définies en matière de catalogues, de domaines et d'accès, tout en garantissant une plateforme simple d'utilisation pour les utilisateurs métiers (« data citizens »). • Complexité de la migration : Migrer les données et les consommateurs de l'ancien « data lake » vers Databricks sans perturber les activités en cours, tout en préservant la qualité et la traçabilité (lignage) des données. • Équilibre entre exploitation (Run) et développement (Build) : Assurer la stabilité, la sécurité et la maîtrise des coûts de la plateforme tout en menant à bien la migration et en prenant en charge de nouveaux cas d'usage. Livrables attendus : ? Documentation sur la gouvernance et le modèle opérationnel : Structure des catalogues et des domaines, modèle d'accès, conventions de nommage et normes d'utilisation alignés sur les standards internes relatifs aux données et à l'IA. ? Plan de migration (de l'ancien data lake vers Databricks) et rapports d'avancement : Périmètre, priorisation, calendrier, risques et points de situation réguliers auprès des comités de pilotage. ? Supports d'intégration et de bonnes pratiques : Guides, modèles, architectures de référence (blueprints) et sessions de formation destinés aux ingénieurs de données et aux utilisateurs métiers. ? Rapports d'exploitation de la plateforme : Indicateurs de suivi, de coûts, de sécurité et de conformité de la plateforme Databricks.

Contexte Intervention sur une plateforme Big Data stratégique dédiée à la consolidation et à l'exploitation de données liées aux activités B2B Énergie dans plusieurs pays européens. Compétences clés Plus de 7 ans d'expérience en Data Engineering. Excellente maîtrise de Python dans un contexte industriel. Solide expérience des architectures Big Data et des environnements distribués. Expérience significative sur AWS. Maîtrise des problématiques de performance, de résilience, d'observabilité et d'industrialisation. Anglais professionnel. Forte autonomie dans un environnement international. Le client sera particulièrement attentif à la profondeur technique du candidat ainsi qu'à sa capacité à contribuer à l'évolution de frameworks communs déployés dans plusieurs pays.

Objectif de la mission : Dans le cadre de l'accélération de sa stratégie autour de l'Intelligence Artificielle et de l'innovation, un acteur majeur des services financiers souhaite renforcer son dispositif avec un profil senior capable de définir, piloter et déployer une stratégie IA à l'échelle de l'organisation. La mission intervient à la convergence des enjeux technologiques, métiers, data et transformation. L'objectif est de faire passer les initiatives IA de l'expérimentation à une adoption industrialisée, gouvernée et créatrice de valeur pour les différentes activités. 1. Définition de la stratégie IA et Innovation · La mission aura pour responsabilité de définir et piloter la stratégie IA et innovation en cohérence avec les priorités de l'organisation. · Elle devra identifier les opportunités à fort potentiel et structurer leur mise en œuvre en collaboration avec les équipes métiers, IT et Data. 2. Industrialisation des initiatives IA · La mission devra accompagner le passage à l'échelle des solutions IA et structurer leur déploiement auprès des différentes lignes métiers. · Les cas d'usage pourront notamment concerner les activités d'investissement, les opérations, la conformité, la distribution et les services clients. · L'objectif sera de transformer les expérimentations pertinentes en solutions industrialisées produisant une valeur mesurable en matière d'efficacité, de productivité ou de revenus. 3. Gouvernance, conformité et gestion des risques · La mission devra garantir un cadre robuste pour le développement et l'utilisation des solutions IA. · Une attention particulière sera portée à la gouvernance, à la conformité et à la maîtrise des risques associés aux initiatives déployées. 4. Transformation et acculturation IA · La mission participera activement au développement d'une culture d'innovation et d'expérimentation autour de l'IA. · Elle accompagnera les différentes parties prenantes dans l'adoption des nouveaux usages et pilotera les dimensions de conduite du changement et d'acculturation associées. Prestations demandées : Les principales responsabilités seront les suivantes : · Définir et piloter la stratégie IA et Innovation. · Identifier et prioriser les initiatives IA à fort potentiel métier. · Accompagner l'expérimentation puis l'industrialisation des solutions retenues. · Déployer l'adoption de l'IA à l'échelle des différentes activités. · Piloter la création de valeur générée par les initiatives IA en matière d'efficacité, de productivité et de revenus. · Structurer la gouvernance, la conformité et la gestion des risques associés aux solutions IA. · Développer un écosystème favorisant l'innovation et l'expérimentation. · Piloter la conduite du changement et l'acculturation des équipes aux usages de l'IA. · Travailler en coordination étroite avec les équipes métiers, IT et Data. · Interagir avec des parties prenantes de niveau direction.

Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission dans le cadre de notre transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst. Votre mission sera de concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain métiers et les data owners. Missions clés : - Conception de flux de données et de Data Products Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer Documentation des pipelines d'ingestion de données Intégration des données dans l'écosystème Data Mesh Collaboration avec les domaines métiers pour identifier les sources de données et les cas d'usage. Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet). Documentation les data products (métadonnées, ownership, qualité) Contribution à l'amélioration continue des data produts dans de la plateforme Starburst Mise en place des alertes et des dashboards pour le suivi des data products.

Dans le cadre de l'évolution d'une Data Platform Cloud déjà en production, nous recherchons un Data Engineer AWS confirmé/senior. La mission s'inscrit dans un environnement Data à forte volumétrie et porte principalement sur l'évolution de la plateforme, l'industrialisation des pipelines de données et l'intégration de solutions AWS. Vos missionsParticiper à la définition et à l'évolution de l'architecture Data Platform / Lakehouse Concevoir, développer et industrialiser des pipelines de données Développer des traitements PySpark sur AWS Glue Intégrer les services Data AWS, notamment S3 Participer au développement d'API en Java / Spring Boot Contribuer à la mise en place d'un environnement Data Lab Mettre en œuvre et améliorer les processus CI/CD Analyser les besoins fonctionnels et les traduire en solutions techniques Garantir la maintenabilité et la sécurité des solutions Participer aux mises en production Assurer le support de production en cas d'incident majeur Contribuer aux bonnes pratiques de développement, de tests et d'industrialisation

Contexte Dans un contexte de plateformisation du SI et plus particulièrement du déploiement de l'originateur Santé Prévoyance, un Epic prévoit la mise en place d'une tarification unifiée, afin de regrouper au sein d'un même module les fonctionnalités de tarification aujourd'hui réparties entre différents dispositifs. La Direction Technique souhaite disposer d'un module de tarification unique, dédié exclusivement aux activités de tarification. Cet outil intervient principalement en phase d'avant-vente, notamment pour permettre la réalisation de simulations et l'élaboration des propositions tarifaires. Le module de tarification a vocation à centraliser et à faire évoluer les règles et mécanismes de tarification dans une logique cohérente, industrialisée et évolutive, tout en restant distinct des fonctions de gestion, de contractualisation et d'avenant age, qui sont portées par des solutions dédiées. Dans ce contexte, le besoin porte sur la mise en place d'un EPIC dédié au module de tarification, afin de définir et construire la cible fonctionnelle et technique de cette tarification unifiée. Un EPIC Owner confirmé est recherché pour piloter cet EPIC et définir et conduire la mise en œuvre du module de tarification, en cohérence avec les enjeux métier, fonctionnels et SI plateformisation. L'EPIC Owner aura notamment pour rôle de porter la vision et la trajectoire de l'EPIC, structurer le besoin, coordonner les différentes parties prenantes et piloter la réalisation de la solution jusqu'à sa mise en œuvre, en veillant à sa cohérence au regard de la cible. Missions principales • Porter la vision et la trajectoire du module de tarification, en cohérence avec la démarche de plateformisation ; • Accompagner et orienter la Direction Technique dans la définition de la cible fonctionnelle et SI ; • Cadrer le périmètre fonctionnel, notamment les fonctionnalités d'hypothèses, de simulations, de variation des paramètres et de mesure des impacts tarifaires ; • Challenger les besoins et identifier les limites, prérequis et conditions de faisabilité de la solution, afin de définir une cible réaliste et évolutive ; • Coordonner les parties prenantes métier, SI, architecture, data et Direction Technique, et assurer la cohérence des travaux ; • Piloter la trajectoire de l'EPIC, de la définition de la cible jusqu'à sa mise en œuvre, en assurant la priorisation, les arbitrages, les risques et les dépendances. Livrables attendus • Note d'opportunité / dossier de cadrage ; • Tenue d'une trajectoire à jour ; • Expressions de besoins avec exigences fonctionnelles et non fonctionnelles ; • Persona ; • Processus détaillés et règles métiers ; • Feature mapping ; • Supports de comités opérationnels et décisionnels, flashs météos et reporting ; • Dossiers d'arbitrages / choix ; • Cas de tests et PV de recette ; • Supports de conduite du changement ; • Mises à jour budgétaires dans l'outil interne SPM.

The Data Anonymisation & Test Data Management Architect is responsible for analyzing end-to-end data flows across the organization's application landscape and developing a widely supported strategy for: Data anonymisation Pseudonymisation Synthetic data generation Test data management Data selection and data minimisation Protection of personal data and other sensitive information Preservation of referential integrity and business usability Use of structured and unstructured data in non-production environments The role acts as a bridge between business and technology domains, bringing together stakeholders from: -Business departments -Data management and governance teams -Privacy and compliance functions -Information security teams -Enterprise architecture -IT operations -Application management teams -Testing and quality assurance teams -Internal business partners -External service providers and vendors

L'équipe travaille sur des données issues de scans d'infrastructure réalisés avec BMC Discovery. Ces données permettent de recenser et de cartographier les composants techniques du système d'information, notamment les serveurs, les machines virtuelles, les applications, les équipements réseau et le stockage. L'objectif est de transformer ces données brutes en produits data fiables et exploitables par différentes équipes IT, notamment les équipes de production, d'infrastructure, de sécurité et de conformité. MissionsDans le cadre de cette mission, vous interviendrez sur : La conception et le développement de produits data à partir de données d'infrastructure. La création de vues SQL, de modèles de données et de pipelines sur Starburst, basé sur Trino. La transformation de données techniques en jeux de données exploitables par les équipes IT. La mise à disposition de vues et de datasets pour des usages d'inventaire, de cartographie applicative, de suivi de parc et de conformité. L'optimisation des requêtes et des performances sur Starburst. La documentation des modèles, des règles de gestion et des produits data. Les échanges avec les équipes métiers IT afin de comprendre leurs besoins et de les traduire en solutions data. La montée en compétence sur BMC Discovery, dont la logique de collecte et de modélisation sera présentée en interne.

Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.

L'équipe utilise au quotidien plusieurs applications d'aide à la décision et des référentiels de données (marché et fondamentales) afin de mener à bien sa mission de conseil et de support au Trading. La Mission à réaliser se déclinera notamment à travers ces activités : • Développement et évolution de la plateforme data. • Collecte, ingestion, traitement, transformation et restitution des données • Optimisation des coûts et des performances. • Conception et développement d'outils d'aide à la décision • Maintenance évolutive et support technique / accompagnement des utilisateurs

Pour l'un de nos clients du secteur bancaire, nous recherchons un(e) Quant Marché pour intervenir sur le développement d'un pricer de produits structurés destiné à la contrevalorisation côté Market Risk. Le consultant sera impliqué sur l'ensemble de la chaîne de développement : identification et sélection des modèles adaptés aux différents produits, inventaire et analyse des données nécessaires, qualification des données existantes en interne, structuration et constitution des bases de données, ainsi que leur calibration. Il/elle prendra également en charge le développement des modèles de pricing et la réalisation des tests nécessaires à leur validation.

La mission consiste à : - Interface entre les métiers et les équipes data - Accompagner le métier dans la structuration de son besoin décisionnel - Rédiger les besoins en user stories et maintenir la backlog en lien avec l'équipe produit - Coordination du delivery jusqu'à la mise en production (build et run) - Faciliter les développements avec l'équipe data - Réaliser des analyses et études métier Compétences demandées : - Expériences significatives comme Product Owner et dans des contextes DATA - Compétences en data engineering - Expertise Agile - Animation d'équipe - Gestion de la Backlog et Delivery - Anglais un +

En quelques motsCherry Pick est à la recherche d'un Proxy Product Owner Data (H/F) pour l'un de ses clients qui opère dans le secteur bancaire. Description🎯 Contexte de missionAu sein d'une DSI de grande envergure, le domaine en charge de l'automatisation, de l'observabilité et de la Data de production poursuit sa transformation avec la création d'une nouvelle équipe dédiée aux enjeux Data. Cette organisation vise notamment à améliorer l'industrialisation des activités de production informatique, la qualité de service et l'efficacité opérationnelle, tout en renforçant la gouvernance et la valorisation des données. Dans ce contexte, nous recherchons un Consultant PPM Data capable d'accompagner le management Data dans le pilotage opérationnel, la gouvernance du portefeuille et la transformation de l'organisation. Le profil recherché devra être capable d'évoluer dans un environnement IT complexe, de structurer des problématiques stratégiques et de transformer les analyses en recommandations concrètes pour le management. 🛠️ Missions principales et rôlePilotage opérationnel & gouvernanceAccompagner le management Data dans le pilotage quotidien de la ligne produit. Consolider l'activité et assurer le suivi des différentes équipes. Suivre les roadmaps, plans de livraison et jalons. Consolider l'avancement des initiatives structurantes : releases, projets transverses et chantiers techniques. Préparer les supports de pilotage destinés aux différentes instances de management. Préparer, structurer et animer les instances de gouvernance : comités de suivi, comités de pilotage, revues de management, etc. Garantir la fiabilité et la cohérence des informations communiquées. Mettre en place et suivre des KPIs et indicateurs de performance. Pilotage stratégique & transformationContribuer à la définition et à l'actualisation de la stratégie Data. Décliner la stratégie en feuilles de route opérationnelles. Sécuriser la priorisation des sujets en prenant en compte les besoins, périmètres, jalons et dépendances. Garantir l'alignement des travaux opérationnels avec les enjeux stratégiques. Accompagner la transformation et la réorganisation des équipes autour des enjeux Data. Identifier les axes d'amélioration et de transformation du modèle de fonctionnement. Contribuer aux programmes stratégiques de transformation de l'organisation. Construire et maintenir les tableaux de bord de pilotage. Analyser les indicateurs et formuler des recommandations à destination du management. 🎯 ObjectifsStructurer et fiabiliser le pilotage du portefeuille Data. Donner au management une vision consolidée de l'activité, des roadmaps et des engagements. Sécuriser la priorisation et le suivi des initiatives stratégiques. Accompagner la transformation de l'organisation Data. Améliorer la visibilité sur la performance et la qualité de service. Faciliter la prise de décision grâce à des indicateurs fiables et pertinents. Assurer l'alignement entre les enjeux stratégiques et leur déclinaison opérationnelle.

Contexte de la mission Au sein de la DSI France, le département SI METIER & DATA souhaite renforcer sa capacitée à réaliser des projets Data. Au sein de l'équipe Data et de l'équipe projet, le Data Engineer réalise les intégrations de données, les traitements et les reportings dans PALANTIR Foundry. Il propose et recherche les meilleurs solutions techniques en collaboration avec l'équipe projet et participe au suivi quotidien des flux de données. Le projet concerne en particulier le traitement de données de consommations IT. Objectifs et livrables Comprendre les besoins métier et faire les investigations nécessaires pour une réalisation optimale Concevoir et réaliser les développements et configurations dans Palantir Documenter les réalisation, présenter le résultat et participer aux recettes Intégrer l'équipe BI, travailler en collaboration avec tous les membres et participer à la communité technique. Participer au suivi quotidien des applications Pour cette mission, l'expertise et les compétences attendues sont : · Manipulation et traitement des données : Python · Création de dashboard et fonction d'affichage (JavaScript/TypeScript) · Cloud, Base de données, stockage, automatisation · Framework SPARK · Manipulation d'APIs, etc... · Outil de versionning (GIT) · Comprendre la structure des bases de données mises en place (architecture en étoile, relation 1-N ou N-N..) · Methode Agile / Jira · Connaissance de PALANTIR serait un plus · Anglais : niveau professionnel · Outils bureautique : intermédiaire ou expert (faire un CR, une présentation,…) Compétences demandéesCompétencesNiveau de compétence JIRA / Agile Confirmé Data Engineering Expert AI-assisted development Confirmé Python/pyspark Expert LanguesNiveau de langue Anglais Courant

Contexte de la mission Au sein de la DSI France, le département SI METIER & DATA souhaite renforcer sa capacitée à réaliser des projets Data. Au sein de l'équipe Data et de l'équipe projet, le Data Engineer réalise les intégrations de données, les traitements et les reportings dans PALANTIR Foundry. Il propose et recherche les meilleurs solutions techniques en collaboration avec l'équipe projet et participe au suivi quotidien des flux de données. Le projet concerne en particulier le traitement de données de consommations IT.

Mon client recherche un Data Architect qui évolura au sein de l'équipe "Data IT". Il intervient comme référent architecture et modélisation pour l'ensemble des projets Data et BI. Le Data Architect contribue à la structuration du patrimoine Data de l'entreprise, à la mise en place du dictionnaire de données et à l'amélioration continue de la gouvernance Data. Missions principales Le Data Architect est en charge de la conception, de l'évolution et de la cohérence des architectures de données de l'entreprise. Il accompagne les projets Data et BI en garantissant la qualité, la performance et la pérennité des solutions mises en œuvre. Télétravail 2 jours et 3 Jours sur site Mission basé à Paris