Trouvez votre prochaine offre d’emploi ou de mission freelance Big Data

Dans le cadre du renforcement d'une équipe Data, nous recherchons un Data Engineer Microsoft Fabric confirmé afin de participer à la conception, au développement et à l'industrialisation des traitements de données sur la plateforme Microsoft Fabric. Vous interviendrez sur l'ensemble de la chaîne de traitement des données, de l'ingestion à la mise à disposition, en garantissant la qualité, la performance et la fiabilité des pipelines. Vos missionsConcevoir, développer et maintenir des pipelines de données sous Microsoft Fabric. Développer les traitements de transformation de données en Python, PySpark et SQL. Concevoir et exploiter des architectures Lakehouse, Delta Lake et Data Warehouse. Paramétrer et configurer les différents composants de l'écosystème Microsoft Fabric. Garantir la qualité, la performance et la fiabilité des traitements de données. Automatiser les déploiements et contribuer à l'industrialisation des développements (CI/CD). Participer aux phases de tests, de recette et de mise en production. Assurer la maintenance évolutive et corrective des solutions Data. Collaborer avec les équipes Data, BI, Architecture et Métiers afin de répondre aux besoins fonctionnels et techniques. Participer à l'amélioration continue des bonnes pratiques de développement et de gouvernance des données.

Notre client s'appuie sur une équipe Data centrale pour exploiter une grande diversité de sources de données et générer des indicateurs à forte valeur ajoutée au service de ses activités. Dans le cadre du renforcement de son équipe Data Platform, nous recherchons un(e) Senior Cloud Data Platform Engineer qui contribuera à l'optimisation et à l'évolution de la plateforme data cloud, garantissant une intégration fluide des données à l'échelle de l'organisation. Vos missionsConcevoir et développer des templates d'Infrastructure as Code (IaC) avancés et réutilisables pour provisionner et gérer les ressources cloud, selon les meilleures pratiques et des standards d'architecture robustes. Architecturer des blueprints applicatifs complets permettant des workflows de data engineering scalables et fiables. Maintenir les projets AWS existants et accompagner les Data Engineers de l'organisation dans l'utilisation de la plateforme, en lien avec l'équipe Data Support.

Profil: Ingénieurie Data expérimenté pour concepion, construction et maintenance d' une infrastructure de données robuste et performance dans un environnement entièrement on-premise. Étroite collaboration avec les équipes Data pour garantir des pipelines fiables et de haute qualité sur notre infrastructure autogérée. - Expertise Python en contexte professionnel et en production - Maîtrise des paradigmes avancés : décorateurs, générateurs, context managers, métaclasses, typage statique avec mypy - Conception de packages Python structurés et réutilisables, gestion de dépendances - Écriture de tests robustes : pytest, mocking, fixtures, tests paramétrés, couverture de code - Développement de clients Kafka en Python (confluent-kafka, kafka-python) : producteurs, consommateurs, gestion des offsets et des erreurs - Expérience avec les clients Elasticsearch en Python (elasticsearch-py) pour l'indexation et la recherche - Développement d'opérateurs et de hooks Airflow custom en Python - Manipulation de données avec pandas et PyArrow pour les formats colonnaires (Parquet, ORC) - Maîtrise des outils de qualité de code : black, ruff, pylint, pre-commit - Bonne connaissance de la programmation asynchrone (asyncio, aiohttp) pour les pipelines I/O-bound - Maitrise kubernetes et CI/CD (gitops, etc )

Data Engineer with C# Dot Net asp.net with SQL Server SSIS SSRS Our Client is a bank based in Central London who are looking to recruit at least 7 years plus experience as a Data Engineer with the ability to work with C# Dot net and SQL Server with SSIS. You must have solid expertise of at least 7 years experience of working with and developing software with C# Dot Net and MS SQL Server and SSIS, SSRS and SSAS – SSIS is very important for this position. Must be an excellent problem solver and adept writing documentation for all projects. You ideally have worked on banking systems particularly Core Banking. Responsible for the development and delivery of new systems to automate and streamline processes required by different departments. To support the internal IT department with changes and upgrades to software platforms. To be primary contact for all technical questions relating to in-house bespoke systems and interfacing. Analysis of issues pertaining to problems or errors raised by in-house systems, i.e. CORE, SharePoint interface, Equation, Kondor, Eximbills, end of day cycle. Support Supporting budgeting and financial planning processes for Finance department, including loading and refreshing of data based on requirements. Understand and conduct the front-end functionality to amend and change hierarchical structures within the environment. Build data flows within the SQL environment in SSIS and SSAS packages. Integrate the SharePoint environment and Forms with Equation system to introduce automation of processes thereby eliminating the need for duplicate entry. Utilise web services to integrate from cutting edge technology into legacy systems such as Equation. Integrate with all the systems using data abstraction and connectivity layers, i.e. ODBC, ADO.net. Duties Maintain knowledge of all applicable regulatory requirements including the Bank's Risk and Compliance policies and procedures and adhere to these to avoid exposing the Bank to undue risk. Report policy/procedure breaches and areas of potential non-compliance and suspicions promptly upon identification in accordance with the Bank's Risk and Compliance policies. Accurately execute all controls within own area to minimise risk of policy, procedure, and/or regulatory breaches. Identify new risks/control gaps within own area and escalate accordingly to your Line Manager. Must Have Skills Software analysis and design. SQL Server query language with SSIS. Data warehouse design concepts, (Inmon or Kimball) Experience of developing software with C# Dot Net and asp.net and SQL Server is a must. Must have solid experience of working with SSIS and building data warehouses. The Client is a Bank based in the Central London. Must have a degree qualification. This is a 12 month FTC position with a salary of circa £55K - £70K. This is a hybrid position - you will be required to be in the office at least 3 days week. Do send your CV to us in Word format along with your salary and availability.

Lieu : Brest (29) Salaire : 50 à 55 000 euros annuel brut Rythme : 2 jours de télétravail à l'issue d'une période d'intégration Nous recherchons pour notre client, acteur industriel spécialisé, un Data Engineer BI dans le cadre d'un projet de renfort de l'équipe décisionnelle. VOS MISSIONS : Au sein d'une équipe composée de 4 personnes et rattaché au Responsable Décisionnel, vos missions consistent à : 1. Acquisition & intégration des données En appui des Référents SI Métier, recueillir les besoins métiers et formaliser des cas d'usage décisionnels Assurer l'extraction des données depuis différentes sources (ERP, fichiers, APIs…) Concevoir et développer les nouveaux flux d'alimentation (ETL/ELT), dans le respect des bonnes pratiques de développement TALEND Mettre en place des contrôles de qualité, de cohérence et de traçabilité des données 2. Transformation & modélisation Concevoir et maintenir les traitements de transformation de données Concevoir et documenter les modèles de données (datamarts, DWH, modèles analytiques) robustes, performants et orientés usages métiers Elaborer et déployer des univers BO et modèles sémantiques POWER BI Optimiser les performances des traitements et des modèles 3. Conception de solutions BI et analytiques Développer des rapports, états et tableaux de bord décisionnels (Business Object Construire et mettre en production des rapports de Dataviz (PowerBI) Produire/maintenir une documentation claire et exploitable (rétro-documentation, référentiels) et documenter le data-lineage Contribuer à la conduite du changement et à l'appropriation des outils par les métiers 4. Migration & modernisation des flux Analyser les flux historiques, identifier les écarts et proposer des ameliorations Participer activement à la migration des flux existants de BODS vers TALEND et à la mise en qualité du patrimoine existant (rationalisation, gestion des erreurs…) Garantir la continuité de service et la fiabilité des données durant la migration 5. Structuration & bonnes pratiques Contribuer à la définition, la mise en place et la documentation des bonnes pratiques de développement SI Décisionnel En appui de la responsable SI Décisionnel, être garant des choix de modélisation, des principes ETL/ELT et de l'application des bonnes pratiques BI Contribuer à la mise en place de la gouvernance de la donnée (qualité, référentiels, rôles) 6. Maintenance & amélioration continue Assurer le maintien en conditions opérationnelles des flux existants sur BODS et TALEND Faire évoluer et maintenir les rapports SI Décisionnels existants Gérer les incidents et assurer le support aux utilisateurs en traçant vos actions dans notre outil de ticketing JIRA Participer à l'amélioration continue de l'architecture data et des processus Environnement Technique : Talend, SAP BO, Power SI, SQL, BODS

Dans le cadre d'un projet de transformation autour de la relation client, nous recherchons un(e) Data Analyst ayant une expérience sur Genesys Cloud. Vous serez en charge de l'analyse des données, de la définition des indicateurs de performance et de la production de reportings afin d'accompagner les équipes métiers dans leurs prises de décision. Vos missions: Collecter, analyser et interpréter les données issues de Genesys Cloud et des différents systèmes d'information. Concevoir et maintenir des tableaux de bord et des rapports de pilotage. Définir les KPI métiers et assurer leur suivi. Rédiger les spécifications fonctionnelles liées aux besoins Data. Participer à la modélisation et à la qualité des données. Collaborer avec les équipes métiers et techniques pour traduire les besoins en solutions analytiques. Réaliser les analyses nécessaires à l'amélioration des performances opérationnelles. Participer aux phases de tests et de validation des évolutions. Compétences recherchées: Genesys Cloud SQL Power BI / Tableau Data Analysis Reporting & KPI Starburst Dataiku, dbt

Nous recherchons un Data Steward afin d'accompagner un programme de transformation digitale de la Direction Commerciale. Vous serez en charge de structurer la gouvernance des données CRM, d'améliorer leur qualité et d'assurer leur suivi sur les référentiels Clients et Produits. Vous interviendrez en collaboration avec les équipes métiers, les équipes CRM et les responsables des systèmes d'information afin de garantir la fiabilité et la valorisation des données. Missions principales Définir et formaliser les règles de gouvernance des données sur le périmètre CRM Cartographier l'utilisation des données Clients et Produits au sein du système d'information Structurer les référentiels de données dans Colibra (Data Domains, Data Concepts) Définir les règles de qualité des données (complétude, cohérence, fraîcheur, fiabilité) Mettre en place des tableaux de bord et indicateurs de suivi de la qualité des données Assurer le monitoring de la qualité des données et proposer des plans d'amélioration continue Analyser les impacts des évolutions des référentiels sur les applications métiers Produire la documentation fonctionnelle et les supports de formation relatifs à la gouvernance des données Suivre l'avancement des actions et alerter sur les risques pouvant impacter les objectifs du projet Collaborer avec les équipes métiers, CRM et SI dans le cadre de la reprise et de la fiabilisation des données historiques

Dans le cadre d'un programme de transformation Data & IA à dimension internationale, nous recherchons un Développeur Full Stack Senior disposant d'au moins 8 années d'expérience pour concevoir et développer des applications web modernes intégrant des fonctionnalités avancées de data visualisation, d'analytics et d'intelligence artificielle. Le consultant interviendra sur un rôle très orienté développement, avec une forte autonomie et une responsabilité end-to-end sur les applications réalisées, depuis le développement backend en Python jusqu'à la conception d'interfaces frontend avancées en React. Les principales missions seront les suivantes : Développer des applications web full stack responsives et data-intensive. Concevoir des interfaces frontend modernes et performantes en React / TypeScript. Porter une attention particulière à l'UX/UI et à la qualité des interfaces développées. Développer et maintenir des services backend et des APIs principalement en Python. Intégrer des données et développer des connecteurs avec BigQuery. Concevoir des visualisations de données personnalisées et des dashboards interactifs. Intégrer des fonctionnalités d'intelligence artificielle et des agents LLM directement dans les applications. Mettre en œuvre des fonctionnalités conversationnelles, de streaming et de tool-calling. Intégrer des solutions de Business Intelligence embarquées, notamment Looker. Déployer et maintenir les applications dans un environnement Google Cloud Platform. Participer à la mise en œuvre des mécanismes de sécurité : SSO, OAuth, IAM et Row Level Security. Garantir la qualité du code livré à travers les bonnes pratiques de développement, Git, CI/CD, clean code et principes DRY. Utiliser les outils de développement assistés par IA de manière responsable, avec une compréhension et une maîtrise complète du code produit.

Le Business Analyst Open Data rejoindra l'équipe pour renforcer les activités d'analyse du projet. En collaboration avec une autre Business Analyst, les travaux d'analyse pourront être menés en parallèle sur plusieurs périmètres afin de sécuriser les livrables et le respect du planning du projet. Missions : · Analyse des besoins métiers · Recueillir et analyser les besoins · Traduire les besoins métiers en exigences fonctionnelles claires et structurées. oIdentifier les impacts fonctionnels liés aux évolutions du projet. · Définition des exigences Open Data · Décrire les règles de publication (formats, fréquence, qualité, métadonnées). · Contribuer à la définition des standards d'interopérabilité et de réutilisation. oVeiller à l'alignement avec les référentiels européens et nationaux (NAP). · Modélisation et documentation · Rédiger les expressions de besoins, cahiers des charges fonctionnels et user stories. · Contribuer à la description des flux de données et des processus de publication. · Documenter les jeux de données (définition, périmètre, règles de gestion). · Coordination et collaboration Travailler en étroite collaboration avec : o les équipes IT / data, l'équipe projet SIV, les équipes métiers o les équipes juridiques et conformité, les partenaires externes le cas échéant. · Participer aux ateliers métiers et instances de suivi du projet. · Contribuer à la sécurisation des livrables et au respect du planning du projet · Qualité, conformité et gouvernance · Contribuer à la qualité des données publiées · Prendre en compte les contraintes réglementaires (Open Data, protection des données). · Participer à la mise en place des règles de gouvernance Open Data. · Accompagnement du changement · Contribuer à la communication autour du projet Open Data. · Aider les métiers à comprendre les enjeux, les obligations et les bénéfices de la publication des données. · Participer à la préparation de supports de sensibilisation ou de formation.

Nous allons travailler sur un POC Réseau Autonome d'une durée limitée (approx 6 mois à partir de septembre), l'objectif est de collecter des données réseaux (données config Radio, Kpi, référentielles) les intégrer dans Databricks, développer des API pour requêter ces données afin que des agent IA puissent requêter les données à travers ces API. Livrables: Conception et développement de projets d'intégration de données pour des projets à forte valeur ajoutée. Développement de jobs d'intégration de données en PySpark, Spark, Python en mode streaming et batch sur la plateforme Databricks. La mise en œuvre de CI/CD (github, devops, Databricks Bundles), de l'orchestration, du data management et de la sécurité. Optimisation des jobs et des ressources cloud (GCP et Databricks). Mise en place de de Dashboard Finops afin de suivre l'usage des ressources GCP / Databricks. Travailler au sein d'équipes pluridisciplinaires : chefs de projet, architectes, devops, data engineer. Assurer une formation continue, le partage de connaissances, mise en place de documentation.

Contexte : renfort au sein des équipes data, sur un périmètre mêlant développement et exploitation. Environnement exigeant : volumes importants de données financières, forte dépendance des équipes de recherche et de trading à la fraîcheur et à la fiabilité des données. Le rôle : Développement Python sur des projets data / data engineering (évolutions, outillage, industrialisation) Support de production niveau 2 : investigation d'incidents sur les pipelines (analyse de logs, identification des causes, correctifs, replays) Gestion des alertes et suivi des traitements Sujets de data quality : contrôles sur les flux entrants, détection d'anomalies, fiabilisation

🔔 𝐃𝐢𝐫𝐞𝐜𝐭𝐞𝐮𝐫 𝐝𝐞 𝐏𝐫𝐨𝐣𝐞𝐭 - 𝐃𝐚𝐭𝐚 𝐌𝐢𝐠𝐫𝐚𝐭𝐢𝐨𝐧 𝐒/𝟒 𝐴𝑦𝑎𝑛𝑡 𝑝𝑙𝑢𝑠 𝑑𝑒 10 𝑎𝑛𝑠 𝑑'𝑒𝑥𝑝𝑒́𝑟𝑖𝑒𝑛𝑐𝑒 𝑒𝑛 𝑔𝑒𝑠𝑡𝑖𝑜𝑛 𝑑𝑒 𝑝𝑟𝑜𝑗𝑒𝑡 𝑆𝐴𝑃 𝐴𝑣𝑒𝑐 𝑢𝑛𝑒 𝑒𝑥𝑝𝑒́𝑟𝑖𝑒𝑛𝑐𝑒 𝑎𝑣𝑒́𝑟𝑒́𝑒 𝑒𝑛 𝑚𝑖𝑔𝑟𝑎𝑡𝑖𝑜𝑛 𝑣𝑒𝑟𝑠 𝑆𝐴𝑃 𝑆/4 𝐴𝑦𝑎𝑛𝑡 𝑑𝑒́𝑗𝑎̀ 𝑝𝑎𝑟𝑡𝑖𝑐𝑖𝑝𝑒́ 𝑎̀ 𝑎𝑢 𝑚𝑜𝑖𝑛𝑠 𝑢𝑛 𝑝𝑟𝑜𝑔𝑟𝑎𝑚𝑚𝑒 𝑑𝑒 𝑡𝑟𝑎𝑛𝑠𝑓𝑜𝑟𝑚𝑎𝑡𝑖𝑜𝑛 𝑆𝐴𝑃 (𝑒𝑛𝑑-𝑡𝑜-𝑒𝑛𝑑) 𝐴𝑣𝑒𝑐 𝑑𝑒 𝑙'𝑒𝑥𝑝𝑒́𝑟𝑖𝑒𝑛𝑐𝑒 𝑑𝑎𝑛𝑠 𝑑𝑒𝑠 𝑒𝑛𝑣𝑖𝑟𝑜𝑛𝑛𝑒𝑚𝑒𝑛𝑡𝑠 𝑖𝑛𝑑𝑢𝑠𝑡𝑟𝑖𝑒𝑙𝑠 𝑐𝑜𝑚𝑝𝑙𝑒𝑥𝑒𝑠 🎯 𝐌𝐢𝐬𝐬𝐢𝐨𝐧 𝐀𝐬𝐬𝐮𝐫𝐞𝐫 𝐥𝐚 𝐦𝐨𝐝𝐞𝐫𝐧𝐢𝐬𝐚𝐭𝐢𝐨𝐧 𝐞𝐭 𝐭𝐫𝐚𝐧𝐬𝐟𝐨𝐫𝐦𝐚𝐭𝐢𝐨𝐧 𝐝𝐞𝐬 𝐬𝐲𝐬𝐭𝐞̀𝐦𝐞𝐬 𝐝'𝐢𝐧𝐟𝐨𝐫𝐦𝐚𝐭𝐢𝐨𝐧𝐬 : 𝐦𝐢𝐠𝐫𝐚𝐭𝐢𝐨𝐧 𝐝𝐞 𝐝𝐨𝐧𝐧𝐞́𝐞𝐬 𝐝𝐞𝐩𝐮𝐢𝐬 𝐝𝐞𝐬 𝐬𝐲𝐬𝐭𝐞̀𝐦𝐞𝐬 𝐥𝐞𝐠𝐚𝐜𝐲 𝐯𝐞𝐫𝐬 𝐝𝐞𝐬 𝐬𝐨𝐥𝐮𝐭𝐢𝐨𝐧𝐬 𝐜𝐢𝐛𝐥𝐞𝐬, 𝐧𝐨𝐭𝐚𝐦𝐦𝐞𝐧𝐭 𝐒𝐀𝐏 𝐒/𝟒𝐇𝐀𝐍𝐀. - Définir et piloter le programme de data migration de bout en bout - Garantir la qualité, l'intégralité et la cohérence des données migrées - Piloter les phases de tests (SIT, UAT) - Sécuriser les phases critiques (cut-over, bascules go-live et plan de rollback) - Assurer le respect des délais, coûts et riques - Accompagner la transformation des référentiels et des processus métier - Structurer la gourvernance projet (COPIL, COMOP, reporting exécutif) - Coordonner les équipes client, intégrateur SAP et partenaires - Suivre les indicateurs clés (planning, budget, qualité, risques) 🔊 𝐀𝐧𝐠𝐥𝐚𝐢𝐬 𝐄𝐓 𝐅𝐫𝐚𝐧𝐜̧𝐚𝐢𝐬 𝐜𝐨𝐮𝐫𝐚𝐧𝐭 obligatoire 📍𝐈𝐃𝐅 - 3j/semaine sur site + 2j remote

Votre mission Au sein de l'équipe Data, vous contribuez à la construction et à l'évolution de la plateforme de données qui alimente les projets d'analyse avancée, d'intelligence artificielle et de pilotage des activités de notre client. Vous garantissez la disponibilité, la fiabilité et la qualité des données utilisées par les métiers et les équipes Data. Principales responsabilités Concevoir et maintenir des pipelines de données robustes et performants Mettre en œuvre les processus d'ingestion de données provenant de multiples sources Garantir la qualité, la cohérence et la traçabilité des données Administrer et optimiser les Data Lakes et Data Warehouses Automatiser les traitements et assurer leur monitoring Collaborer avec les Data Scientists et les équipes métiers Participer aux projets de migration et d'optimisation Cloud Veiller au respect des règles de sécurité, conformité et gouvernance des données

🚀 Opportunité – Expert Data Engineer Azure / Databricks – Level 4 Dans le cadre de l'évolution d'une Data Platform Azure au sein d'un grand groupe, nous recherchons un(e) Data Engineer Senior / Expert Azure & Databricks. 🎯 Missions : Faire évoluer un Data Lake sur Azure Concevoir et déployer un Data Lake gouverné Intégrer et mettre en œuvre Databricks Unity Catalog Définir les modèles d'accès, de gouvernance et de partage des données Mettre à disposition les données sous forme de tables Delta / Iceberg Participer à la réalisation de POC et à l'industrialisation de la plateforme 🛠 Compétences recherchées : Azure Databricks / Unity Catalog Spark Azure DevOps GitHub Java JavaScript / TypeScript Data Lake / Data Platform Gouvernance et partage de données Delta / Iceberg 👤 Profil : Data Engineer Senior / Expert – Level 4 Forte expérience sur des plateformes Data Azure Expertise Databricks et gouvernance de données Autonomie et capacité à intervenir sur des sujets d'architecture et d'industrialisation 📍 Île-de-France – Présentiel ⏳ Mission longue

Mission de l'équipe : La mission s'inscrit dans un environnement Asset Management et porte sur la gestion, la centralisation, la fiabilisation et la diffusion des données liées aux calculs de VNI, en interaction avec les activités de Fund Accounting (FA) et de Transfer Agency (TA). L'objectif est de garantir la complétude, le respect des délais et la fiabilité des VNI produites par les Fund Administrators, ainsi que la disponibilité des données comptables nécessaires aux différents utilisateurs internes et externes. 1. Pilotage des calendriers de VNI La mission prend en charge la production des calendriers nécessaires aux calculs de VNI sur les périmètres suivants : · France · Luxembourg · Irlande 2. Centralisation et diffusion des données comptables La mission assure : · La réception des données comptables. · Leur centralisation. · Leur diffusion auprès des différents utilisateurs. Ces données sont notamment destinées aux usages suivants : · Reporting · Risk · Gestion · Clients · Régulateurs 3. Contrôle des VNI La mission est responsable du suivi de la qualité des VNI produites par les Fund Administrators selon trois dimensions principales : · Completeness : complétude des VNI attendues. · Timeliness : respect des délais de production. · Correctness : exactitude des VNI produites. 4. Business Analysis et spécifications IT La mission comprend également une dimension Business Analyst, avec la production de spécifications IT en lien avec les besoins fonctionnels du périmètre. Prestations demandées : Les principales responsabilités sont les suivantes : · Produire les calendriers de calcul des VNI pour la France, le Luxembourg et l'Irlande. · Réceptionner, centraliser et diffuser les données comptables. · Sécuriser la complétude, le respect des délais et l'exactitude des VNI produites par les Fund Administrators. · Intervenir sur les problématiques de Reporting & Performance. · Intervenir sur les problématiques de Data Referential. · Produire les spécifications IT nécessaires dans le cadre des activités de Business Analysis.

Data analyst / data scientist ESG - Asset management - Matlab, Python, SQL, Snowflake obligatoires Tâches : · S'assurer de l'ingestion des données externes (mis à jour, changement méthodo, changement dans la structure des données) · Production des KPI et scores sur l'ensembles des instruments appartement à l'univers ESG · Développer des contrôles sur les lignes de productions existantes et des dashboards permettant de les suivres. · Documenter tous les modèles et toutes les procédures