Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Dans le cadre d'un projet de transformation Finance & Data au sein d'un grand groupe international, nous recherchons un Expert OneStream Data Integration / EPM Technical Consultant. OneStream est déjà en production. L'objectif de la mission n'est pas d'implémenter la solution, mais de mieux exploiter les données financières présentes dans OneStream et d'industrialiser leur extraction vers une plateforme Data externe. Le consultant interviendra notamment sur l'analyse du design existant de OneStream, la compréhension des cubes, comptes, entités et dimensions, ainsi que sur la définition et la mise en œuvre des mécanismes techniques permettant d'extraire les données avec un niveau de granularité suffisant. Les principales responsabilités seront : analyser l'architecture et le modèle de données OneStream existant ; comprendre les besoins Finance et les périmètres de reporting ; définir les modalités d'extraction de données depuis OneStream ; travailler sur des mécanismes tels que REST API, BRApi, Cube Views, Data Management, Query Tool, exports automatisés ou développements spécifiques ; récupérer des données financières détaillées avec comptes, entités et dimensions ; industrialiser les flux sortants de OneStream vers une plateforme Data ; permettre l'exploitation des données P&L et bilan dans un environnement Data / BI externe ; collaborer avec les équipes Data sur des environnements Azure / Databricks ; participer à la modélisation des données nécessaires aux restitutions ; traiter les problématiques de consolidation, intercompany et éliminations ; contribuer à la mise en place d'une Golden Source Finance ; participer à la recette chiffre-à-chiffre entre OneStream et la plateforme Data ; sécuriser la qualité, la traçabilité et la cohérence des données ; contribuer à l'industrialisation de dashboards de pilotage à destination du management. Le point central de la mission est la capacité à sortir techniquement et de manière industrialisée les données de OneStream vers un environnement externe, et non uniquement à administrer ou paramétrer OneStream.

Dans le cadre de la modernisation de sa plateforme data et de la montée en charge de ses projets IA, un grand compte recherche un Data Architect pour concevoir une architecture data performante, condition pour que les projets d'analyse, de BI et d'IA puissent passer à l'échelle. Le consultant interviendra notamment sur : ▪ La conception de l'architecture data cible : Data Warehouse, Lakehouse, modélisation normalisée (étoile, flocon, Data Vault) ▪ Le cadrage des migrations cloud des actifs data ▪ La définition des patterns d'alimentation des cas d'usage IA : feature stores, pipelines RAG, gouvernance des données d'entraînement ▪ La définition des standards de modélisation, de sécurité et de gouvernance des données ▪ L'accompagnement des équipes data engineering dans la mise en œuvre ▪ Les arbitrages techniques et la rédaction des dossiers d'architecture

Nous recherchons un Consultant Senior Power BI / GenAI pour intervenir sur des sujets BI à forte orientation métier. Le besoin porte sur deux dimensions : une expertise solide de Power BI pour concevoir des dashboards décisionnels, travailler sur DAX, Power Query et la modélisation des données, ainsi qu'une expérience concrète de l'IA générative en contexte professionnel. Le consultant devra comprendre les besoins des équipes métiers, transformer les données en informations exploitables et identifier des usages pertinents de la GenAI. L'objectif est d'aller au-delà de l'utilisation théorique des outils et de pouvoir contribuer à des solutions réellement exploitables par les utilisateurs. La mission est basée à Saint-Priest, proche de Lyon, en 100 % présentiel. Démarrage ASAP pour une durée initiale de 6 mois, avec possibilité d'extension.

Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API

Missions : -Administration & Administration Databricks : Administrer, surveiller et maintenir les espaces de travail Databricks du CoE. -Standards & Industrialisation : Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. -Accompagnement & Enablement : Accompagner les équipes métiers et Data dans l'adoption de l'écosystème Databricks et leur conformité avec les politiques groupe. -Delivery : Contribuer directement à la conception et la réalisation de use cases stratégiques portés par les différentes entités. -Veille & Innovation : Tester, évaluer et recommander les nouvelles fonctionnalités Databricks et outils partenaires pour améliorer la plateforme. Télétravail : 3 jours par semaine (2 jours sur site).

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.

Nous recherchons un(e) data engineer Databricks capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : ydz1qjgta5

L'équipe que vous allez rejoindre est en charge d'accompagner les équipes métiers et IT dans la conception, le développement et l'industrialisation de solutions autour de la Data et de la GenAI. Dans un contexte de forte croissance des usages data et des volumes traités, l'équipe joue un rôle clé dans l'accélération des initiatives data du Groupe, en s'appuyant sur l'écosystème technologique (notamment AWS, Dataiku, Collibra, Databricks) et en garantissant l'alignement avec les standards de sécurité, de gouvernance et de performance. Les activités de l'équipe couvrent l'ensemble de la chaîne de valeur de la donnée, depuis sa collecte et son ingestion jusqu'à sa transformation et sa valorisation, en intégrant les enjeux d'optimisation des performances et des coûts. En parallèle, l'équipe conçoit et développe des outils, frameworks et solutions visant à simplifier l'expérience des utilisateurs, à industrialiser les pratiques et à accélérer le développement et le déploiement de cas d'usage Data et GenAI au sein de l'écosystème.

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.

• Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables. • Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs. • Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles. • Automatiser les transformations, la documentation et les tests de données avec dbt. • Configurer les pipelines d'acheminement des données, y compris les flux CDC. • Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging. • Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets. • Réaliser les développements et les tests associés, et accompagner les mises en production.

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Description de la mission Notre client, un grand assureur, fait tourner en production une plateforme Data / IA conséquente et cherche un expert Linux pour en prendre soin. Votre terrain de jeu : les serveurs Linux de production et les clusters Big Data qui tournent dessus. Au quotidien, vous assurez le support N2 et le MCO, vous installez et configurez les clusters (Cloudera, Kafka, Talend) et vous intégrez les nouvelles briques en respectant les règles de sécurité et d'architecture. Vous serez aussi sollicité(e) comme référent technique par les projets Data / IA, pour les conseiller sur les choix de solutions et garantir que ce qui arrive en production est exploitable. L'environnement est riche : Hadoop, Cloudera CDP, Starburst, Azure Databricks, Terraform, Kerberos, Vault, plusieurs bases de données. Vous n'avez pas besoin de tout maîtriser en arrivant, mais vous ne serez pas dépaysé(e).