Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Il est garant de l'accès qualitatif aux sources de données. Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists). Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer. Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, … QUALIFICATION ET GESTION DES DONNÉES : • Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité • Intègre les éléments • Structure la donnée (sémantique, etc.) • Cartographie les éléments à disposition • Nettoie la donnée (élimination des doublons, …) • Valide la donnée • Éventuellement, il crée le référentiel de données Résultat attendu Le prestataire devra développer un outil dans databricks qui permet de filtrer les clients selon des critères définis par le client. Il devra livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour. Il devra développer un ETL en utilisant les services AWS les plus adaptés: notamment AWS Step Functions pour l'orchestration / moteur de workflow AWS lambda pour des traitements légers AWS Aurora ou RDS comme BDD relationnelle transactionnelle Eventuellement Databricks si besoin d'offload pour des charges de traitements / transformations lourdes Les données entrantes seront récupérés via des API ou des fichiers plats Les données sélectionnées et transformées seront envoyées dans une 20aine d'API

Missions : -Administration & Administration Databricks : Administrer, surveiller et maintenir les espaces de travail Databricks du CoE. -Standards & Industrialisation : Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. -Accompagnement & Enablement : Accompagner les équipes métiers et Data dans l'adoption de l'écosystème Databricks et leur conformité avec les politiques groupe. -Delivery : Contribuer directement à la conception et la réalisation de use cases stratégiques portés par les différentes entités. -Veille & Innovation : Tester, évaluer et recommander les nouvelles fonctionnalités Databricks et outils partenaires pour améliorer la plateforme. Télétravail : 3 jours par semaine (2 jours sur site).

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.

Nous recherchons un(e) data engineer Databricks capable de trouver des solutions innovantes et robustes à l'ensemble des problématiques Data. Vous aurez la charge de : • Participer à la conception et réalisation d'une solution Data depuis l'acquisition jusqu'à l'exploitation de la donnée en accompagnant la réflexion des directions métiers • Identifier, collecter et intégrer les données nécessaires à la résolution de problématiques métier et opérationnelles • Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats en appliquant les règles de Data Gouvernance et de Data Management • Transcrire des besoins métier en règles de gestion data • Industrialiser le déploiement de vos réalisations à travers l'implémentation de tests unitaires, d'intégration et de non-régression Référence de l'offre : ydz1qjgta5

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.

• Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables. • Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs. • Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles. • Automatiser les transformations, la documentation et les tests de données avec dbt. • Configurer les pipelines d'acheminement des données, y compris les flux CDC. • Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging. • Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets. • Réaliser les développements et les tests associés, et accompagner les mises en production.

Description de la mission Notre client, un grand assureur, fait tourner en production une plateforme Data / IA conséquente et cherche un expert Linux pour en prendre soin. Votre terrain de jeu : les serveurs Linux de production et les clusters Big Data qui tournent dessus. Au quotidien, vous assurez le support N2 et le MCO, vous installez et configurez les clusters (Cloudera, Kafka, Talend) et vous intégrez les nouvelles briques en respectant les règles de sécurité et d'architecture. Vous serez aussi sollicité(e) comme référent technique par les projets Data / IA, pour les conseiller sur les choix de solutions et garantir que ce qui arrive en production est exploitable. L'environnement est riche : Hadoop, Cloudera CDP, Starburst, Azure Databricks, Terraform, Kerberos, Vault, plusieurs bases de données. Vous n'avez pas besoin de tout maîtriser en arrivant, mais vous ne serez pas dépaysé(e).

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Bonjour, Votre mission Recueillir les besoins métiers et les traduire en indicateurs et tableaux de bord pertinents Concevoir, développer et maintenir des rapports et dashboards Power BI Modéliser les données (modèle en étoile, relations, mesures DAX) Préparer et transformer les données avec Power Query (M) Optimiser les performances des rapports et des modèles Gérer la publication et la sécurité sur Power BI Service (workspaces, RLS, passerelles, actualisations planifiées) Accompagner et former les utilisateurs métiers Rédiger la documentation technique et fonctionnelle Profil recherché Expérience de 5 ans minimum sur Power BI Maîtrise de DAX, Power Query et de la modélisation de données Bonne maîtrise de SQL (SQL Server, Oracle ou équivalent) Connaissance d'un environnement data : [Azure Data Factory, Synapse, Fabric, Databricks, SSIS…] appréciée Certification PL-300 (Power BI Data Analyst) appréciée Capacité à échanger avec les équipes métiers et à vulgariser les sujets data Rigueur, autonomie et sens du service Une connaissance du secteur [assurance / finance] est un plus

Résumé : Ce poste de Data Engineer vise à intégrer un programme stratégique qui se concentre sur l'optimisation des dépenses en IA. En jouant un rôle clé entre technologie, finance, et transformation organisationnelle, le candidat sera responsable de la conception et de la construction des infrastructures nécessaires pour le suivi et l'analyse des coûts liés à l'IA Responsabilités : Concevoir et construire des pipelines de données, des bases de données, et une infrastructure analytique pour collecter et normaliser les coûts de l'IA. Élaborer des systèmes de suivi des coûts fiables et évolutifs en travaillant avec des plateformes cloud et des équipes interfonctionnelles. Maintenir les pipelines ETL pour l'ingestion de données sur les coûts de l'IA. Concevoir et mettre en œuvre des modèles de données pour le suivi et l'allocation des coûts. Développer et optimiser des bases de données pour l'analyse FinOps. Créer des contrôles de qualité automatisés des données et des outils de surveillance. Soutenir le développement de tableaux de bord de reporting des coûts et des outils analytiques. Must Haves : Maîtrise de SQL et Python. Expérience dans des environnements Databricks et Power BI. Connaissance des processus ETL/ELT et de l'environnement de modélisation des données. Autres Détails : 3 jours de TT/ 2 jours sur site. Mission longue (maximum 3 ans). Localisation à Paris.