Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Rejoignez un acteur majeur du secteur des transports en commun pour piloter la montée en maturité de sa plateforme Data. Vous structurerez et industrialiserez les pratiques de gouvernance, qualité et gestion des métadonnées au cœur d'un environnement Data complexe mêlant Data Lake, solutions de catalogage et gouvernance transverse. Vous interviendrez sur l'ensemble du cycle de vie des données du Groupe, en garantissant conformité, traçabilité et valorisation des actifs Data. Ce rôle combine expertise fonctionnelle approfondie, maîtrise des enjeux de qualité et capacité à fédérer des stakeholders métiers et informatiques dans l'application de règles de gouvernance ambitieuses. L'environnement technique repose sur une stack moderne (Databricks, outils de catalogage, SI transverse) et une organisation Agile/Scrum. Vous évolurez aux côtés de Data Owners, équipes projets et responsables IT pour déployer une gouvernance Data robuste et durable. Responsabilités : - Piloter les activités de Data Management et de gouvernance sur les plateformes Data du Groupe - Garantir la qualité, la cohérence et la conformité des métadonnées et des référentiels de données - Administrer et faire évoluer les outils de catalogage, de classification et de gouvernance des données - Assurer le Data Lineage entre Databricks, solutions de catalogage et outils du SI - Accompagner les Data Owners et équipes projets dans l'application des règles et standards de gouvernance - Contribuer à la mise en œuvre du programme de qualité des données à l'échelle du Groupe - Piloter les activités Data multi-projets et assurer le suivi des mises en production - Valider la qualité documentaire et la conformité des livrables Data - Produire les reportings, tableaux de bord et indicateurs de gouvernance Data - Coordonner les dispositifs de gouvernance transverse et les Contrats de Confiance Data Télétravail : 2 jours par semaine Localisation : Paris

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation