Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Intégré(e) au Train DATA et rattaché(e) à une squad, vous évoluez dans un environnement agile et pluridisciplinaire, au cœur des enjeux BI & Data. Vos missionsParticiper aux rituels agiles (sprint planning, affinage, daily, review) Définir et piloter la stratégie de tests (fonctionnels, intégration, bout en bout, surface) Analyser les User Stories et cas d'usage Rédiger les plans de tests, spécifier les jeux de données Exécuter les tests et suivre les défauts avec les parties prenantes Maintenir le référentiel de tests et réaliser les PV de recette Présenter les sujets en CAB pour le passage en production Utiliser les outils IA (GitHub Copilot, VS Code, Databricks) pour l'automatisation et le génie logiciel assisté Contribue à l'élaboration de la stratégie de tests avec le Test Lead, en lien avec les Chefs de Projets et/ou Responsables d'applications Analyse les exigences utilisateurs et les spécifications fonctionnelles ou techniques fournies par le Responsable d'application Estime les charges En fonction de la stratégie établie, rédige les plans de tests, identifie les prérequis et spécifie les jeux de données (données de tests, résultats attendus) qu'il fait valider par le CP et/ou Responsable d'Application Réceptionne son environnement de tests et s'assure de sa conformité en termes de versions applicatives Exécute les tests manuellement ou en utilisant des outils d'exécution automatique des tests Consigne les résultats de tests et remonte les anomalies au Chef de Projet et/ou Responsable d'application Met à jour le référentiel de tests Peut coordonner une équipe d'analystes de test en tant que référent Réalise un bilan des tests effectués

Dans le cadre du renforcement d'une équipe Data & BI, nous recherchons un(e) Testeur QA confirmé(e) avec une forte appétence Data, capable d'intervenir sur des projets de qualité des données dans un environnement Microsoft Azure / Databricks. Vous intégrerez une organisation agile au sein d'une équipe pluridisciplinaire en charge de projets décisionnels, BI et Data. Votre rôle sera de garantir la qualité des données et des solutions développées, depuis la définition de la stratégie de tests jusqu'à la validation avant mise en production. Missions principalesRattaché(e) au pôle Qualité Data, vos responsabilités seront les suivantes : Participer aux rituels et ateliers agiles de l'équipe. Définir et mettre en œuvre la stratégie de tests. Analyser les besoins métiers, User Stories et spécifications fonctionnelles/techniques. Concevoir les plans de tests, cas de tests et jeux de données associés. Préparer, identifier et valider les environnements de test. Exécuter les tests fonctionnels, technico-fonctionnels et d'intégration. Réaliser des tests de bout en bout et des contrôles de qualité des données. Identifier, qualifier et suivre les anomalies avec les différentes parties prenantes. Maintenir le référentiel de tests. Réaliser les bilans de recette et contribuer aux validations avant mise en production. Participer aux démarches d'amélioration continue des processus qualité. Environnement techniqueMéthodologies de tests Tests fonctionnels, technico-fonctionnels et tests d'intégration SQL Server / SQL Microsoft Azure Databricks Outils de gestion des tests : JIRA / XRAY Outils de reporting : Power BI, MicroStrategy Utilisation d'outils d'intelligence artificielle pour l'optimisation du cycle de vie des tests et l'assistance au développement (GitHub Copilot, VS Code, IA appliquée à la Data)

Bonjour, Nous recherchons pour notre client basé en région parisienne un Responsable d'Application Data confirmé (4-10 ans d'expérience). Objectif global - Piloter et sécuriser les évènements de production Les livrables sont Analyser des incidents pour en comprendre la cause afin de déterminer la solution à appliquer Avoir une bonne capacité d'analyse afin de pouvoir comprendre des sujets métiers divers et variés Compétences techniques Méthode ITIL - Expert - Impératif méthode Agile - Confirmé - Impératif Azure Datafactory - Confirmé - Important Databricks - Confirmé – Important Description détaillée Responsable d'application au Datalab : Assure et coordonne les activités de maintenance corrective et évolutive des applications dont il est responsable. * Il est responsable de la qualité de service délivrée dans le respect des contrats (support, qualité, sécurité, …) vis-à-vis des entités métiers en s'appuyant sur les équipes transverses. * Il est aussi le garant du maintien des connaissances fonctionnelles et techniques nécessaires à la pérennité de l'application. * Il est en interface avec le métier et répond aux demandes d'évolution ou des projets en lien avec le Responsable SI Métier et le Chef de Projet. (*) On entend par « applications » : les programmes, les données, les paramétrages, les services exposés (API), les infrastructures techniques et les interfaces/flux inter applicatifs. Compétences requises : * Faire preuve de rigueur et être force de proposition * Savoir travailler en équipe et avoir de bonnes qualités relationnelles * Excellentes compétences techniques : Connaissance et application de la méthode ITIL (Gestion des incidents, problèmes, etc..) Connaissance et application de la méthode Agile Connaissance Azure Datafactory Connaissance Databricks (Spark SQL, Scala) Connaissance d'outils ITSM (Service Now ou équivalent) Date de démarrage 03/08/2026 Lieu de réalisation Chatillon 92 ou Bondoufle 91 Déplacement à prévoir non Le projet nécessite des astreintes Oui Nombre de jours souhaitables sur site 3 jours par semaine La sous-traitance (freelance, ESN ou autre) sur ce projet est Autorisée Dans le cas où vous êtes intéressé par ce poste, pourriez-vous SVP m'envoyer votre CV au format Word en indiquant votre disponibilité ainsi que vos prétentions salariales ou votre tarification journalière si vous êtes indépendant ?

Dans le cadre de la modernisation de sa plateforme de données, notre client recherche un(e) Data Engineer pour accompagner la transformation de traitements décisionnels existants vers un environnement Big Data et Cloud. Vous interviendrez sur des projets à fort impact, mêlant évolution des systèmes historiques, industrialisation des flux de données et mise en place de nouvelles architectures orientées performance et scalabilité. Vous intégrerez une équipe technique engagée dans l'amélioration continue des plateformes de données et contribuerez activement à la construction d'un écosystème moderne, robuste et pérenne. Vos missions: Modernisation des traitements de donnéesMigration de traitement Informatica et PL /SQL vers SPARK(java) Maintenance corrective et évolutive des traitements PL/SQL Refonte Cloud(Databricks)Conception et mise en oeuvre de pipelines de données sur Databricks Industrialisations des traitements dans un environnement moderne

En tant qu'Architecte Data, vous concevez et faites évoluer les plateformes de données de l'entreprise. Vous définissez les architectures cibles, accompagnez les équipes techniques et garantissez des solutions performantes, sécurisées et évolutives répondant aux enjeux métiers. Vos missions : Concevoir des architectures Data modernes (Data Lake, Lakehouse, Data Warehouse, Data Mesh). Définir les stratégies d'ingestion, de transformation et de restitution des données (batch & streaming). Garantir la qualité, la sécurité, la performance et la gouvernance des plateformes. Définir les standards d'architecture, de CI/CD et d'observabilité. Optimiser les performances et les coûts des plateformes (FinOps). Accompagner les équipes Data et participer aux instances d'architecture dans un environnement Agile/SAFe.

Bonjour, Nous recherchons pour notre client basé en région parisienne un Ingénieur Cloud Azure confirmé (4-10 ans d'expérience). Objectif global - Participer au déploiement des projets data de notre client Contrainte forte du projet Maitrise de la plateforme Cloud Microsoft Azure Les livrables sont Assurer la maîtrise et l'optimisation des coûts Cloud Azure Industrialiser et sécuriser les environnements techniques Mettre en œuvre et maintenir des pratiques DevOps et FinOps Description détaillée Contexte de la mission: Dans le cadre des activités de la Direction Digital & Data, le Data Lab intervient sur les sujets Data et Business Intelligence pour les différentes entités de notre client. Afin de renforcer la maîtrise des environnements Cloud et des coûts associés, le Data Lab souhaite s'appuyer sur un Ingénieur DevOps orienté FinOps. La mission s'inscrit dans un environnement Azure, en mode Agile, au sein d'une équipe pluridisciplinaire d'environ 10 collaborateurs. Objectifs de la mission : Les objectifs principaux sont les suivants : - Assurer la maîtrise et l'optimisation des coûts Cloud Azure - Industrialiser et sécuriser les environnements techniques - Mettre en œuvre et maintenir des pratiques DevOps et FinOps - Accompagner les équipes dans l'adoption des bonnes pratiques Cloud- Garantir la performance, la disponibilité et la traçabilité des plateformes Description des prestations attendues : 1) Ingénierie DevOps & Cloud - Conception et mise en œuvre des infrastructures Azure via Infrastructure as Code - Automatisation des déploiements et des environnements - Mise en place et optimisation des pipelines CI/CD (Azure DevOps, Git) - Contribution aux mises en production (validation, intégration continue, qualité) - Participation à l'amélioration continue des architectures 2) Pilotage FinOps et optimisation des coûts - Analyse et suivi quotidien des coûts Azure - Identification des dérives et mise en œuvre d'actions correctives - Élaboration de prévisions budgétaires et de scénarios d'optimisation - Identification, priorisation et suivi des chantiers FinOps - Suivi et communication des gains réalisés 3) Gouvernance et accompagnement - Animation de la démarche FinOps (communauté, rituels, comités) - Contribution à la mise en place de standards et bonnes pratiques Cloud - Accompagnement des équipes projets dans l'adoption des pratiques DevOps/FinOps- Participation aux instances de gouvernance Cloud Dans le cas où vous êtes intéressé par ce poste, pourriez-vous SVP m'envoyer votre CV au format Word en indiquant votre disponibilité ainsi que vos prétentions salariales ou votre tarification journalière si vous êtes indépendant ?

Missions principales: Assurer le maintien en conditions opérationnelles (RUN/MCO) de la plateforme Big Data. Prendre en charge le support N3 et la résolution d'incidents complexes. Administrer et optimiser les environnements Cloudera CDH/CDP. Piloter et superviser les composants Hadoop (HDFS, YARN) et Spark. Gérer les sujets de sécurité (Kerberos, Ranger). Contribuer à l'automatisation et à l'industrialisation des opérations (Jenkins, CI/CD). Apporter un leadership technique auprès des équipes. Participer aux projets d'évolution vers Azure et Databricks. Compétences requises: Indispensables : Cloudera Manager Hadoop (HDFS, YARN) Spark RUN / MCO de plateformes critiques Support N3 et gestion d'incidents Kerberos / Ranger Jenkins et outils CI/CD Linux Appréciées : Azure Databricks Scripting Shell ou Python Environnements Cloud hybrides

SummaryThe primary function of the Data Engineer role is to design, develop, and maintain scalable data pipelines on the Databricks platform to facilitate the energy transition for retail customers in Belgium. This role aims to support the implementation of the Databricks platform within the context of an AWS environment, enabling efficient data processing for various projects. Main Responsibilities:Core duty description: This role involves managing and optimizing data processes to support various business projects. Design, develop, and maintain scalable data pipelines on the Databricks platform. Manage data ingestion processes from various sources into the Databricks environment. Implement and optimize ETL (Extract, Transform, Load) processes to ensure efficient data transformation and integration. Ensure data quality, integrity, and security across all data pipelines. Monitor and troubleshoot data pipeline performance, implementing necessary maintenance and updates. Document data pipeline processes, technical specifications, and best practices. Conduct knowledge transfer to the Data Engineer team responsible for managing the platform in the future. Key Requirements:Strong skills in SQL and relevant programming languages (e.g., Python). Proven expertise in Databricks and AWS services. K.modal expertise in Databricks to support BI activities (Kimball modeling). Analytical mindset with attention to detail. Strong communication and collaboration skills. Nice to Have:Experience in Datawarehouse or Lakehouse projects. Additional programming languages beyond SQL and Python. Experience with data quality management tools. Other Details:Location: Belgium Team Structure: Reporting to a Project Lead and a Tech Lead/Data Architect. Qualifications: Bachelor's degree in Computer Science, Engineering, Mathematics, or a related field. Experience: Minimum 3 years in SQL and Data warehousing, and 2 years with Databricks. Languages: Fluent in Dutch or French and English.

Nous recherchons un Data Modeler (Teradata) pour rejoindre notre équipe et jouer un rôle clé dans le développement et la gestion d'un modèle de données logique et cohérent pour la plateforme de données unifiée de notre client. Le consultant devra posséder une solide compétence en modélisation basée sur le modèle Teradata : modèle de données logiques de fabrication. Objectifs principaux : Le consultant contribuera à la définition des fichiers de mapping (spécifications techniques) et à la définition de la plateforme basée sur Databricks. Voici quelques responsabilités clés : Soutenir l'évolution du modèle de données du Groupe pour la plateforme unifiée, Établir des normes et des lignes directrices de modélisation, Collaborer avec les équipes de produits de données pour concevoir et développer le modèle de données logique et physique, Fournir un mapping rapide des concepts commerciaux vers la structure basée sur le Teradata, Intégrer les modifications du modèle avec des contrôles de qualité stricts. Compétences Requises : Teradat Vantage (mandatory) 5 ans d'expérience en modélisation de données, Bonnes connaissances des modèles normalisés et dénormalisés, Compétences en analyse de données, Capacité à travailler dans un environnement agile, Excellente maîtrise de l'anglais. Atouts : Connaissance de DBT est un plus, Expérience avec Databricks appréciée mais non impérative. Autre : Télétravail possible (2 jours / semaine) Date de démarrage : 1er septembre 2026 Date de fin de mission : 31/12/2027

MissionsLe rôle vise à apporter l'expertise nécessaire pour soutenir les projets data et l'écosystème Databricks au sein du groupe. L'équipe met à disposition des environnements d'évaluation et de test, définit les standards et bonnes pratiques d'usage, et accompagne les entités ayant des besoins spécifiques sur des périodes dédiées. Les interlocuteurs sont principalement des Data Specialists et Data Citizens. Les environnements techniques s'appuient sur Databricks AWS et Azure. Les activités se structurent autour de trois axes : Data Engineering : développement et opérations data DevOps / DataOps : déploiement, automatisation, Infrastructure-as-Code, administration des plateformes Expertise : veille technologique, anticipation des évolutions, test et validation des nouvelles fonctionnalités Dans ce contexte, les responsabilités confiées sont les suivantes : Administrer, surveiller et maintenir les espaces de travail Databricks du COE. Élaborer, documenter et faire évoluer les standards, bonnes pratiques et blueprints groupe. Garantir la qualité et la conformité des services fournis aux entités. Accompagner les équipes métiers et data dans l'adoption de l'écosystème Databricks et leur transition vers les normes groupe. Tester, évaluer et recommander les nouvelles fonctionnalités de l'éditeur ou d'outils complémentaires pour améliorer l'expérience globale. Veiller au respect des politiques groupe et accompagner leur mise en œuvre. Contribuer à la conception et à la réalisation des use cases stratégiques portés par les entités.

Ingénierie DevOps & CloudConception et déploiement d'infrastructures Azure via Infrastructure as Code (ARM, YAML, Terraform) Automatisation des environnements et des déploiements Mise en place et optimisation des pipelines CI/CD (Azure DevOps, Git) Contribution aux mises en production et à l'amélioration continue des architectures Pilotage FinOps & Optimisation des coûtsSuivi quotidien et analyse des coûts Azure Identification des dérives et mise en œuvre d'actions correctives Élaboration de prévisions budgétaires et de scénarios d'optimisation Pilotage et communication des gains réalisés Gouvernance & AccompagnementAnimation de la démarche FinOps (rituels, comités, communauté) Contribution aux standards et bonnes pratiques Cloud Accompagnement des équipes projets dans l'adoption des pratiques DevOps / FinOps Participation aux instances de gouvernance Cloud

Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !

Rejoignez un acteur majeur du secteur des transports en commun pour piloter la montée en maturité de sa plateforme Data. Vous structurerez et industrialiserez les pratiques de gouvernance, qualité et gestion des métadonnées au cœur d'un environnement Data complexe mêlant Data Lake, solutions de catalogage et gouvernance transverse. Vous interviendrez sur l'ensemble du cycle de vie des données du Groupe, en garantissant conformité, traçabilité et valorisation des actifs Data. Ce rôle combine expertise fonctionnelle approfondie, maîtrise des enjeux de qualité et capacité à fédérer des stakeholders métiers et informatiques dans l'application de règles de gouvernance ambitieuses. L'environnement technique repose sur une stack moderne (Databricks, outils de catalogage, SI transverse) et une organisation Agile/Scrum. Vous évolurez aux côtés de Data Owners, équipes projets et responsables IT pour déployer une gouvernance Data robuste et durable. Responsabilités : - Piloter les activités de Data Management et de gouvernance sur les plateformes Data du Groupe - Garantir la qualité, la cohérence et la conformité des métadonnées et des référentiels de données - Administrer et faire évoluer les outils de catalogage, de classification et de gouvernance des données - Assurer le Data Lineage entre Databricks, solutions de catalogage et outils du SI - Accompagner les Data Owners et équipes projets dans l'application des règles et standards de gouvernance - Contribuer à la mise en œuvre du programme de qualité des données à l'échelle du Groupe - Piloter les activités Data multi-projets et assurer le suivi des mises en production - Valider la qualité documentaire et la conformité des livrables Data - Produire les reportings, tableaux de bord et indicateurs de gouvernance Data - Coordonner les dispositifs de gouvernance transverse et les Contrats de Confiance Data Télétravail : 2 jours par semaine Localisation : Paris

Au sein d'une équipe Architecture d'une Direction des Infrastructures et de la Production de l'un de nos clients, nous recherchons un(e) architecte technique généraliste qui contribuera aux activités suivantes : - Etudes techniques & Design - Cadrage budgétaire - Définition des best practices d'architecture - Documentation (DAT) - Accompagnement de la stratégie Move2Cloud - Accompagnement des équipes d'exploitation et de développement Environnement général : - Plateformes E-commerce - Plateformes BackOffice & Logistique - Cloud Public Azure & GCP - Cloud Privé (Infrastructure VMWARE Infogérée) - CDN Akamai, LoadBalancing BigIP F5, Firewalling (Checkpoint & Fortinet) - Bases de données MS SQL Server, PostgreSQL, MySQL, IBM DB2, Oracle - Big Data Hadoop, Terradata, MapR, BigQuery, DataBricks - Conteneurisation Docker & Orchestration AKS - Progiciels SAP, Siebel, HRAccess

Contexte de la mission Poste de data engineer, experimenté à senior, avec un savoir faire significatif de realisation de traitements Spark en Scala (pas Python/Pyspark, ou alors en compétence secondaire) Une experience de flux réalisés sur Databricks/Azure serait un plus important. Pour intégrer une équipe de data engineering dans la filiale d'une grande banque française ATTENTION : pas de portage d'independant, ne nous proposez que des collaborateurs que vous avez en CDI Objectifs et livrables Objectifs et livrables Activités principales Développement et intégration Développer et maintenir des pipelines de données sur l'infrastructure existante (batch, streaming, API) Concevoir, optimiser et industrialiser les traitements de données en Spark (Scala) Assurer l'intégration et la gestion de flux de données via Kafka et HDFS Exploiter et administrer des bases de données NoSQL (Cassandra) Gestion du run (rôle tournant) Surveiller la performance et la scalabilité des processus Prendre en charge la résolution des incidents et l'amélioration continue en production Escalader auprès des sachants les anomalies critiques Communiquer les incidents aux parties prenantes le cas échéant. Relation métier et vulgarisation Participer aux ateliers métier pour comprendre les besoins et proposer des solutions adaptées Vulgariser et documenter les travaux réalisés pour faciliter leur appropriation par l'équipe et les parties prenantes Profil recherché Formation : Bac+5 en informatique, data engineering ou équivalent Expérience : Minimum 3 ans sur un poste similaire Compétences techniques requises Maîtrise du développement Spark (Scala) Bonne connaissance de l'écosystème Big Data : HDFS, Kafka, Cassandra Expérience sur des architectures batch, streaming et API Pratique du versioning (git) et des outils d'intégration continue Bonus : experience en env Databricks/Azure Compétences complémentaires (atouts) Databricks Expérience sur Airflow Expérience sur des environnements cloud (Azure) Développement Node.js Pratique de la CI/CD et des outils de monitoring Savoir-être Esprit d'équipe, sens du service et de la communication Capacité à vulgariser et à transmettre ses connaissances Capacité d'analyse Autonomie, rigueur et sens de l'organisation

Our government client is looking for Data Engineers to begin ASAP. Please see below for role description and details. - Hybrid, 2 days per week on site in Swansea, Wales - Inside IR35 - SC clearance required - 3-6 months initially + longer extensions expected Role details: To migrate legacy IMPALA reporting (Oracle materialised views and Discoverer workbooks) to Databricks Lakeflow Declarative Pipelines. The work involves translating existing SQL logic into a lakehouse architecture, building reconciliation checks to validate output against the legacy system, and supporting the pipelines once live. It is mostly SQL knowledge but some familiarity with Python on Databricks (in Azure) will be beneficial. Source data is already available in Databricks - you would be working with tables in Unity Catalog, not managing data ingestion or connectivity. Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take a minimum 10 weeks. LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. An award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over multiple years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.