Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Nous recherchons un Tech Lead Databricks pour rejoindre l’équipe Data en pleine expansion de notre client, leader dans le domaine de la maitrise des risques. Vous aurez la responsabilité d’assurer la conception et la mise en œuvre de solutions de data engineering et data science sur la plateforme Databricks, tout en assurant le leadership technique pour une équipe de développeurs et data engineers. MISSIONS Leadership technique Coacher une équipe de data engineers, data scientists, et développeurs travaillant sur la plateforme Databricks Mettre en place des bonnes pratiques de développement et veiller à la qualité du code (revues de code, tests unitaires) Conception et architecture Concevoir et implémenter des solutions techniques sur Databricks pour répondre aux besoins des équipes métiers (data analytics, data science) Définir des architectures évolutives et performantes pour l'ingestion, le traitement et l’analyse des données Participer à la modélisation de données Travailler en étroite collaboration avec les architectes, les équipes applicatives et équipes métiers pour définir des solutions adaptées Développement et intégration Développer des pipelines de données et des workflows de traitement de données dans Databricks Assurer l'intégration des solutions avec d'autres outils et systèmes (bases de données, systèmes de stockage, outils de BI) Participer au développement des tableaux de bord sous Power BI Optimisation des performances Identifier et résoudre les problèmes de performance dans les flux de données et l'architecture Mettre en place des mécanismes d'optimisation des coûts liés à l’utilisation de la plateforme Databricks Veille technologique et innovation Assurer une veille sur les nouvelles technologies et pratiques dans l’écosystème Big Data et Databricks Proposer des améliorations continues pour augmenter l’efficacité des processus et la qualité des données Accompagner et former les équipes IT aux bonnes pratiques ITIL

Nous recherchons un Tech Lead Data (H/F) pour intervenir sur un projet stratégique autour d’une plateforme digitale innovante, connectée à des infrastructures réparties dans plusieurs pays. L’objectif de la mission est de contribuer au développement, à l’évolution et au maintien en conditions opérationnelles d’un Data Lake et de ses pipelines. Vos principales responsabilités : Concevoir et développer des pipelines Data sur Databricks, Python, Spark SQL et Azure Blob Storages . Participer aux déploiements sur les environnements de test et de production. Assurer la maintenance corrective et évolutive des composants logiciels en production. Collaborer avec les équipes de développement Web, IoT, SQL et autres pôles techniques. Apporter un support technique et participer aux choix d’architecture et de conception. Contribuer activement à une organisation en méthodologie Agile (SCRUM) au sein d’une équipe pluridisciplinaire.

Bonjour, Pour le compte de l'un de mes clients parisiens, pour un démarrage dès début octobre, je suis à la recherche d'un développeur Azure - Databricks. La centrale d'achats de mon client mène un projet de datalake pour centraliser, trier & exploiter les données fournisseurs et clients sous une dimension européene. Dans ce cadre là, il est recherché sur Paris d'un développeur Azure Databricks avec toute la stack azure maitrisée. Curiosité, envie d'apprendre & apétence pour l'IA mandatory.

Nous recherchons un Expert SQL Serveur, Power BI et modélisation de données, avec une expérience dans un environnement Databricks pour une mission basée à Guyancourt. La mission portera sur : la migration de reportings Power BI depuis une plateforme Datawarehouse sous SQL Server vers Databricks, l’optimisation de rapports existants, l’accompagnement des utilisateurs, la création de nouveaux reportings. Vous avez une vraie expertise sur l'ETL SQL Server, Powerbi et Databricks. Vous êtes autonome et parlez anglais. Vous avez une dizaine d'année d'expérience en BI principalement sur SQL Serveur. Vous avez déjà travaillé en environnement PME. La mission est basée à Guyancourt. Important: Le site est mal desservi et il vaut mieux être véhiculé. Une partie de la mission pourra se faire en remote après une période d'onboarding.

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.

Ton quotidien chez Komeet sera rythmé par : - Animation des ateliers afin d’étudier et cadrer les besoins clients. - Analyser, conseiller, et faire des recommandations de façon à améliorer l’efficience et l’efficacité de la solution Databricks chez ton client. - Préconisation, conception et mise en œuvre du LakeHouse Databricks - Rédaction de dossiers d’architecture et spécifications techniques - Mise en œuvre des stratégies d’exploitation de la plateforme Databricks - Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. - Tests, validation et documentation des développements - Réalisation d’audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Dans le cadre d’un projet stratégique autour de la modernisation de la plateforme data, nous recherchons un Data Engineer Azure Databricks confirmé pour concevoir et déployer des pipelines de données de bout en bout, jusqu’à la mise à disposition des rapports pour les métiers. Vos missions principales : Concevoir et développer des pipelines de données robustes et scalables dans Azure Databricks . Mettre en œuvre l’ architecture Médaillon (Bronze, Silver, Gold) pour la gestion et la gouvernance des données. Développer en SQL et PySpark , avec des notions en Scala. Assurer l’intégration et la mise à disposition des données dans Power BI (jusqu’à la livraison des rapports). Participer à des tâches de Data Science (20% du rôle) : préparation des données, entraînement de modèles simples, support aux Data Scientists. Contribuer aux choix d’architecture et aux bonnes pratiques de gouvernance. Explorer et intégrer les nouvelles possibilités offertes par Microsoft Fabric (un plus apprécié).

Dans le cadre d’un vaste programme de transformation digitale, notre client dans le secteur énergétique met en place une nouvelle plateforme Data afin de centraliser, traiter et valoriser ses données stratégiques. Le Data Engineer rejoindra une équipe pluridisciplinaire composée de Data Scientists, Data Analysts et Architectes Cloud. La mission consistera notamment à : Concevoir, développer et industrialiser des pipelines de données robustes et scalables. Mettre en place des solutions de traitement et de transformation de données en temps réel et batch. Participer à l’optimisation de la gouvernance et de la qualité des données. Travailler sur l’intégration de cas d’usage liés à l’IA (LLM, RAG). Contribuer à la migration et au déploiement de solutions sur des environnements Dataiku ou Databricks . Collaborer étroitement avec les équipes métiers pour comprendre les besoins et les traduire en solutions techniques fiables.

Contexte L’entité Data, Technologie et Innovation est une structure opérationnelle et transverse. Elle met la technologie au service de la stratégie globale, en proposant des services aux différentes entités et en répondant aux besoins métiers. Profil recherché : Data Engineer Snowflake DBT Description de la mission Rattaché(e) au Data Office & Services nouvellement créé ainsi qu’au Centre d’Excellence (COE), le partenaire externe aura pour missions de : Concevoir et déployer des plateformes de données (Snowflake, BigQuery, Databricks). Assurer le monitoring et la gouvernance des plateformes Snowflake et DBT. Superviser et accompagner les équipes de développement. Maîtriser et optimiser les coûts (FinOps par projet fonctionnel). Automatiser l’infrastructure et les processus (Git/GitLab CI/CD). Développer des méthodes d’ingestion de données (maîtrise d’un ou plusieurs ETL et/ou scripting Python). Définir et mettre en place les bonnes pratiques ainsi que les normes de développement. Former les équipes aux outils et méthodes. Modéliser l’entrepôt de données (Kimball, Data Vault, etc.) pour intervenir sur les différents sujets de la Data Factory. Rédiger la documentation technique et fonctionnelle ainsi que les bonnes pratiques de développement. Développer et déployer des frameworks (QA, ELT, GitLab, etc.). Établir des normes et bonnes pratiques de sécurité et d’optimisation. Optimiser les coûts et mettre en œuvre des approches DataOps.

Contexte de la mission : Viveris accompagne ses clients dans la conception, le développement et la mise en oeuvre de solutions analytiques avancées. Dans ce cadre, nous recherchons un Expert sur la technologie Databricks afin d'accompagner notre client dans la migration de ses usages vers cette technologie. Vous êtes intégré dans une Direction des Systèmes d'Information, dans une équipe transverse en charge des domaines Data, Analytics et IA composée de 30 personnes. Responsabilités : - Concevoir et implémenter des pipelines de données performants sur Databricks ; - Optimiser les processus de traitement et d'analyse de données massives ; - Développer des modèles de machine learning et les déployer sur Databricks ; - Assurer la maintenance et l'évolution des infrastructures et des environnements existants ; - Fournir un support technique et des recommandations pour optimiser les performances sur Databricks.

Le client lance un programme de transformation de sa plateforme data, visant à : Migrer l’environnement legacy vers Databricks Implémenter Unity Catalog pour la gouvernance centralisée Déployer Azure Purview pour la traçabilité, le lineage, et la conformité RGPD Harmoniser les pratiques de gouvernance au sein de plusieurs entités européennes L’environnement est fortement réglementé, avec des interactions régulières avec la direction conformité, sécurité, IT, métiers et DPO. Le directeur de programme sera responsable de : La coordination stratégique de plusieurs chantiers techniques et fonctionnels L’animation des comités de gouvernance La priorisation, l’arbitrage et la gestion des risques Le reporting au COMEX groupe

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support.

En tant que Lead Data Engineer , vous rejoindrez le département Data Analytics d'un cabinet du Big Four . Vous serez un acteur clé dans la transformation de nos capacités d'analyse et de gestion de données. Votre rôle sera d'orchestrer la chaîne de livraison des projets data, en coordonnant une équipe de 1 à 4 développeurs. Vous serez le point de contact technique avec les parties prenantes internes, assurant la bonne planification et l'exécution des projets, souvent en gérant plusieurs sujets en parallèle. Sur le plan technique, vous concevrez et mettrez en œuvre des modèles de données analytiques (cubes, SSAS, etc.) et définirez les KPI pour les dashboards. Vous gérerez les flux de données avec des outils comme Azure Data Factory ou SSIS . Une de vos missions principales sera la construction, dans les mois à venir, d'un Data Lake unique et d'un catalogue de données , en utilisant l' architecture Medallion et en choisissant une technologie de catalogue de données appropriée.

Nous recherchons un Data Engineer confirmé pour accompagner un programme stratégique de migration vers Databricks sur Azure. ✅ 4 jours de TT, 1 jour de présentiel à paris ✅ Conseiller le client sur les meilleurs pratiques à adopter ✅ Participer à la migration d’une plateforme legacy vers Databricks ✅ Développer et optimiser des pipelines Spark sur Azure ✅ Collaborer avec les Data Architects et Data Scientists dans un contexte à fort enjeu métier ✅ Améliorer la performance, la robustesse et l’automatisation des flux de données