Find your next tech and IT Job or contract Databricks

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Nous recherchons un Tech lead pour accompagner notre client (leader sur le marché international de services de paiement) sur ses projets. L’objectif : concevoir et développer un framework d’ingestion scalable sur Databricks (PySpark, Delta Lake) Vos missions : · Implémenter des pipelines d’ingestion standardisés batch et temps réel (streaming) depuis différentes sources (fichiers, bases de données, APIs, Kafka, etc.). · Mettre en place un framework de contrôle qualité des données ainsi que les mécanismes de monitoring / alerting. · Encadrer techniquement l’équipe, assurer les revues de code et diffuser les bonnes pratiques. · Gérer les workflows GitHub, les stratégies de versioning et les pipelines CI/CD. · Documenter les choix techniques, processus et composants développés. · Collaborer avec les équipes produit, data engineering et métier dans un environnement international anglophone. · Être force de proposition sur les choix d’architecture et l’évolution du framework.

Nous recherchons un Tech Lead Data (H/F) pour intervenir sur un projet stratégique autour d’une plateforme digitale innovante, connectée à des infrastructures réparties dans plusieurs pays. L’objectif de la mission est de contribuer au développement, à l’évolution et au maintien en conditions opérationnelles d’un Data Lake et de ses pipelines. Vos principales responsabilités : Concevoir et développer des pipelines Data sur Databricks, Python, Spark SQL et Azure Blob Storages . Participer aux déploiements sur les environnements de test et de production. Assurer la maintenance corrective et évolutive des composants logiciels en production. Collaborer avec les équipes de développement Web, IoT, SQL et autres pôles techniques. Apporter un support technique et participer aux choix d’architecture et de conception. Contribuer activement à une organisation en méthodologie Agile (SCRUM) au sein d’une équipe pluridisciplinaire.

At CGI, we empower our clients to transform how they harness the power of data, delivering measurable outcomes that drive growth and innovation. As our Databricks Architect, you will play a pivotal role in shaping strategic opportunities with Databricks, influencing key decisions, and accelerating value for clients. From crafting compelling architectures to delivering proof-of-value solutions, you will help position CGI at the forefront of data and AI transformation, while collaborating with partners and clients to unlock the true potential of the Databricks Lakehouse. This is an exciting opportunity to lead from the front, make a lasting impact, and grow your career within a culture that champions ownership, creativity, and collaboration. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK ‘Best Employer’ by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you’ll be part of an open, friendly community of experts. We’ll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. This is a hybrid position.

Contexte de la mission : Viveris accompagne ses clients dans la conception, le développement et la mise en oeuvre de solutions analytiques avancées. Dans ce cadre, nous recherchons un Expert sur la technologie Databricks afin d'accompagner notre client dans la migration de ses usages vers cette technologie. Vous êtes intégré dans une Direction des Systèmes d'Information, dans une équipe transverse en charge des domaines Data, Analytics et IA composée de 30 personnes. Responsabilités : - Concevoir et implémenter des pipelines de données performants sur Databricks ; - Optimiser les processus de traitement et d'analyse de données massives ; - Développer des modèles de machine learning et les déployer sur Databricks ; - Assurer la maintenance et l'évolution des infrastructures et des environnements existants ; - Fournir un support technique et des recommandations pour optimiser les performances sur Databricks.

AO – Tech Lead Data Engineer Objectif global : Accompagner un Tech Lead Data Engineer dans le pilotage technique et la réduction de la dette technique. Livrables attendus : - Guidelines techniques & standards de développement. - Cartographie de la dette technique priorisée. Compétences techniques (impératives) : - Databricks – Expert. - Spark – Expert. - Azure – Confirmé. - Modélisation – Confirmé (important). Tech Lead Data Engineer senior disposant d’au moins 5 ans d’expérience en tant que Tech Lead. Missions principales : - Assurer un leadership technique auprès des équipes de développement. - Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. - Participer activement aux phases de conception, développement et tests. - Porter la vision technique au sein des équipes Agile. - Garantir la qualité des livrables et veiller à la réduction de la dette technique. - Réaliser la modélisation des données. - Assurer une veille technologique et participer aux POCs. - Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques. Définition du rôle générique associé : Conception : - Garantir l’exhaustivité et la pertinence des spécifications confiées aux développeurs. - Coordonner les plans de développements et activités des développeurs. - Réaliser la conception technique des applications et des échanges, en privilégiant la réutilisation des composants existants. Développement : - Élaborer et maintenir les directives d’intégration logicielle. - Superviser les aspects techniques d’un projet. - Participer à l’analyse fonctionnelle détaillée des besoins. - Valider le design logiciel et proposer les frameworks adaptés. Normalisation & Qualité : - Garantir la qualité du code et la conformité aux normes/patterns. - Maintenir les abaques de coûts/délais. - Réaliser des audits de code et assurer la qualité des environnements de développement. Assemblage & Livraison : - Assembler les composants unitaires en packages cohérents pour déploiement. - Mettre en place et maintenir une bibliothèque de composants logiciels et normes. Support N3 : - Assurer la résolution des problèmes sur les composants développés. - Contribuer à la rédaction des contrats de TMA avec intégration des normes techniques. Communication & Veille : - Réaliser une veille permanente sur les évolutions technologiques. - Identifier les axes d’amélioration technique et compétences à développer. Informations complémentaires : - Démarrage souhaité : ASAP - Durée estimée : Mission Longue - Lieu : Île-de-France (Châtillon) - Présence sur site : 3 jours par semaine - Astreintes : Non - Déplacements : Non

Nous recherchons un Tech Lead Databricks pour rejoindre l’équipe Data en pleine expansion de notre client, leader dans le domaine de la maitrise des risques. Vous aurez la responsabilité d’assurer la conception et la mise en œuvre de solutions de data engineering et data science sur la plateforme Databricks, tout en assurant le leadership technique pour une équipe de développeurs et data engineers. MISSIONS Leadership technique Coacher une équipe de data engineers, data scientists, et développeurs travaillant sur la plateforme Databricks Mettre en place des bonnes pratiques de développement et veiller à la qualité du code (revues de code, tests unitaires) Conception et architecture Concevoir et implémenter des solutions techniques sur Databricks pour répondre aux besoins des équipes métiers (data analytics, data science) Définir des architectures évolutives et performantes pour l'ingestion, le traitement et l’analyse des données Participer à la modélisation de données Travailler en étroite collaboration avec les architectes, les équipes applicatives et équipes métiers pour définir des solutions adaptées Développement et intégration Développer des pipelines de données et des workflows de traitement de données dans Databricks Assurer l'intégration des solutions avec d'autres outils et systèmes (bases de données, systèmes de stockage, outils de BI) Participer au développement des tableaux de bord sous Power BI Optimisation des performances Identifier et résoudre les problèmes de performance dans les flux de données et l'architecture Mettre en place des mécanismes d'optimisation des coûts liés à l’utilisation de la plateforme Databricks Veille technologique et innovation Assurer une veille sur les nouvelles technologies et pratiques dans l’écosystème Big Data et Databricks Proposer des améliorations continues pour augmenter l’efficacité des processus et la qualité des données Accompagner et former les équipes IT aux bonnes pratiques ITIL

En tant que Technical Lead Databricks sur Azure, votre mission principale est de piloter la dimension technique auprès des équipes de développement en veillant à la cohérence et à la qualité des livrables. Vous jouez un rôle clé dans l’accompagnement des parties prenantes, en traduisant les besoins stratégiques en architectures robustes, sécurisées, évolutives et optimisées spécifiquement pour Azure et la plateforme Databricks.. Cycle projet : conception, développement et validation des solutions.

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

Bonjour, Pour le compte de l'un de mes clients parisiens, pour un démarrage dès début octobre, je suis à la recherche d'un développeur Azure - Databricks. La centrale d'achats de mon client mène un projet de datalake pour centraliser, trier & exploiter les données fournisseurs et clients sous une dimension européene. Dans ce cadre là, il est recherché sur Paris d'un développeur Azure Databricks avec toute la stack azure maitrisée. Curiosité, envie d'apprendre & apétence pour l'IA mandatory.

Bonjour, je suis à la recherche d'un architecte Cloud Azure dont vous trouverez la fiche de poste ci-dessous: Architecte Cloud Azure Missions principales En tant qu’Architecte Cloud Azure, vous serez responsable de la conception et de la validation des architectures techniques dans un environnement cloud. Vous interviendrez sur des projets stratégiques en lien avec les équipes métiers, IT et sécurité. Vos responsabilités incluent : Concevoir l’architecture cible : réalisation du High-Level Design et du Detailed Design. Évaluer plusieurs options et recommander l’architecture cible la plus adaptée. Collaborer étroitement avec les éditeurs de logiciels, les utilisateurs métiers, les équipes projets IT et sécurité. Rédiger le document d’architecture générale et le soumettre au comité d’architecture pour validation.

Hello, Pour le compte de l'un de mes clients Lyonnais, je suis à la recherche d'un leader technique. QUALITES RECHERCHEES : • Connaissances avancées fonctionnelles des technologies suivantes : Postgres, PowerBI, Databreaks, Angular/React en mode Cloud et On Primise au possible • Pilotage / Supervision technique haut niveau de l’équipe en fonction des besoins • Expérience significative dans la mise en oeuvre de besoin impliquant plusieurs SI • Force de proposition sur l’amélioration de la surveillance de l’application et sur les évolutions techniques de l’application • Capacité à prendre du recul et à avoir une vision globale sur les technologies utilisées • Capacité à gérer les contraintes de délai et les périodes de stress inhérentes au projet • Expérience dans l’analyse des besoins techniques et dans l’animation d’ateliers techniques • Bonne communication et bonne capacité à s’adapter à ses interlocuteurs • Une expérience dans l'énergie serait un plus

Contrainte forte du projet - Le livrable est TDB suivi des flux Compétences techniques Azure - Confirmé - Impératif modelisation data - Confirmé - Impératif databricks - Junior - Important méthodo agile - Junior - Important Description détaillée Contexte de la mission Au sein du pôle Produits/Projets Data, vous interviendrez en tant que Chef de Projet Coordinateur pour piloter les flux d’ingestion et d'exposition de données dans le cadre de projets stratégiques (analyse client, performance commerciale, etc.). Objectifs de la mission - Coordonner des projets d’ingestion de données depuis les sources (internes ou externes), jusqu’à la plateforme de traitement Data, sous Cloud Microsoft Azure - Coordonner des projets d'exposition de données vers des partenaires (internes ou externes) - Assurer la qualité, la traçabilité et la conformité des données ingérées. - Collaborer avec les équipes techniques (responsables d’application ; Data Engineers ; System Architect ; DevOps), ainsi qu'avec les PO et PM métiers - Garantir le respect des délais, des coûts et de la qualité des livrables. - Participer à l’amélioration continue des processus d’ingestion 🛠️ Compétences techniques requises - Gestion de projet : méthodologie Agile/Scrum/Kanban ; Outils Jira, Confluence - Bonnes connaissances des architectures Data : Data Lake, APIs, batch & streaming. - Expérience confirmée sur des projets Data : pilotage ; conception ; modélisation - Suivi de la mise à jour des livrables de documentations : Contrats d’interface ; Inventaire des flux - Maîtrise des outils d’ingestion : Azure Data Factory - Bonnes connaissances des environnements Cloud - Notions de gouvernance des données : qualité, catalogage, sécurité, RGPD. - Expérience dans le secteur du retail serait un plus

Nous recherchons un Expert SQL Serveur, Power BI et modélisation de données, avec une expérience dans un environnement Databricks pour une mission basée à Guyancourt. La mission portera sur : la migration de reportings Power BI depuis une plateforme Datawarehouse sous SQL Server vers Databricks, l’optimisation de rapports existants, l’accompagnement des utilisateurs, la création de nouveaux reportings. Vous avez une vraie expertise sur l'ETL SQL Server, Powerbi et Databricks. Vous êtes autonome et parlez anglais. Vous avez une dizaine d'année d'expérience en BI principalement sur SQL Serveur. Vous avez déjà travaillé en environnement PME. La mission est basée à Guyancourt. Important: Le site est mal desservi et il vaut mieux être véhiculé. Une partie de la mission pourra se faire en remote après une période d'onboarding.

Contexte du poste Rejoignez notre Centre d'Excellence Digital au sein d'une entreprise leader dans le secteur de la distribution. Basée à Chatillon, notre équipe est à la pointe de la transformation numérique, en particulier sur les projets de données et d'analytics visant à optimiser les performances commerciales de nos points de vente. Dans un contexte d'industrialisation accélérée et d'organisation agile, nous recherchons un Tech Lead Data Engineer pour renforcer notre équipe Data Lab. Votre rôle est crucial dans des projets ambitieux destinés à concevoir et déployer des produits analytiques innovants pour l'ensemble des fonctions métiers. Ce poste est à pourvoir dans une optique de prolonger notre croissance et d'accompagner notre transformation digitale. Missions Principales Missions : Assurer un leadership technique auprès des équipes de développement et coordonner les activités autour de Databricks, Spark et Azure. Conseiller et accompagner les parties prenantes dans la traduction des exigences stratégiques en solutions techniques sécurisées, scalables et fiables. Réaliser la conception technique des applications, des échanges et garantir la qualité des livrables tout en veillant à réduire la dette technique. Faire de la veille technologique et participer activement aux proof-of-concepts (POCs). Missions Annexes : Enrichir la communauté Data Engineers via le partage de connaissances. Participer aux phases de développement et aux tests des solutions.