Find your next tech and IT Job or contract Databricks

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Ingénieur Data Confirmé – Databricks / Hadoop / Scala / Kafka (secteur Énergie) 📍 La Défense (92) | 🏠 10 jours de télétravail / mois | 🗓️ Démarrage : novembre 2025 | ⏱️ Mission longue durée Contexte Dans le cadre du renforcement d’un pôle Data stratégique au sein d’un grand acteur du secteur de l’énergie, nous recherchons un Ingénieur Data confirmé pour accompagner la migration d’une plateforme Hadoop open source vers Databricks et Snowflake . Le projet est en pleine expansion, avec une montée en charge prévue jusqu’à 7 collaborateurs. Vos missions Participer à la migration des traitements Hadoop/Scala vers Databricks et Snowflake Concevoir et industrialiser des pipelines data performants et maintenables Optimiser les traitements Spark (Scala/PySpark) Mettre en œuvre des bonnes pratiques DataOps / CI-CD Accompagner la montée en compétence des équipes internes Environnement technique Hadoop (HDFS, Yarn, Hive), Spark, Scala, Kafka, Databricks, Snowflake, Azure Data Factory, Terraform, dbt Profil recherché Solide expérience sur Hadoop full open source, Spark et Scala Bonne maîtrise de Kafka pour les traitements en streaming Expérience sur Databricks et/ou Snowflake Connaissance d’un environnement cloud (idéalement Azure) Autonomie, rigueur, esprit d’équipe et force de proposition Informations pratiques Localisation : La Défense (2 jours sur site / semaine) Télétravail : 10 jours par mois Démarrage : début novembre 2025 Durée : mission longue, renouvelable

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry. Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

AO – Tech Lead Data Engineer Objectif global : Accompagner un Tech Lead Data Engineer dans le pilotage technique et la réduction de la dette technique. Livrables attendus : - Guidelines techniques & standards de développement. - Cartographie de la dette technique priorisée. Compétences techniques (impératives) : - Databricks – Expert. - Spark – Expert. - Azure – Confirmé. - Modélisation – Confirmé (important). Tech Lead Data Engineer senior disposant d’au moins 5 ans d’expérience en tant que Tech Lead. Missions principales : - Assurer un leadership technique auprès des équipes de développement. - Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. - Participer activement aux phases de conception, développement et tests. - Porter la vision technique au sein des équipes Agile. - Garantir la qualité des livrables et veiller à la réduction de la dette technique. - Réaliser la modélisation des données. - Assurer une veille technologique et participer aux POCs. - Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques. Définition du rôle générique associé : Conception : - Garantir l’exhaustivité et la pertinence des spécifications confiées aux développeurs. - Coordonner les plans de développements et activités des développeurs. - Réaliser la conception technique des applications et des échanges, en privilégiant la réutilisation des composants existants. Développement : - Élaborer et maintenir les directives d’intégration logicielle. - Superviser les aspects techniques d’un projet. - Participer à l’analyse fonctionnelle détaillée des besoins. - Valider le design logiciel et proposer les frameworks adaptés. Normalisation & Qualité : - Garantir la qualité du code et la conformité aux normes/patterns. - Maintenir les abaques de coûts/délais. - Réaliser des audits de code et assurer la qualité des environnements de développement. Assemblage & Livraison : - Assembler les composants unitaires en packages cohérents pour déploiement. - Mettre en place et maintenir une bibliothèque de composants logiciels et normes. Support N3 : - Assurer la résolution des problèmes sur les composants développés. - Contribuer à la rédaction des contrats de TMA avec intégration des normes techniques. Communication & Veille : - Réaliser une veille permanente sur les évolutions technologiques. - Identifier les axes d’amélioration technique et compétences à développer. Informations complémentaires : - Démarrage souhaité : ASAP - Durée estimée : Mission Longue - Lieu : Île-de-France (Châtillon) - Présence sur site : 3 jours par semaine - Astreintes : Non - Déplacements : Non

Nous recherchons un Tech Lead Data (H/F) pour intervenir sur un projet stratégique autour d’une plateforme digitale innovante, connectée à des infrastructures réparties dans plusieurs pays. L’objectif de la mission est de contribuer au développement, à l’évolution et au maintien en conditions opérationnelles d’un Data Lake et de ses pipelines. Vos principales responsabilités : Concevoir et développer des pipelines Data sur Databricks, Python, Spark SQL et Azure Blob Storages . Participer aux déploiements sur les environnements de test et de production. Assurer la maintenance corrective et évolutive des composants logiciels en production. Collaborer avec les équipes de développement Web, IoT, SQL et autres pôles techniques. Apporter un support technique et participer aux choix d’architecture et de conception. Contribuer activement à une organisation en méthodologie Agile (SCRUM) au sein d’une équipe pluridisciplinaire.

Nous recherchons un Tech lead pour accompagner notre client (leader sur le marché international de services de paiement) sur ses projets. L’objectif : concevoir et développer un framework d’ingestion scalable sur Databricks (PySpark, Delta Lake) Vos missions : · Implémenter des pipelines d’ingestion standardisés batch et temps réel (streaming) depuis différentes sources (fichiers, bases de données, APIs, Kafka, etc.). · Mettre en place un framework de contrôle qualité des données ainsi que les mécanismes de monitoring / alerting. · Encadrer techniquement l’équipe, assurer les revues de code et diffuser les bonnes pratiques. · Gérer les workflows GitHub, les stratégies de versioning et les pipelines CI/CD. · Documenter les choix techniques, processus et composants développés. · Collaborer avec les équipes produit, data engineering et métier dans un environnement international anglophone. · Être force de proposition sur les choix d’architecture et l’évolution du framework.

Contexte de la mission : Viveris accompagne ses clients dans la conception, le développement et la mise en oeuvre de solutions analytiques avancées. Dans ce cadre, nous recherchons un Expert sur la technologie Databricks afin d'accompagner notre client dans la migration de ses usages vers cette technologie. Vous êtes intégré dans une Direction des Systèmes d'Information, dans une équipe transverse en charge des domaines Data, Analytics et IA composée de 30 personnes. Responsabilités : - Concevoir et implémenter des pipelines de données performants sur Databricks ; - Optimiser les processus de traitement et d'analyse de données massives ; - Développer des modèles de machine learning et les déployer sur Databricks ; - Assurer la maintenance et l'évolution des infrastructures et des environnements existants ; - Fournir un support technique et des recommandations pour optimiser les performances sur Databricks.

En tant que Technical Lead Databricks sur Azure, votre mission principale est de piloter la dimension technique auprès des équipes de développement en veillant à la cohérence et à la qualité des livrables. Vous jouez un rôle clé dans l’accompagnement des parties prenantes, en traduisant les besoins stratégiques en architectures robustes, sécurisées, évolutives et optimisées spécifiquement pour Azure et la plateforme Databricks.. Cycle projet : conception, développement et validation des solutions.

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).

Nous recherchons un Tech Lead Databricks pour rejoindre l’équipe Data en pleine expansion de notre client, leader dans le domaine de la maitrise des risques. Vous aurez la responsabilité d’assurer la conception et la mise en œuvre de solutions de data engineering et data science sur la plateforme Databricks, tout en assurant le leadership technique pour une équipe de développeurs et data engineers. MISSIONS Leadership technique Coacher une équipe de data engineers, data scientists, et développeurs travaillant sur la plateforme Databricks Mettre en place des bonnes pratiques de développement et veiller à la qualité du code (revues de code, tests unitaires) Conception et architecture Concevoir et implémenter des solutions techniques sur Databricks pour répondre aux besoins des équipes métiers (data analytics, data science) Définir des architectures évolutives et performantes pour l'ingestion, le traitement et l’analyse des données Participer à la modélisation de données Travailler en étroite collaboration avec les architectes, les équipes applicatives et équipes métiers pour définir des solutions adaptées Développement et intégration Développer des pipelines de données et des workflows de traitement de données dans Databricks Assurer l'intégration des solutions avec d'autres outils et systèmes (bases de données, systèmes de stockage, outils de BI) Participer au développement des tableaux de bord sous Power BI Optimisation des performances Identifier et résoudre les problèmes de performance dans les flux de données et l'architecture Mettre en place des mécanismes d'optimisation des coûts liés à l’utilisation de la plateforme Databricks Veille technologique et innovation Assurer une veille sur les nouvelles technologies et pratiques dans l’écosystème Big Data et Databricks Proposer des améliorations continues pour augmenter l’efficacité des processus et la qualité des données Accompagner et former les équipes IT aux bonnes pratiques ITIL

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

En tant que Tech Lead Data Engineer, vous serez impliqué dans les phases de design des applications et garant de la solution technique . À ce titre, vos principales responsabilités seront : · Assurer un leadership technique auprès des équipes de développement. · Conseiller les parties prenantes et traduire les exigences stratégiques en architectures Azure et Databricks sécurisées, scalables et fiables. · Participer activement aux phases de conception, développement et tests. · Porter la vision technique au sein des équipes Agile. · Garantir la qualité des livrables et veiller à la réduction de la dette technique. · Réaliser la modélisation des données. · Assurer une veille technologique et participer aux POCs. · Enrichir la communauté des Data Engineers par le partage de connaissances et la promotion des bonnes pratiques.

Bonjour, Pour le compte de l'un de mes clients parisiens, pour un démarrage dès début octobre, je suis à la recherche d'un développeur Azure - Databricks. La centrale d'achats de mon client mène un projet de datalake pour centraliser, trier & exploiter les données fournisseurs et clients sous une dimension européene. Dans ce cadre là, il est recherché sur Paris d'un développeur Azure Databricks avec toute la stack azure maitrisée. Curiosité, envie d'apprendre & apétence pour l'IA mandatory.

Bonjour, je suis à la recherche d'un architecte Cloud Azure dont vous trouverez la fiche de poste ci-dessous: Architecte Cloud Azure Missions principales En tant qu’Architecte Cloud Azure, vous serez responsable de la conception et de la validation des architectures techniques dans un environnement cloud. Vous interviendrez sur des projets stratégiques en lien avec les équipes métiers, IT et sécurité. Vos responsabilités incluent : Concevoir l’architecture cible : réalisation du High-Level Design et du Detailed Design. Évaluer plusieurs options et recommander l’architecture cible la plus adaptée. Collaborer étroitement avec les éditeurs de logiciels, les utilisateurs métiers, les équipes projets IT et sécurité. Rédiger le document d’architecture générale et le soumettre au comité d’architecture pour validation.

Contrainte forte du projet - Le livrable est TDB suivi des flux Compétences techniques Azure - Confirmé - Impératif modelisation data - Confirmé - Impératif databricks - Junior - Important méthodo agile - Junior - Important Description détaillée Contexte de la mission Au sein du pôle Produits/Projets Data, vous interviendrez en tant que Chef de Projet Coordinateur pour piloter les flux d’ingestion et d'exposition de données dans le cadre de projets stratégiques (analyse client, performance commerciale, etc.). Objectifs de la mission - Coordonner des projets d’ingestion de données depuis les sources (internes ou externes), jusqu’à la plateforme de traitement Data, sous Cloud Microsoft Azure - Coordonner des projets d'exposition de données vers des partenaires (internes ou externes) - Assurer la qualité, la traçabilité et la conformité des données ingérées. - Collaborer avec les équipes techniques (responsables d’application ; Data Engineers ; System Architect ; DevOps), ainsi qu'avec les PO et PM métiers - Garantir le respect des délais, des coûts et de la qualité des livrables. - Participer à l’amélioration continue des processus d’ingestion 🛠️ Compétences techniques requises - Gestion de projet : méthodologie Agile/Scrum/Kanban ; Outils Jira, Confluence - Bonnes connaissances des architectures Data : Data Lake, APIs, batch & streaming. - Expérience confirmée sur des projets Data : pilotage ; conception ; modélisation - Suivi de la mise à jour des livrables de documentations : Contrats d’interface ; Inventaire des flux - Maîtrise des outils d’ingestion : Azure Data Factory - Bonnes connaissances des environnements Cloud - Notions de gouvernance des données : qualité, catalogage, sécurité, RGPD. - Expérience dans le secteur du retail serait un plus

Hello, Pour le compte de l'un de mes clients Lyonnais, je suis à la recherche d'un leader technique. QUALITES RECHERCHEES : • Connaissances avancées fonctionnelles des technologies suivantes : Postgres, PowerBI, Databreaks, Angular/React en mode Cloud et On Primise au possible • Pilotage / Supervision technique haut niveau de l’équipe en fonction des besoins • Expérience significative dans la mise en oeuvre de besoin impliquant plusieurs SI • Force de proposition sur l’amélioration de la surveillance de l’application et sur les évolutions techniques de l’application • Capacité à prendre du recul et à avoir une vision globale sur les technologies utilisées • Capacité à gérer les contraintes de délai et les périodes de stress inhérentes au projet • Expérience dans l’analyse des besoins techniques et dans l’animation d’ateliers techniques • Bonne communication et bonne capacité à s’adapter à ses interlocuteurs • Une expérience dans l'énergie serait un plus