Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Hello, Pour le compte de l'un de mes clients Lyonnais, je suis à la recherche d'un leader technique. QUALITES RECHERCHEES : • Connaissances avancées fonctionnelles des technologies suivantes : Postgres, PowerBI, Databreaks, Angular/React en mode Cloud et On Primise au possible • Pilotage / Supervision technique haut niveau de l’équipe en fonction des besoins • Expérience significative dans la mise en oeuvre de besoin impliquant plusieurs SI • Force de proposition sur l’amélioration de la surveillance de l’application et sur les évolutions techniques de l’application • Capacité à prendre du recul et à avoir une vision globale sur les technologies utilisées • Capacité à gérer les contraintes de délai et les périodes de stress inhérentes au projet • Expérience dans l’analyse des besoins techniques et dans l’animation d’ateliers techniques • Bonne communication et bonne capacité à s’adapter à ses interlocuteurs • Une expérience dans l'énergie serait un plus

Nous recherchons une prestation de Data Engineer avec des compétences sur Python/PySpark/Databricks sur un environnement cloud AWS. Le Data Engineer sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment : Collecter les exigences des métiers et des utilisateurs Concevoir l'architecture de données Concevoir les pipelines de données Mettre en production l'architecture Assurer la maintenance et l'évolution de l'architecture Compétences requises Maîtrise des technologies suivantes : Python 4/4 PySpark 4/4 Databricks 3/4 AWS 3/4 Anglais 3/4 Jours de télétravail : 2 Présence obligatoire sur site 3 jours par semaine Compétences Niveau de compétence Python - Expert PYSPARK - Expert Databricks - Confirmé CLOUD AWS - Confirmé Langues Anglais - Courant

Je recherche pour un de mes client dans le monde le l'assurance un Data Engineer Databricks : Les principales missions sont les suivantes : • Faire évoluer les pipelines de données existantes dans l’environnement Databricks, en s’appuyant sur Unity Catalog pour assurer la traçabilité, la gouvernance et la sécurité des données • Intégrer et structurer les données de gestion interne dans la plateforme, en assurant leur cohérence avec les besoins métiers (analyse d’impact). • Réaliser des analyses exploratoires et des contrôles de cohérence, afin d’identifier les anomalies, de proposer une évolution de la brique existante et de fiabiliser les jeux de données. • Optimiser les traitements du lot1 et les performances, tout en assurant une documentation technique rigoureuse et une collaboration étroite avec les équipes MOA et métiers. Niveau d’expérience • Expérience opérationnelle (≥ 7 ans) en data engineering ou data analyse • Expérience confirmée en environnement cloud et CI/CD Compétences clés • Conception et optimisation de pipelines de données complexes dans Databricks • Intégration de données métiers • Mise en œuvre de contrôles qualité, sécurité et anonymisation • Analyse exploratoire, production d’indicateurs et visualisations • Documentation technique, versioning et collaboration transverse • Mise en place de processus CI/CD pour les workflows data • Compétence appréciée : Connaissance des bases client, notamment dans le cadre de l’exploitation de données du secteur assurance Outils et pratiques maîtrisés • Databricks, Spark (PySpark) • Unity Catalog, SQL avancé • Outils de visualisation : Power BI • Jenkins pour l’automatisation des déploiements • Pratiques CI/CD : tests automatisés, intégration continue, déploiement de pipelines • Git / GitHub / GitLab • Cloud : Azure (préféré)

Nous recherchons un Senior Data Modeling Engineer pour concevoir et mettre en œuvre des modèles de données robustes, évolutifs et alignés sur les besoins métier, destinés à alimenter diverses analyses, reporting BI et projets de data science. Missions principales : 1. Conception des modèles de données Définir et appliquer les standards et bonnes pratiques de modélisation de données Concevoir les modèles logiques et physiques pour l’intégration de données provenant du CRM, de la facturation et d’autres systèmes opérationnels. Documenter et maintenir les tables et relations en utilisant des outils de modélisation 2. Développement des modèles de données Créer les modèles de données conformément aux standards définis et aux bonnes pratiques de la plateforme (environnements, versioning, code…). Transformer les données via des outils ETL (ex. Databricks, Dataiku) selon les spécifications. Documenter le développement en respectant les pratiques définies. Optimiser les modèles pour la performance, le coût, la scalabilité et l’usage par les équipes BI et data science. 3. Collaboration et support métier Travailler avec les data engineers et architectes pour comprendre la structure des données ingérées. Contribuer aux initiatives de gouvernance et qualité des données en garantissant que les modèles respectent les règles et définitions métier.

🚨 Mission Freelance – Data Engineer 🚨 🚫 Pas de sous-traitance Je recherche un·e Data Engineer (Python / PySpark / Databricks / AWS) pour une mission stratégique au sein d’un grand groupe international dans l’énergie 🔋 📍 Paris – 3 jours sur site / 2 jours remote 🕐 Démarrage : 08/12/2025 💰 TJM selon profil Process : Codingame puis live coding 🔥 Ce qui t’attend : ✅ Mission longue durée ✅ Participation à la conception & à la mise en production d’architectures data déployées à l’échelle internationale 🌍 ✅ Environnement technique exigeant, méthodologie robuste & contexte multi-pays 🧠 Stack technique recherchée : Python ⭐⭐⭐⭐ (Expert) PySpark ⭐⭐⭐⭐ (Expert) Databricks ⭐⭐⭐ (Confirmé) Cloud AWS ⭐⭐⭐ (Confirmé) Bonus : culture data engineering avancée, industrialisation, bonne compréhension des architectures distribuées. 📩 Intéressé·e ? 👉 Envoie-moi ton CV en MP ⚠️ Seuls les profils correspondant strictement au besoin seront recontactés.

Ingénieur Data Confirmé – Databricks / Hadoop / Scala / Kafka (secteur Énergie) 📍 La Défense (92) | 🏠 10 jours de télétravail / mois | 🗓️ Démarrage : novembre 2025 | ⏱️ Mission longue durée Contexte Dans le cadre du renforcement d’un pôle Data stratégique au sein d’un grand acteur du secteur de l’énergie, nous recherchons un Ingénieur Data confirmé pour accompagner la migration d’une plateforme Hadoop open source vers Databricks et Snowflake . Le projet est en pleine expansion, avec une montée en charge prévue jusqu’à 7 collaborateurs. Vos missions Participer à la migration des traitements Hadoop/Scala vers Databricks et Snowflake Concevoir et industrialiser des pipelines data performants et maintenables Optimiser les traitements Spark (Scala/PySpark) Mettre en œuvre des bonnes pratiques DataOps / CI-CD Accompagner la montée en compétence des équipes internes Environnement technique Hadoop (HDFS, Yarn, Hive), Spark, Scala, Kafka, Databricks, Snowflake, Azure Data Factory, Terraform, dbt Profil recherché Solide expérience sur Hadoop full open source, Spark et Scala Bonne maîtrise de Kafka pour les traitements en streaming Expérience sur Databricks et/ou Snowflake Connaissance d’un environnement cloud (idéalement Azure) Autonomie, rigueur, esprit d’équipe et force de proposition Informations pratiques Localisation : La Défense (2 jours sur site / semaine) Télétravail : 10 jours par mois Démarrage : début novembre 2025 Durée : mission longue, renouvelable

Dans le cadre du développement de ses activités autour de la Data Platform et de l’Intelligence Artificielle Générative , Hextaem recherche un(e) Architecte Data pour intervenir sur la conception, l’industrialisation et la modernisation d’une plateforme Big Data Cloud bâtie sur AWS , Databricks et des services IA avancés. L’objectif est de définir et de mettre en œuvre une architecture scalable, sécurisée et orientée IA , capable de supporter les cas d’usage analytiques, data science et génAI (RAG, copilotes, modèles internes). Missions principales 1. Conception et architecture de la plateforme Data Définir l’architecture cible sur AWS (S3, Glue, Athena, Lambda, Redshift, etc.). Concevoir les pipelines de données dans Databricks (ingestion, transformation, orchestration). Définir les standards de data quality, gouvernance et sécurité (IAM, encryption, lineage). Structurer les environnements (bronze / silver / gold) selon les meilleures pratiques Lakehouse. 2. Gouvernance et performance Mettre en place des patterns de développement et d’industrialisation (CI/CD Data). Superviser la performance des jobs et optimiser les coûts de la plateforme. Assurer la traçabilité et la conformité des données (RGPD, ISO, sécurité). 3. Génération d’intelligence et IA générative Participer à la conception d’architectures hybrides Data + IA Générative (RAG, embeddings, vector stores). Intégrer des modèles LLM (OpenAI, Anthropic, Hugging Face, Bedrock, etc.) aux pipelines existants. Collaborer avec les Data Scientists pour industrialiser les use cases IA. Évaluer la pertinence d’outils de nouvelle génération (LangChain, LlamaIndex, VectorDB, etc.). 4. Conseil, accompagnement et expertise Être le référent technique sur la plateforme Data pour les équipes internes et clients. Accompagner les Data Engineers et Data Scientists dans la mise en œuvre des bonnes pratiques. Participer aux phases d’avant-vente et d’architecture auprès des clients Hextaem. Assurer une veille technologique active sur les sujets Cloud, Big Data et GénIA. Compétences techniques : Cloud & Data Platform: AWS (S3, Glue, Athena, Redshift, Lambda, IAM, CloudFormation/Terraform) Data Engineering: Databricks (Spark, Delta Lake, MLflow), ETL/ELT, orchestration (Airflow, ADF) Gouvernance & Sécurité: Data lineage, catalog (Glue Data Catalog, Unity Catalog), RBAC, encryption Langages: Python, SQL, PySpark CI/CD & DevOps: Git, Docker, Terraform, GitHub Actions / Jenkins IA Générative (bonus) L:LMs (OpenAI, Bedrock, Hugging Face), LangChain, VectorDB, RAG patterns

Concevoir et développer des pipelines de traitement de données (ETL/ELT) sur Databricks. Intégrer et transformer des données issues de différentes sources (API, bases SQL/NoSQL, fichiers, data lakes, etc.). Mettre en place des workflows automatisés et orchestrés (via Azure Data Factory, Airflow, ou Databricks Workflows). Optimiser les performances des jobs Spark et la consommation des clusters. Participer à la modélisation des données (Data Lake / Delta Lake / Data Warehouse). Assurer la qualité, la sécurité et la gouvernance des données (contrôles, documentation, catalogage). Collaborer avec les Data Scientists, Analysts et Architectes pour garantir la cohérence et la fiabilité des environnements data. Surveiller et maintenir la plateforme Databricks en production (monitoring, troubleshooting, coûts).

Dans le cadre de sa croissance sur les projets Data Platform & Cloud , Hextaem recherche un(e) Product Owner Plateforme Big Data pour piloter la conception, la mise en œuvre et l’évolution d’une plateforme data moderne basée sur AWS et Databricks . Le/la PO jouera un rôle clé à l’interface entre les équipes métiers, techniques et data, afin de valoriser les données de l’entreprise à travers une plateforme scalable, sécurisée et orientée usage . Missions principales 1. Vision produit & stratégie Data Platform Définir la vision produit et la roadmap de la plateforme Big Data . Identifier les besoins des équipes métiers, data scientists et data engineers. Prioriser les fonctionnalités selon la valeur business et la faisabilité technique. Maintenir et piloter le backlog produit (JIRA, Azure DevOps ou équivalent). 2. Pilotage et delivery Animer les cérémonies Agile (daily, sprint review, planning, rétrospective). Collaborer étroitement avec les équipes Data Engineering, Cloud et Sécurité. Suivre l’avancement des développements et s’assurer de la qualité des livrables. Garantir la mise à disposition de datasets et services data fiables, documentés et performants. 3. Gouvernance et qualité de la donnée Contribuer à la mise en place des bonnes pratiques de data gouvernance (catalogue, qualité, sécurité). Superviser les flux de données dans Databricks (ingestion, transformation, exploitation). Assurer la cohérence des environnements (dev / recette / prod). 4. Évolution et innovation Identifier de nouveaux cas d’usage (IA, temps réel, RAG, data sharing). Proposer des améliorations continues en matière d’architecture et d’outils. Assurer une veille technologique active sur AWS, Databricks et les solutions Data/IA émergentes. Compétences techniques : Cloud & Big Data: AWS (S3, Glue, Lambda, Redshift, IAM, CloudFormation/Terraform) Data Platform: Databricks (Delta Lake, PySpark, MLflow, Unity Catalog) Data Engineering & Modélisation: Connaissance de la modélisation data, data pipeline, orchestration (Airflow, ADF, etc.) Langages: Bonne compréhension de SQL et Python (lecture et validation de code) CI/CD & DevOps: Git, Terraform, Jenkins/GitHub Actions (notions) Outils de pilotage: JIRA, Confluence, Miro, Power BI/Tableau (lecture fonctionnelle)

ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d’une équipe dynamique Participer à des projets innovants d’envergure Relever des défis liés à l’ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’un acteur majeur du secteur , tu participeras : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L’intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d’une expérience de ans minimum en ingénierie de la donnée ou en développement data Expert(e) en Habile avec les outils AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n’aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l’essentiel Capacité d’adaptation : tu es un vrai caméléon Sens de la communication : les mots n’ont pas de secret pour toi Force de proposition : tu es l’Aladdin de l’informatique Esprit d’équipe : un pour tous et tous pour un !

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Je recherche pour un de mes clients de l'assurance : Le prestataire MOA interviendra en appui des équipes métiers pour : • Recueillir et formaliser les besoins fonctionnels, en lien avec les pôles concernés (Data, Inventaire, Modèle, Pilotage…). • Animer les ateliers métiers et assurer la coordination entre les différentes parties prenantes. • Rédiger les spécifications fonctionnelles détaillées, en intégrant les exigences réglementaires (RGPD, sécurité). • Suivre la mise en œuvre des solutions data, en assurant la conformité aux besoins exprimés. • Contribuer à la conduite du changement, notamment par la production de supports de formation, de documentation fonctionnelle et l’accompagnement des utilisateurs. Niveau d’expérience • Expérience confirmée (≥ 3 ans) en MOA Classification • Connaissance du secteur assurance / prévoyance fortement appréciée Compétences clés • Cadrage et formalisation de besoins métiers complexes • Animation d’ateliers multi-directionnels • Rédaction de spécifications fonctionnelles et cahiers de tests • Suivi de conformité réglementaire (RGPD, sécurité) • Pilotage de projets en environnement agile ou hybride • Accompagnement au changement et conduite de formation (support de présentation) Outils maîtrisés • Jira / Confluence / Trello • Suite Office (Excel, PowerPoint, Word) • Outils de modélisation (BPMN, UML) • Notions en environnement data : Databricks, SQL, Unity Catalog, Python • Outils de documentation collaborative

Contexte de la mission : Viveris accompagne ses clients dans la conception, le développement et la mise en oeuvre de solutions analytiques avancées. Dans ce cadre, nous recherchons un Expert sur la technologie Databricks afin d'accompagner notre client dans la migration de ses usages vers cette technologie. Vous êtes intégré dans une Direction des Systèmes d'Information, dans une équipe transverse en charge des domaines Data, Analytics et IA composée de 30 personnes. Responsabilités : - Concevoir et implémenter des pipelines de données performants sur Databricks ; - Optimiser les processus de traitement et d'analyse de données massives ; - Développer des modèles de machine learning et les déployer sur Databricks ; - Assurer la maintenance et l'évolution des infrastructures et des environnements existants ; - Fournir un support technique et des recommandations pour optimiser les performances sur Databricks.

Contexte : Nous recherchons un Data Engineer pour participer à une mission sur un environnement cloud AWS. Le candidat évoluera au sein d’une équipe digitale internationale et contribuera à la conception, au développement et à la mise en production de solutions data à grande échelle. Profil recherché : Expérience confirmée en tant que Data Engineer ou rôle équivalent. Capacité à collecter les besoins métiers et utilisateurs et à les traduire en architecture de données. Expérience dans la conception et le développement de pipelines de données robustes et évolutifs. Autonomie et rigueur dans la mise en production et la maintenance d’architectures data. Bonnes capacités de communication et aptitude à travailler en équipe multidisciplinaire. Compétences techniques requises : Python – maîtrise avancée (4/4) PySpark – maîtrise avancée (4/4) Databricks – niveau confirmé (3/4) AWS – niveau confirmé (3/4) Anglais – professionnel (3/4) Conditions de travail : Télétravail : 2 jours par semaine Présence obligatoire sur site : 3 jours par semaine Lieu : Paris Début de mission : 08/12/2025 Processus de sélection : Codingame à compléter dans les 48h après réception. Proctoring appliqué pour le codingame. Soutenances techniques prévues après le codingame.

Nous recherchons un Tech lead pour accompagner notre client (leader sur le marché international de services de paiement) sur ses projets. L’objectif : concevoir et développer un framework d’ingestion scalable sur Databricks (PySpark, Delta Lake) Vos missions : · Implémenter des pipelines d’ingestion standardisés batch et temps réel (streaming) depuis différentes sources (fichiers, bases de données, APIs, Kafka, etc.). · Mettre en place un framework de contrôle qualité des données ainsi que les mécanismes de monitoring / alerting. · Encadrer techniquement l’équipe, assurer les revues de code et diffuser les bonnes pratiques. · Gérer les workflows GitHub, les stratégies de versioning et les pipelines CI/CD. · Documenter les choix techniques, processus et composants développés. · Collaborer avec les équipes produit, data engineering et métier dans un environnement international anglophone. · Être force de proposition sur les choix d’architecture et l’évolution du framework.

Bonjour, Nous recherchons un data engineer pyspark / Palantir pour le compte de notre client. L’organisation Tech & Data est une organisation matricielle Agile reposant sur 4 piliers : Data and System Engineering, composée des équipes suivantes : Data Center of Excellence, Products and Systems Engineering et Enterprise Architecture La société est composée des équipes supportant les Crews et les domaines fonctionnels transverses : Gouvernance, Mise en œuvre du modèle opérationnel T&D, Sécurité & Conformité, Contrôle financier, Sourcing & Vendor Management, Gouvernance et Processus. Technical, composée des équipes dédiées aux IT Operations, Réseau, Cloud, Services Workplace & Cloud Productivity Crews et domaines fonctionnels transverses Contrainte forte du projet : Palantir Foundry. Livrable : Data Pipeline Risk Compétences techniques : Palantir Foundry – Confirmé – Impératif Python / Pyspark – Confirmé – Impératif Connaissances linguistiques : Français courant (impératif) Anglais courant (impératif) Description détaillée : Nous recherchons un Data Engineer pour développer des pipelines de données pour nos fondations Risk dans Palantir Foundry. Le Data Engineer devra construire, livrer, maintenir et documenter les pipelines de données dans le périmètre des fondations Risk. Il devra notamment livrer les données dans notre Risk Analytical Data Model (représentation medallion de nos données Risk) selon une approche moderne et performante. Livrables attendus : Pipelines de données pour les fondations Risk, livrés dans les délais Code documenté et testé unitairement Contrôles qualité et santé des données implémentés Expérience et compétences attendues : +5 ans en tant que Data Engineer Expérience solide sur Palantir Foundry, principalement sur les modules orientés Data Engineer (code repository, ontologie…) Maîtrise de Python et Pyspark Bonnes pratiques de développement (gitflow, tests unitaires, documentation) Bonne compréhension de l’architecture data mesh et medallion architecture Expérience sur Databricks un atout Expérience en (ré)assurance ou dans le domaine du risque financier un atout Esprit d’équipe Curiosité et goût du challenge Capacité à communiquer avec différents interlocuteurs Rigueur et sens analytique Définition du profil : Le Data Engineer assure la maîtrise de la donnée et est garant de la qualité de son utilisation afin d’en faciliter l’exploitation par les équipes. Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion et du traitement des données, ainsi que sur les plateformes Big Data, IoT, etc. Il assure la supervision et l’intégration des données provenant de sources multiples et vérifie la qualité des données entrant dans le Data Lake (recette des données, suppression des doublons, etc.).