Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Nous sommes à la recherche d'un Ingénieur Data Azure Databricks pour la gestion d'une plateforme datalake. Vos missions: Déploiement du modèle d'accès aux données partagées dans Unity Catalog. Mise à disposition des données en mode table . Contribution à la réalisation des POC. Déploiement du nouveau datalake gouverné. Votre profil: Maitrise d'Azure / Databricks. Capacité à prendre en charge l'ensemble des composants techniques. Environnement : Git Hub / Java / JavaScript / TypeScript / Spark / Azure DevOps. Anglais opérationnel. 1 jour de Télétravail / semaine

En tant qu'AI Engineer, vous intervenez sur la conception, le développement et l'industrialisation de solutions d'Intelligence Artificielle, allant du Machine Learning classique aux cas d'usage de GenAI. Vous travaillez au cœur des plateformes Data et ML afin de garantir la robustesse, la performance, la scalabilité et la maintenabilité des modèles et services IA mis en production, au service des équipes métiers et produits. Expérience attendue : 3+ ans en ingénierie IA / ML / Data, avec une forte orientation production. Vous correspondez au/à la AI Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique, de rigueur et de pragmatisme Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous savez communiquer clairement avec des interlocuteurs techniques et non techniques, et vulgariser des sujets complexes Vous savez prioriser vos tâches, gérer les contraintes (qualité, délais, coûts) et respecter vos engagements Vous disposez d'un solide bagage en software engineering, vous permettant de développer des solutions IA robustes, lisibles, maintenables et testables, principalement en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous avez déjà travaillé sur des plateformes Data / ML Cloud (ex. Databricks ou équivalent) Vous comprenez les enjeux de préparation des données, de feature engineering et de qualité des datasets pour les usages ML / AI Vous avez une experience dans l'industrialisation des modèles ML, incluant entraînement, validation, versioning et déploiement Vous êtes sensibilisé aux pratiques MLOps (gestion du cycle de vie des modèles, reproductibilité, monitoring) Vous avez une appétence pour les cas d'usage GenAI (LLM, RAG, embeddings, agents) et savez concevoir et mettre en œuvre de frameworks d'évaluation pour les systèmes GenAI incluant : évaluation de la qualité des réponses (relevance, faithfulness, completeness), validation des chaînes de retrieval et d'embeddings, comparaison de prompts, modèles ou configurations

Votre missionDans le cadre du développement de notre plateforme Data, nous recherchons un Data Engineer pour concevoir, développer et maintenir des pipelines de données performants dans un environnement Cloud AWS. Vous participerez notamment à : Développer et optimiser les traitements d'ingestion et de transformation de données avec Python, Spark et Databricks. Mettre en place les flux de données entre différentes sources et le Data Lake. Orchestrer et superviser les traitements avec Airflow. Garantir la qualité, la disponibilité et les performances des pipelines. Assurer le support, la correction des anomalies et l'amélioration continue de la plateforme. Participer aux choix techniques, aux ateliers projet et à la documentation.

Dans le cadre du développement de notre activité Data & IA, nous recherchons un(e) Architecte Databricks pour accompagner nos clients dans la conception et la mise en œuvre de plateformes data modernes, évolutives et sécurisées basées sur l'écosystème Databricks et les principaux fournisseurs cloud. Vous jouerez un rôle clé dans la définition des architectures, l'accompagnement des équipes techniques et la réussite des projets de transformation data et analytique. Vos missions Concevoir des architectures Data Lakehouse robustes et évolutives sur la plateforme Databricks. Définir les standards d'architecture, de gouvernance et de sécurité des données. Accompagner les équipes projets dans la mise en œuvre des solutions techniques. Participer aux choix technologiques et aux orientations stratégiques des plateformes data. Mettre en place des pipelines de données performants et industrialisés. Optimiser les performances, les coûts et l'exploitation des environnements Databricks. Collaborer avec les équipes Data Engineering, Data Science, BI et métiers. Participer aux avant-ventes, ateliers clients et réponses aux appels d'offres. Assurer une veille technologique sur les évolutions de l'écosystème Data & IA.

Nous recherchons un Product Owner Data H/F pour une mission à Nantes. Missions : Recueillir, analyser et prioriser les besoins métiers liés à la data. Définir et maintenir la roadmap des produits de données. Rédiger les user stories et gérer le backlog produit. Piloter les cérémonies Agile (planning, refinement, sprint review, rétrospective). Définir les critères d'acceptation et valider les livrables. Suivre les indicateurs de performance et mesurer la valeur apportée par les produits data. Garantir la qualité, la gouvernance et la cohérence des données en collaboration avec les équipes concernées.

Contexte : Le projet Data Lake était initialement porté par la Branche Grand Public et Numérique (BGPN) de [COMPANY]. Dans le cadre de l'évolution de sa plateforme Data vers Azure (projet Data Cloud) l'équipe Data Cloud et IA Factory (DIAF) arrive à une étape clé de ce projet structurant pour l'ensemble du Groupe [COMPANY] : • Mise en production et ouverture aux utilisateur de la version 1.0 de Data Cloud (Azure Darabricks) • Stabilisation d'ODLG (Cloudera) • Migration progressive d'ODLG vers la nouvelle plateforme Data Cloud • Accompagnement des branches sur la décroissance et l'optimisation des consommations Azure • Rapprochement vers une gouvernance i-TEAM • Intégration dans les processus de supervision et de support i-TEAM • Réflexion sur la mise en œuvre d'un nouveau Catalogue de Services • Accompagnement et soutien de l'équipe dans cette transformation La mission consiste à intégrer l'équipe DIAF sur un rôle transverse pour apporter un support dans les processus de stabilisation et de migration. La prestation inclue : • Analyse des résultats l'audit Cloudera et accompagnement de l'équipe dans le suivi du plan de remédiation • Renfort des actions liées à AIG • Soutien aux équipes socle Data Cloud et ODLG • Soutien aux équipes Outils & Usages • Analyse et optimisation des ressources sur Cloudera et Data Cloud • Accompagnement des plans de migrations et optimisation 1. Gestion des obsolescences Le prestataire devra s'assurer de la maintenabilité des versions liées au support des éditeurs ou de l'image middleware PaaS/IaaS proposée : Gestion de l'obsolescence des socles et images 2. Livrables / Résultats attendus • Suivi évaluation et CR des activités liées à l'audit Cloudera • Analyse et plan de mitigation des "requêtes lourdes" Cloudera • Proposition d'optimisations des séquences des job avec plan de mise en œuvre et suivi des actions • Suivi et reporting décroissance et décommissionnement ODLG • Bonnes pratiques de migration on-remise -> cloud 3. Cadre technique de la prestation : environnements techniques, outils et niveaux de maîtrise souhaités. Niveaux de compétences attendus : ? 0 : pas de connaissance ? 1 : connaissance de base ? 2 : pratique quotidienne ? 3 : expertise avérée. ? Jira 3 ? Cloudera 3 ? Azure 3 ? Databricks 3 ? Redhat 3 ? GitLab 3 ? Terraform 3 ? Pyhton 3 ? Dremio 3 4. Cadre fonctionnel de la prestation La réalisation des prestations requiert les compétences approfondies dans les domaines fonctionnels ci-dessous. ? Data model 3 ? Data Management 3 ? Data Viz 2 ? Sys admin 3 ? Data migration 3

Votre missionDans le cadre du développement de notre plateforme Data, nous recherchons un(e) Senior Data Engineer / Tech Lead Databricks pour piloter les développements, garantir la qualité des solutions mises en œuvre et accompagner les équipes sur les sujets techniques. Vous serez notamment amené(e) à : Concevoir et faire évoluer l'architecture des pipelines de données sur Databricks. Développer et optimiser les traitements d'ingestion et de transformation en Python, Spark et SQL. Piloter l'orchestration et la supervision des traitements sur AWS. Garantir la performance, la fiabilité et la qualité des pipelines de données. Définir les bonnes pratiques de développement, participer aux revues de code et accompagner les membres de l'équipe. Assurer le support technique, la résolution des incidents complexes et l'amélioration continue de la plateforme. Participer aux ateliers d'architecture, aux échanges avec les équipes métiers et contribuer aux choix techniques.

Contexte : Dans le cadre du développement de nos activités, nous recherchons un(e) Architecte Solutions IT disposant d'une forte expertise en data, ainsi que d'une bonne connaissance des enjeux métiers de la finance et de l'assurance (prudentiel, réassurance, Solvabilité II). Cette mission se déroulera sur le site de Chartres avec des déplacements sur Paris Missions : L'Architecte Solutions, sera responsable de la définition et de la mise en œuvre des architectures techniques, en lien étroit avec les équipes métiers et IT : • Concevoir des architectures applicatives et data robustes, scalables et sécurisées • Piloter les choix technologiques et garantir leur cohérence avec les standards d'entreprise • Intervenir sur des projets autour de la data platform (Data Lake, Data Warehouse) • Collaborer avec les équipes métiers pour traduire les besoins en solutions IT adaptées • Assurer la conformité avec les contraintes réglementaires (notamment Solvabilité II)

ContexteDans le cadre de l'évolution de sa plateforme Data & IA, un acteur international du secteur de la santé recherche un Consultant Data Platform Engineer afin de renforcer son équipe Data Platform sur un sujet stratégique autour de Databricks et de l'automatisation de l'infrastructure Data. La mission s'intègre au sein d'une équipe Data Platform et Data Engineering responsable de la construction, de l'industrialisation et de la gouvernance de la plateforme de données du groupe. MissionsVous interviendrez principalement sur les sujets suivants : Mise en œuvre et industrialisation de Databricks Unity Catalog Développement et maintien des infrastructures en Terraform Automatisation de traitements et composants sur AWS Contribution à l'évolution de la Data Platform existante Participation à la mise en place des bonnes pratiques d'Infrastructure as Code Collaboration étroite avec les équipes Data Platform et Data Engineering Participation aux choix techniques et à l'amélioration continue de la plateforme Contribution à l'automatisation des déploiements et à la standardisation des environnements

Bonjour à tous 😀 Contexte : Dans le cadre de l'évolution d'une plateforme Data stratégique de l'un de nos clients, nous recherchons un Architecte Solution Databricks / Tech Lead afin d'accompagner les équipes dans la conception, l'industrialisation et la gouvernance des solutions Data. L'environnement est fortement orienté plateforme Data, avec des enjeux de : conformité réglementaire et sécurité des données ; gouvernance et intégration des données à l'échelle du groupe ; industrialisation des pipelines Data ; Le consultant jouera un rôle de référent technique Databricks auprès des équipes de développement et des métiers. Vos missions : Vous interviendrez notamment sur : Concevoir l'architecture technique des solutions Databricks Accompagner les équipes de développement sur les bonnes pratiques Développer et industrialiser des pipelines Data batch et temps réel Participer aux choix techniques et aux études d'architecture Réaliser des audits techniques et analyses de risques Produire la documentation d'architecture (DAT, dossiers techniques...) Accompagner les PoC Participer aux cérémonies Agile Être le référent technique Databricks de la plateforme Les livrables : Développements Scripts techniques DAT Documents de cadrage Reporting Estimations techniques Analyses de risques Audits Supports de PoC Cahiers de tests Procédures d'installation Documentation d'exploitation Rapport de fin de mission Profil recherché : MUST HAVE : Expérience : 6 ans minimum en Data Engineering / Architecture Data Expérience significative en environnement DSI Au moins 2 ans au sein d'équipes Agile Scrum Expertise technique : Databricks (5 ans minimum) Spark / Scala Développement de pipelines batch et streaming Certification officielle Databricks Terraform Jenkins ou Docker ou Kubernetes Gouvernance Data RGPD Connaissances appréciées : AWS Power BI GitLab CI Okta Jira Confluence Soft Skills : Excellent relationnel Leadership technique Forte capacité rédactionnelle Organisation Gestion de plusieurs sujets en parallèle Animation de réunions techniques Capacité à intervenir lors des Go/NoGo Les + : Databricks sur AWS Data Mesh Animation de formations Databricks Coaching technique Audit d'architecture Accompagnement d'équipes de développement Environnement technique : Databricks Spark Scala AWS Terraform Jenkins Docker Kubernetes GitLab CI Power BI Jira Confluence Okta

Nous recherchons pour l'un de nos clients un Data Engineer Databricks & DBT en CDI (H/F) Dans le cadre du développement de notre plateforme Data, nous recherchons un(e) Data Engineer passionné(e) par les technologies Cloud et les architectures modernes de traitement de données. Vous rejoindrez une équipe Data dynamique afin de concevoir, développer et optimiser des pipelines de données robustes, scalables et performants, en vous appuyant sur Databricks, dbt et les meilleures pratiques d'ingénierie Data. Vos missionsConcevoir, développer et maintenir des pipelines de données fiables et performants. Développer des transformations de données avec dbt. Concevoir et optimiser des traitements de données sur Databricks (Spark/PySpark). Participer à la modélisation des données (Data Warehouse, Data Lakehouse). Mettre en œuvre les bonnes pratiques de qualité, de tests et de documentation. Industrialiser les traitements via des pipelines CI/CD. Collaborer avec les équipes Data Analysts, Data Scientists et métiers. Participer à l'amélioration continue de la plateforme Data.

En tant que Data Engineer, vous intervenez sur la conception, le développement et l'optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d'équipes agiles et pluridisciplinaires, en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d'un fort esprit analytique et d'une grande rigueur Vous êtes autonome, proactif et doté d'un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches, gérer les contraintes et respecter vos engagements Vous disposez d'un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d'interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d'un bagage en software engineering, vous permettant d'écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code) Vous êtes à l'aise avec les outils de versioning (Git) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l'évolutivité et de l'observabilité

En tant que Tech Lead, vous êtes l'expert Data Engineering et le référent technique dans vos missions. Vous intervenez principalement sur les problématiques d'ingestion, de traitement et d'industrialisation des données sur la data plateforme. Sans être responsable de l'architecture Data globale, vous avez un rôle clé dans la qualité des livrables, la standardisation des pratiques et la montée en compétence des Data Engineers. Expérience attendue : 7 à 12+ ans en Data Engineering avec une expérience dans un rôle de référent technique Vous correspondez au/à la Tech Lead que nous recherchons si : Vous disposez d'un leadership technique, reconnu et légitime auprès des équipes Vous savez animer, encadrer et fédérer une équipe autour de bonnes pratiques techniques et d'objectifs communs Vous faites preuve d'une excellente communication, associée à une forte capacité pédagogique Vous adoptez un esprit critique constructif et savez challenger les choix techniques dans une logique d'amélioration continue Vous êtes capable de prendre du recul sur des problématiques techniques afin de proposer des solutions pertinentes et durables Vous êtes autonome, proactif et doté d'un fort sens des responsabilités Vous favorisez le partage de connaissances et la montée en compétence collective Vous savez collaborer efficacement avec des rôles transverses (Architectes, Product Owners, DevOps, ML Engineers) Vous maîtrisez Python et SQL à un niveau avancé, avec une forte sensibilité aux bonnes pratiques de software engineering (qualité, maintenabilité, testabilité) Vous êtes capable de définir, documenter et faire appliquer des standards de développement, incluant la structuration des projets, les conventions de code et les stratégies de tests Vous avez une expérience significative dans la mise en place et la maintenance de chaînes CI/CD appliquées aux pipelines Data Vous portez une attention particulière à la qualité des données, à la testabilité et à l'observabilité des pipelines en production Vous pratiquez régulièrement les revues de code, le mentoring et l'accompagnement technique des Data Engineers Vous êtes en mesure de concevoir des frameworks internes et des briques techniques réutilisables afin d'industrialiser et standardiser les développements Vous comprenez les enjeux de performance, de scalabilité et de maîtrise des coûts, et savez les intégrer dans vos choix techniques

Je cherche pour un de mes client un Expert migration et production Cloudera / Databricks Nombre de poste : 1 Expérience : 7 ans minimum Localisation : Paris Nombre de jours de Télétravail : 2 Démarrage : Asap Durée mission : 1 an minimum Contexte : Le projet Data Lake était initialement porté par la Branche Grand Public et Numérique (BGPN) . Dans le cadre de l'évolution de sa plateforme Data vers Azure (projet Data Cloud) l'équipe Data Cloud et IA Factory (DIAF) arrive à une étape clé de ce projet structurant pour l'ensemble : • Mise en production et ouverture aux utilisateur de la version 1.0 de Data Cloud (Azure Darabricks) • Stabilisation d'ODLG (Cloudera) • Migration progressive d'ODLG vers la nouvelle plateforme Data Cloud • Accompagnement des branches sur la décroissance et l'optimisation des consommations Azure • Rapprochement vers une gouvernance i-TEAM • Intégration dans les processus de supervision et de support i-TEAM • Réflexion sur la mise en œuvre d'un nouveau Catalogue de Services • Accompagnement et soutien de l'équipe dans cette transformation La mission consiste à intégrer l'équipe DIAF sur un rôle transverse pour apporter un support dans les processus de stabilisation et de migration. Ce rôle nécessite donc aussi bien une connaissance technique qu'une compréhension des modèles de données et des processus de migration. La prestation inclue : • Analyse des résultats l'audit Cloudera et accompagnement de l'équipe dans le suivi du plan de remédiation • Renfort des actions liées à AIG • Soutien aux équipes socle Data Cloud et ODLG • Soutien aux équipes Outils & Usages • Analyse et optimisation des ressources sur Cloudera et Data Cloud • Accompagnement des plans de migrations et optimisation 1. Gestion des obsolescences Le prestataire devra s'assurer de la maintenabilité des versions liées au support des éditeurs ou de l'image middleware PaaS/IaaS proposée : Gestion de l'obsolescence des socles et images () 2. Livrables / Résultats attendus • Suivi évaluation et CR des activités liées à l'audit Cloudera • Analyse et plan de mitigation des "requêtes lourdes" Cloudera • Proposition d'optimisations des séquences des job avec plan de mise en œuvre et suivi des actions • Suivi et reporting décroissance et décommissionnement ODLG • Bonnes pratiques de migration on-remise -> cloud 3. Cadre technique de la prestation : environnements techniques, outils et niveaux de maîtrise souhaités. Niveaux de compétences attendus : 0 : pas de connaissance 1 : connaissance de base 2 : pratique quotidienne 3 : expertise avérée. Jira 3 Cloudera 3 Azure 3 Databricks 3 Redhat 3 GitLab 3 Terraform 3 Pyhton 3 Dremio 3 4. Cadre fonctionnel de la prestation La réalisation des prestations requiert les compétences approfondies dans les domaines fonctionnels ci-dessous. Data model 3 Data Management 3 Data Viz 2 Sys admin 3 Data migration 3

Vous maîtrisez le métier d'ingénieur données sur Databricks (sur AWS). Vos responsabilités seront les suivantes : • Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks. • Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.). • Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données. • Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines. • Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires. • Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données. • Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir. Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.