Trouvez votre prochaine offre d’emploi ou de mission freelance Delta Lake

#StormYourCareer ✨ Rejoins STORM GROUP et construis ta carrière avec nous ! Bâtis les pipelines de données massives et alimente les moteurs de l'IA générativeDans le cadre du développement et du passage à l'échelle des cas d'usage IA d'un grand compte, nous recherchons un(e) Data Engineer IA. Ton rôle sera hautement structurant et central : tu concevras, développeras et industrialiseras les pipelines de données volumineux et temps réel qui alimentent les modèles de Machine Learning et les applications d'IA générative, en garantissant la qualité, la traçabilité et la performance des flux de données. Ton futur environnementTu évolueras au sein d'une équipe pluridisciplinaire réunissant data engineers, data scientists, architectes data et ingénieurs MLOps. En prise directe avec les équipes plateformes et les squads de développement GenAI, tu travailleras sur des architectures Lakehouse modernes en environnement Cloud. C'est le cadre idéal pour manipuler des volumes de données massifs, mettre en œuvre des flux événementiels temps réel et concevoir des pipelines avancés de préparation documentaire (chunking, vectorisation) pour les architectures RAG. Tes missions clésConception & Développement des Pipelines de Données (Mode BUILD) : Concevoir, développer et automatiser des pipelines ETL/ELT robustes depuis des sources hétérogènes (APIs, bases relationnelles, flux événementiels) en modes batch (Spark, PySpark, Databricks, dbt) et temps réel (Kafka). Structurer, nettoyer et enrichir les jeux de données destinés à l'entraînement des modèles de Machine Learning et au feature engineering. Construire les chaînes de préparation de données textuelles et multimodales pour les architectures RAG : ingestion documentaire automatisée, stratégies de découpage (chunking) et pipelines d'embedding/vectorisation. Alimenter, optimiser et administrer les bases de données vectorielles du groupe. Mettre en œuvre les architectures de stockage modernes (Delta Lake / Lakehouse, Snowflake, BigQuery). Industrialisation, Qualité & Optimisation (Mode RUN & MLOps) : Industrialiser l'orchestration des flux de données via des outils dédiés (Airflow) en garantissant la sécurité, la haute disponibilité et la reproductibilité du code (Git, CI/CD). Optimiser les performances de traitement et piloter les coûts de calcul et de stockage dans le Cloud. Garantir la qualité, la gouvernance, la sécurité et la traçabilité (data lineage) des données manipulées. Rédiger la documentation technique des pipelines et contribuer activement à l'amélioration des standards d'ingénierie de l'équipe. Ton profilFormation : Diplôme d'Ingénieur ou Bac+5 universitaire en informatique, Data Engineering, génie logiciel ou systèmes d'information. Expérience : Tu justifies d'une expérience confirmée de 3 à 5 ans en Data Engineering en environnement Cloud, avec idéalement une première mise en pratique sur des cas d'usage IA/ML ou GenAI (pipelines RAG, feature engineering). Expertise Data Engineering Impérative : Excellente maîtrise de la programmation en Python et des requêtes complexes en SQL. Solide expérience de traitement distribué avec Spark / PySpark et de l'environnement Databricks. Maîtrise des outils d'orchestration de flux (Airflow) et de transformation de données (dbt). Pratique confirmée d'un entrepôt de données moderne (Snowflake, BigQuery, Delta Lake). Culture Cloud & IA : Expérience sur au moins une plateforme Cloud majeure (Azure, AWS ou GCP). Compréhension des flux streaming (Kafka) et des pratiques DevOps (Git, CI/CD). Notions ou expérience pratique des architectures RAG et de la manipulation de bases vectorielles. Langues : Anglais professionnel opérationnel. Tes atoutsRigueur d'Ingénierie Logicielle : Attachement fort aux bonnes pratiques de développement (code propre, testé, versionné et reproductible). Sens de la Qualité et de la Sécurité : Souci permanent de l'intégrité, de la gouvernance et de la confidentialité des données traitées. Collaboration Transverse : Capacité naturelle à dialoguer avec les data scientists pour traduire leurs besoins algorithmiques en pipelines scalables. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5€ / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.

Dans le cadre du renforcement d'une plateforme Data stratégique au sein d'un acteur majeur du secteur de l'énergie, nous recherchons un Data Engineer Senior / Tech Lead Data H/F afin d'accompagner la conception, l'industrialisation et l'optimisation des solutions de traitement et d'exposition des données de consommation clients dans un environnement Cloud moderne basé sur Databricks et AWS. Missions principales : Architecture Data & conception des solutions Participer à la conception des architectures techniques en collaboration avec les équipes Data et Métiers. Être force de proposition sur les choix techniques et les évolutions de la plateforme. Concevoir et faire évoluer des architectures de données basées sur la Databricks Medallion Architecture (Bronze, Silver, Gold). Comprendre les besoins fonctionnels afin de proposer les solutions les plus adaptées. Participer aux cérémonies Agile SAFe (PI Planning, refinements, rétrospectives, chiffrages). Conception & développement Data Engineering Concevoir, développer et maintenir des pipelines de données (ETL/ELT). Mettre en œuvre et orchestrer les traitements de données via Databricks. Modéliser les données dans Delta Lake en appliquant les bonnes pratiques de performance et de gouvernance. Concevoir, développer et maintenir des APIs d'exposition et de consommation des données. Assurer la documentation technique des solutions développées. Performance, qualité & exploitation Garantir la qualité, la fiabilité et la performance des traitements en production. Optimiser les traitements Spark et Databricks. Mettre en place des mécanismes de Data Quality, monitoring et alerting. Analyser et corriger les incidents de production. Contribuer à l'amélioration continue des processus d'exploitation. Industrialisation & leadership technique Développer, tester et déployer les composants via des pipelines CI/CD. Accompagner les équipes sur les bonnes pratiques Data Engineering. Participer aux orientations techniques et aux choix d'architecture. Promouvoir les approches d'AI-Augmented Data Engineering. Contribuer à l'innovation et à l'optimisation continue de la plateforme.

Dans un environnement orienté data et analytics, le Senior Data & Analytics Engineer intervient en tant qu'expert technique afin d'accompagner les équipes de développement dans la conception, l'amélioration et l'industrialisation de solutions de traitement et d'analyse de données sur Azure Databricks. Ses principales missions sont les suivantes : Support technique : accompagner les développeurs Python et R dans la résolution de problématiques techniques et l'utilisation des technologies data. Revue et optimisation du code : analyser, relire, déboguer et améliorer le code existant afin d'en garantir la qualité, la performance et la maintenabilité. Industrialisation des traitements : fiabiliser et industrialiser les workloads Databricks, les pipelines de données et les processus ETL/ELT. Définition des bonnes pratiques : mettre en place des standards de développement, des modèles de code réutilisables et des stratégies de tests adaptées aux environnements de production. Automatisation des déploiements : contribuer à la mise en œuvre des processus d'intégration et de déploiement continus (CI/CD), conformément aux standards techniques établis. Qualité et gouvernance des données : garantir la qualité, la traçabilité et la cohérence des données, notamment à travers Delta Lake et Unity Catalog. Optimisation des performances : analyser et optimiser les traitements Spark et PySpark afin d'améliorer leur efficacité et leur robustesse. Accompagnement des migrations : évaluer la pertinence des migrations de traitements R vers Python ou SQL sur la base de critères objectifs, techniques et opérationnels. Accompagnement au changement : favoriser l'adoption des outils et des standards de développement, assurer le transfert de connaissances et diffuser les bonnes pratiques. Respect des exigences réglementaires : contribuer à la mise en œuvre de solutions analytiques fiables répondant aux exigences des environnements réglementés.

Dans le cadre d'un projet stratégique au sein d'un grand environnement bancaire, nous recherchons un Data Engineer / Data Lake Developer expérimenté pour renforcer une équipe IT Data et accompagner le déploiement d'une nouvelle plateforme Databricks. Le consultant interviendra sur la conception, le développement et l'industrialisation des composants nécessaires à l'alimentation et à l'exploitation du Data Lake, au sein d'un environnement Agile et international. MissionsConcevoir et développer des pipelines d'ingestion et de transformation de données robustes et scalables, en batch et temps réel. Développer et maintenir les flux ETL Talend alimentant le Data Lake et les systèmes consommateurs. Développer des traitements Python / PySpark sur Databricks. Mettre en œuvre et optimiser les modèles de données cibles. Automatiser les transformations, la documentation et les tests avec dbt. Développer et configurer des flux CDC (Change Data Capture). Mettre en place les bonnes pratiques de Data Quality, monitoring, alerting et logging. Développer des composants réutilisables : templates de pipelines, librairies partagées et frameworks CI/CD. Réaliser les développements et tests associés. Participer aux mises en production et à l'industrialisation des solutions. Compétences techniques recherchéesForte expertise sur Talend ETL : développement, debugging et industrialisation. Bonne maîtrise de Python et PySpark. Expérience significative sur Databricks : Jobs, Workflows, Delta Lake, Notebooks et optimisation. Excellente maîtrise de SQL, notamment sur les requêtes complexes et l'optimisation des performances. Expérience pratique de dbt pour la transformation et la modélisation des données. Bonne connaissance des problématiques CDC / Change Data Capture. Une expérience sur Qlik Replicate / Attunity est fortement appréciée. Connaissance de Kafka appréciée. Connaissances en Java. Expérience DevOps : Git, CI/CD, automatisation des tests et des déploiements. Utilisation d'outils d'IA générative pour accélérer les développements Python, PySpark et SQL, le refactoring et les tests. Profil recherchéVous justifiez d'au moins 3 ans d'expérience en Data Engineering / Data Lake. Vous êtes autonome, rigoureux, proactif et disposez de solides capacités d'analyse. Vous êtes également à l'aise dans des environnements exigeants et possédez un bon relationnel client. Anglais courant obligatoire.

1. Description du posteDans le cadre du développement de projets Data et IA sur Microsoft Azure, nous recherchons un Expert Azure Databricks / Azure Batch pour concevoir, industrialiser et maintenir des plateformes de traitement de données à grande échelle. Le consultant interviendra sur des environnements Cloud exigeants, avec un fort niveau d'automatisation, de performance, de sécurité et de fiabilité. Il participera à la conception d'architectures Data modernes ainsi qu'au développement de solutions robustes et industrialisées. Ses principales responsabilités seront les suivantes : Concevoir et développer des pipelines de traitement de données distribués sous Azure Databricks. Développer des notebooks, workflows et composants techniques en Python et PySpark. Optimiser les performances des traitements Databricks et des jobs distribués. Concevoir des architectures Lakehouse basées sur Delta Lake. Industrialiser et orchestrer des traitements massifs avec Azure Batch. Configurer les pools de calcul et les stratégies d'exécution adaptées aux besoins. Optimiser la parallélisation, la distribution de charge et la consommation des ressources. Mettre en place des solutions de monitoring, d'observabilité et de gestion des incidents. Développer des librairies Python réutilisables, maintenables et testées. Réaliser des tests unitaires, d'intégration et de performance. Participer aux revues de code et à l'amélioration continue des pratiques de développement. Mettre en œuvre des pipelines CI/CD et automatiser les déploiements. Développer et maintenir l'Infrastructure as Code avec Terraform et/ou Bicep. Garantir la qualité, la sécurité et la conformité des déploiements. Accompagner les équipes projet dans l'adoption des standards Cloud, Data Engineering et DevOps.

Data Engineer Senior — Databricks — Descriptif du poste Dans le cadre du développement de nos activités data, nous recrutons un Data Engineer Senior spécialisé sur la plateforme Databricks. Vous intervenez sur la conception et l'industrialisation de plateformes de données lakehouse : vous cadrez les besoins avec les équipes métiers, vous définissez les architectures cibles, vous construisez les pipelines d'ingestion et de transformation, et vous assurez leur mise en production ainsi que leur optimisation en coût et en performance. Vous êtes l'interlocuteur technique direct des équipes métiers sur votre périmètre et vous accompagnez la montée en compétences des profils plus juniors. — Parmi vos missions 🛠 Concevoir et industrialiser les plateformes de données sur Databricks Concevoir des architectures lakehouse en couches (bronze / silver / gold) sur Delta Lake Développer et optimiser les pipelines d'ingestion et de transformation en PySpark et en SQL Industrialiser les traitements avec Databricks Workflows, Delta Live Tables et une chaîne CI/CD Optimiser les coûts et les performances : dimensionnement des clusters, partitionnement, Photon, gestion du cache Mettre en place la gouvernance et la qualité des données Structurer Unity Catalog : catalogues, schémas, gestion des droits, lignage Définir les règles de qualité, les tests et le monitoring des pipelines en production Documenter les modèles de données et les contrats d'interface avec les systèmes amont et aval Cadrer les besoins avec les équipes métiers Animer les ateliers de recueil de besoins et traduire les exigences en solutions data Préconiser les architectures cibles et arbitrer les choix techniques (batch ou streaming, build ou buy) Présenter et défendre vos recommandations auprès des interlocuteurs techniques comme métiers Piloter la livraison et faire monter l'équipe en compétences Piloter un lot de bout en bout : conception, chiffrage, livraison, respect des délais Encadrer les profils juniors en revue de code et en pair programming Diffuser les bonnes pratiques d'engineering : versioning, tests, revue, documentation — Modalités pratiques Lieu : Ile de France Type de contrat : CDI Date de démarrage : A définir Télétravail : Fonction des contraintes opérationnelles (en moyenne : 2 jours)

Qui sommes-nous ?Anafi Consulting est un cabinet de conseil spécialisé dans les transformations technologiques et organisationnelles. Nous accompagnons nos clients grands comptes dans leurs projets stratégiques autour de la Finance, de la Data, du Cloud, du DevOps et du développement applicatif, en combinant expertise technique, compréhension métier et qualité du delivery. Votre rôleDans le cadre de projets stratégiques de transformation Data au sein d'un environnement bancaire international, nous recherchons un(e) Data Engineer Senior / Lead spécialisé(e) dans les technologies Apache Spark, Scala et Azure Databricks. Vous interviendrez sur la conception, le développement et l'optimisation de plateformes de traitement de données à grande échelle, notamment autour des données de marché et des reportings financiers réglementaires. Votre rôle couvrira l'ensemble du cycle de vie des traitements Data : ingestion, transformation, contrôle qualité, optimisation des performances, industrialisation et mise en production. Vous contribuerez également aux choix d'architecture et à l'accompagnement technique des équipes. Vos missions principales Data Engineering & Traitement de donnéesConcevoir et développer des pipelines de traitement de données avec Apache Spark et Scala. Collecter, transformer et consolider des données issues de sources multiples. Développer des traitements distribués pour des volumes importants de données financières. Mettre en œuvre des contrôles de qualité et de cohérence des données. Automatiser les traitements de rapprochement et les calculs financiers. Garantir la fiabilité et la traçabilité des données produites. Architecture Data Lake & AzureParticiper à la conception et à l'évolution d'architectures Data Lake sur Microsoft Azure. Mettre en œuvre des solutions Delta Lake selon une architecture médaillon Bronze / Silver / Gold. Développer et maintenir des traitements sur Azure Databricks. Contribuer à l'optimisation du stockage et de l'exploitation des données sur Azure Data Lake Storage Gen2. Participer aux projets de modernisation et de migration des plateformes Data. Performance & Optimisation SparkOptimiser les performances des traitements Spark. Analyser les plans d'exécution et améliorer les stratégies de partitionnement. Réduire les temps de traitement grâce à l'optimisation des opérations de shuffle et des agrégations. Participer aux migrations et montées de version des environnements Spark. Identifier les axes d'amélioration de la performance, de la stabilité et de la maintenabilité des pipelines. Données financières & Reporting réglementaireDévelopper des traitements de calcul et d'agrégation de données financières. Contribuer à la production de reportings réglementaires tels que NSFR et COREP. Participer à la fiabilisation des données de marché et des référentiels financiers. Développer des mécanismes de rapprochement entre différentes sources de données. Garantir la qualité et la non-régression des calculs. Industrialisation & DevOpsIndustrialiser les traitements Data à travers des pipelines CI/CD. Automatiser les tests unitaires et d'intégration. Participer au déploiement des applications sur Kubernetes / AKS. Utiliser Helm pour la gestion des déploiements. Contribuer à l'amélioration continue des pratiques de développement et de livraison. Expertise technique & AccompagnementParticiper aux choix d'architecture et aux orientations techniques. Accompagner les ingénieurs Data dans leur montée en compétence. Réaliser des revues de code et promouvoir les bonnes pratiques de développement. Collaborer avec les équipes métiers, Data Analysts et équipes IT. Animer des ateliers techniques dans le cadre des évolutions et migrations technologiques. Environnement techniqueData Engineering & Big Data Scala Apache Spark Azure Databricks Delta Lake SQL Cloud & Stockage Microsoft Azure Azure Data Lake Storage Gen2 (ADLS) Architecture Data Lake Architecture médaillon Bronze / Silver / Gold Bases de données & Restitution ClickHouse OpenSee DevOps & Industrialisation Jenkins GitHub Kubernetes / Azure AKS Helm Oozie CI/CD Développement Java Spring Boot Angular Qualité & Performance Tests unitaires et d'intégration Optimisation Spark Partitionnement et shuffle Monitoring des traitements Qualité et fiabilité des données