Trouvez votre prochaine offre d’emploi ou de mission freelance Delta Lake

Profil recherchéVous disposez d'une solide expérience en développement Python et en conception logicielle. Vous maîtrisez les principes de programmation orientée objet et savez concevoir des composants modulaires, réutilisables et maintenables. Vous avez une expérience significative dans le traitement de données volumineuses et l'optimisation de calculs. Vous maîtrisez les tests automatisés, les bonnes pratiques de développement et les processus d'intégration continue. Vous avez déjà travaillé avec au moins un framework de calcul distribué : Ray, PySpark ou Dask. Vous êtes capable d'analyser du code existant, d'en évaluer la qualité et de garantir sa conformité aux standards techniques. Qualités attenduesRigueur technique : capacité à faire respecter les standards de développement et de qualité, notamment lors de l'intégration de code produit par des tiers. Autonomie et adaptabilité : aptitude à investiguer des environnements complexes, à résoudre des problèmes techniques et à appréhender de nouveaux outils. Pragmatisme : capacité à concilier qualité logicielle, performance et contraintes de mise en production. Communication : aisance dans les échanges avec des interlocuteurs techniques et métier. Anglais technique : capacité à exploiter la documentation et à échanger avec des équipes internationales. Les connaissances de l'écosystème Azure, des problématiques réseau et de sécurité ainsi que des plateformes Databricks et Dataiku DSS constitueront des atouts supplémentaires.

Dans le cadre de projets de transformation et de modernisation des plateformes Data, nous recherchons un Consultant Senior Data Lakehouse orienté gestion de projet, disposant d'au moins 10 ans d'expérience dans le domaine de la Data. Vous intervenez sur des programmes de transformation Data complexes, de la phase de cadrage et de recueil des besoins jusqu'au déploiement des solutions, en assurant la coordination des équipes métiers, fonctionnelles et techniques. Vos missionsPilotage et gestion de projet DataPiloter des projets de transformation et de modernisation des plateformes Data. Coordonner les différents acteurs métiers, fonctionnels, techniques et IT. Définir et suivre les planning, jalons, livrables, risques, dépendances et actions. Préparer et animer les comités projet, comités de pilotage et instances de gouvernance. Assurer le suivi des décisions, arbitrages et plans d'actions. Accompagner les équipes dans la mise en œuvre des trajectoires Data définies. Garantir l'alignement entre les objectifs métiers, les enjeux Data et les contraintes techniques. Cadrage et expression des besoinsRecueillir, analyser et formaliser les besoins métiers. Animer des ateliers de cadrage et de conception avec les différentes parties prenantes. Challenger les besoins et exigences afin d'identifier les solutions les plus pertinentes. Rédiger les cas d'usage, Expressions de Besoin (EDB), spécifications fonctionnelles et technico-fonctionnelles. Assurer la traduction des besoins métiers en solutions Data concrètes et industrialisables. Transformation Data & LakehouseAccompagner les projets de migration de plateformes Data Legacy vers des architectures modernes, notamment de type Data Lakehouse. Participer à la définition et à la mise en œuvre de Data Products et plateformes Data modernes. Posséder une expertise confirmée sur au moins une des technologies suivantes : Databricks, Snowflake ou Microsoft Fabric. Être capable d'évaluer et de comparer les solutions technologiques afin d'orienter les choix d'architecture en fonction des besoins métiers et techniques. Participer aux arbitrages fonctionnels, techniques et applicatifs. Contribuer à la définition des trajectoires et feuilles de route Data. Gouvernance et qualité des donnéesMaîtriser les enjeux liés au Data Lineage, à la gouvernance et à la qualité des données. Comprendre et cartographier des flux de données complexes impliquant de multiples systèmes sources et applications. Veiller à la cohérence, à la traçabilité et à la qualité des données tout au long des projets. Accompagner la mise en place de pratiques permettant une meilleure valorisation et structuration de la donnée.

Positionné au sein de la DSI de l'entreprise, le Data Engineer intègrera l'équipe Conso Data qui traite les données de consommation des clients afin de les exposer sur les canaux digitaux. Il devra : - Être force de proposition et participer à la conception des solutions techniques en collaboration avec les membres de l'équipe. - Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels. - Participer aux cérémonies Agile SAFe (PI Planning, macro-chiffrage, refinements, rétrospectives, etc.). - Concevoir et faire évoluer les architectures de données basées sur l'approche Databricks Medallion Architecture (Bronze, Silver, Gold). - Garantir la qualité, la fiabilité et la performance des traitements de données en production. (Jobs Databricks et APIs) - Contribuer à l'amélioration continue de la plateforme en proposant des optimisations techniques, des bonnes pratiques et des innovations. Il sera notamment amené à : - Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers. - Mettre en œuvre et orchestrer les traitements de données à l'aide des outils Databricks. - Modéliser les données dans les tables Delta Lake en appliquant les bonnes pratiques de partitionnement, indexation, optimisation et gouvernance. - Optimiser les performances des traitements Databricks (Spark, Delta Lake, gestion des coûts et du temps d'exécution). - Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD. - Concevoir, développer et maintenir des APIs permettant l'exposition et la consommation des données. - Mettre en place des mécanismes de contrôle qualité des données (Data Quality), de monitoring et d'alerting. - Identifier, analyser et résoudre les incidents de production tout en assurant le suivi des actions correctives. - Rédiger et maintenir la documentation technique des solutions mises en œuvre. - Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering Environnement Technique : - Python, SQL - Spark, PySpark, DBUtils - FastApi, Pytest - Databricks, Unity Catalog - Ariflow (migration vers Databricks Workflow) - AWS (Lambda, secrect manager, Bucket S3, ECS) - Git et gestion du versioning - Déploiement pipeline CI/CD

CONTEXTE Dans le cadre d'un environnement international de trading d'énergie, nous recherchons un Data Engineer Expert pour rejoindre une équipe Data Engineering basée à Genève. Vous interviendrez sur des enjeux data critiques pour les activités de trading de pétrole, biofuels, gaz naturel et électricité, dans un environnement à forte volumétrie et nécessitant un haut niveau de performance et de fiabilité. Vous collaborerez au quotidien avec les traders, charterers, opérateurs, analystes de marché et quants, ainsi qu'avec des équipes internationales basées notamment à Paris, Houston et Singapour. RESPONSABILITÉS Concevoir, maintenir et optimiser des pipelines de données batch et temps réel. Développer des solutions de streaming data à haute performance. Travailler sur des architectures Databricks / Spark Streaming / Structured Streaming / Delta Lake. Concevoir et exploiter des flux temps réel avec Kafka et/ou AWS Kinesis. Développer des pipelines et APIs en Python. Exploiter les services AWS : Kinesis, SQS, SNS, EventBridge, S3, Lambda, IAM. Garantir la disponibilité, l'intégrité, la qualité et la performance des données. Identifier et réduire les problèmes de latence, incidents et défaillances sur les flux temps réel. Participer à l'amélioration continue des pratiques de monitoring, CI/CD et observabilité. Collaborer avec les équipes métier et techniques dans un contexte international et exigeant. ENVIRONNEMENT TECHNIQUE Databricks · Spark · Structured Streaming · Delta Lake · Python · AWS · Kinesis · Kafka · S3 · Lambda · SQS · SNS · EventBridge · IAM · PySpark · Git · GitHub Actions · CloudWatch · Grafana

Missions principales ■ Être force de proposition et participer à la conception des solutions techniques avec les membres de l'équipe ■ Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels ■ Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc. ■ Concevoir et faire évoluer les architectures de données selon l'approche Databricks Medallion Architecture (Bronze, Silver, Gold) ■ Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API ■ Contribuer à l'amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations Activités ■ Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers ■ Mettre en œuvre et orchestrer les traitements de données avec Databricks ■ Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance ■ Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d'exécution ■ Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD ■ Concevoir, développer et maintenir des API pour l'exposition et la consommation des données ■ Mettre en place des mécanismes de Data Quality, de monitoring et d'alerting ■ Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives ■ Rédiger et maintenir la documentation technique des solutions mises en œuvre ■ Accompagner les équipes dans l'adoption des bonnes pratiques de Data Engineering

Dans le cadre du développement et de l'évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineering disposant d'une expertise avancée sur Databricks, PySpark et Unity Catalog. Le consultant interviendra comme référent technique pour accompagner les équipes dans la conception, le développement et l'industrialisation des solutions Data. MissionsPiloter les choix techniques et accompagner la conception des architectures Data sur Databricks. Concevoir, développer et optimiser les pipelines de traitement de données avec PySpark et Spark SQL. Mettre en œuvre et administrer Unity Catalog pour structurer la gouvernance, la gestion des accès et la traçabilité des données. Garantir la qualité, la performance et la fiabilité des traitements Data, notamment sur les environnements Delta Lake. Encadrer techniquement les Data Engineers, réaliser les revues de code et diffuser les bonnes pratiques de développement. Accompagner l'industrialisation des pipelines, l'automatisation des déploiements et l'intégration des pratiques CI/CD.

Dans le cadre du développement de projets Data stratégiques, nous recherchons un Consultant Databricks / Data Engineer confirmé pour accompagner la conception, le développement et l'optimisation de solutions de traitement et de valorisation des données. Vous interviendrez dans un environnement Cloud moderne, au sein d'une équipe Data, afin de contribuer à la mise en place de pipelines de données performants, fiables et évolutifs. Missions principalesConcevoir, développer et maintenir des pipelines de données sur Databricks. Développer et optimiser les traitements Data avec Python, PySpark et SQL. Mettre en place des processus ETL/ELT pour l'intégration et la transformation des données. Exploiter Delta Lake et les architectures Lakehouse. Participer à l'industrialisation et à l'automatisation des flux Data. Optimiser les performances des traitements Spark. Assurer la qualité, la fiabilité et la sécurité des données. Collaborer avec les Data Engineers, Data Analysts et équipes métiers. Participer aux bonnes pratiques de développement, de documentation et de CI/CD.

Contexte Dans le cadre de notre croissance, Hexateam recrute deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Contexte Dans le cadre de notre croissance, nous recrutons Deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d'ingestion, de transformation et de fiabilité des données. Missions Développement et ingestion de données • Concevoir et développer des pipelines de données en Python et Spark sur Databricks • Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake) • Optimiser les traitements et les performances Orchestration et qualité des données • Orchestrer les workflows avec AWS Airflow • Mettre en place des contrôles qualité et des mécanismes de validation • Développer des outils de monitoring et de gestion des anomalies Maintien en condition opérationnelle • Assurer la disponibilité et la performance des pipelines • Diagnostiquer et corriger les incidents • Participer à l'amélioration continue des traitements Contribution • Participer aux ateliers techniques et aux échanges avec les équipes • Documenter les pipelines, architectures et processus • Contribuer aux bonnes pratiques Data et Big Data

Contexte de la missionDans le cadre de projets stratégiques de transformation et de modernisation des plateformes Data, nous recherchons un Tech Lead Databricks Senior pour piloter techniquement la conception, le développement et l'industrialisation de solutions Data à grande échelle. Vous interviendrez en tant que référent technique auprès des équipes Data Engineering et participerez activement aux choix d'architecture, à l'optimisation des performances et à la mise en place des bonnes pratiques de développement. Missions principalesAssurer le leadership technique d'une équipe de Data Engineers. Concevoir et faire évoluer des architectures Data basées sur Databricks. Piloter le développement et l'industrialisation des pipelines de données. Définir les standards techniques et les bonnes pratiques de développement. Accompagner les équipes sur Python, PySpark, SQL et Apache Spark. Optimiser les performances des traitements Big Data. Mettre en place des architectures Lakehouse avec Delta Lake. Garantir la qualité, la sécurité et la gouvernance des données. Participer aux choix d'architecture Cloud et aux décisions techniques. Réaliser des revues de code et accompagner la montée en compétences des développeurs. Superviser l'intégration continue et le déploiement des solutions Data. Collaborer avec les architectes, Product Owners et équipes métiers.

Contexte Pour un acteur majeur disposant d'enjeux forts autour de la logistique et de la supply chain, nous recherchons un Data Architect pour concevoir et faire évoluer des solutions data complexes. Vous interviendrez dans un environnement Cloud techniquement mature pour accompagner la structuration et la scalabilité des architectures de données. Ce rôle stratégique nécessite une vision d'ensemble couplée à une solide gouvernance IT, afin d'aligner les feuilles de route technologiques sur des exigences métiers exigeantes. Vos missions Concevoir des solutions Analytics et Advanced Analytics scalables (traitements batch, event-driven, architecture Medallion). Modéliser les données aux niveaux conceptuel, logique et physique dans une approche orientée domaine (Domain-Driven). Définir les standards d'architecture, les architectures cibles et les trajectoires technologiques. Animer les revues d'architecture et garantir une gouvernance IT rigoureuse. Créer des data products, des modèles de données canoniques, des flux et des patterns d'intégration réutilisables. Sécuriser la gestion des accès, des métadonnées et le cycle de vie de l'information. Traduire les besoins métiers en décisions d'architecture pragmatiques en collaborant avec les Product Managers et les ingénieurs. Mentorer les équipes techniques pour accroître la maturité architecturale et l'alignement global des pratiques. Environnement technique Azure, Databricks, Data Lakehouse, SQL, Delta Lake, Python, Spark, API, intégration event-driven, ETL/ELT, outils d'IA (assistance au développement).

#StormYourCareer Rejoins STORM GROUP et construis ta carrière avec nous ! Bâtis les pipelines de données massives et alimente les moteurs de l'IA générativeDans le cadre du développement et du passage à l'échelle des cas d'usage IA d'un grand compte, nous recherchons un(e) Data Engineer IA. Ton rôle sera hautement structurant et central : tu concevras, développeras et industrialiseras les pipelines de données volumineux et temps réel qui alimentent les modèles de Machine Learning et les applications d'IA générative, en garantissant la qualité, la traçabilité et la performance des flux de données. Ton futur environnementTu évolueras au sein d'une équipe pluridisciplinaire réunissant data engineers, data scientists, architectes data et ingénieurs MLOps. En prise directe avec les équipes plateformes et les squads de développement GenAI, tu travailleras sur des architectures Lakehouse modernes en environnement Cloud. C'est le cadre idéal pour manipuler des volumes de données massifs, mettre en œuvre des flux événementiels temps réel et concevoir des pipelines avancés de préparation documentaire (chunking, vectorisation) pour les architectures RAG. Tes missions clésConception & Développement des Pipelines de Données (Mode BUILD) : Concevoir, développer et automatiser des pipelines ETL/ELT robustes depuis des sources hétérogènes (APIs, bases relationnelles, flux événementiels) en modes batch (Spark, PySpark, Databricks, dbt) et temps réel (Kafka). Structurer, nettoyer et enrichir les jeux de données destinés à l'entraînement des modèles de Machine Learning et au feature engineering. Construire les chaînes de préparation de données textuelles et multimodales pour les architectures RAG : ingestion documentaire automatisée, stratégies de découpage (chunking) et pipelines d'embedding/vectorisation. Alimenter, optimiser et administrer les bases de données vectorielles du groupe. Mettre en œuvre les architectures de stockage modernes (Delta Lake / Lakehouse, Snowflake, BigQuery). Industrialisation, Qualité & Optimisation (Mode RUN & MLOps) : Industrialiser l'orchestration des flux de données via des outils dédiés (Airflow) en garantissant la sécurité, la haute disponibilité et la reproductibilité du code (Git, CI/CD). Optimiser les performances de traitement et piloter les coûts de calcul et de stockage dans le Cloud. Garantir la qualité, la gouvernance, la sécurité et la traçabilité (data lineage) des données manipulées. Rédiger la documentation technique des pipelines et contribuer activement à l'amélioration des standards d'ingénierie de l'équipe. Ton profilFormation : Diplôme d'Ingénieur ou Bac+5 universitaire en informatique, Data Engineering, génie logiciel ou systèmes d'information. Expérience : Tu justifies d'une expérience confirmée de 3 à 5 ans en Data Engineering en environnement Cloud, avec idéalement une première mise en pratique sur des cas d'usage IA/ML ou GenAI (pipelines RAG, feature engineering). Expertise Data Engineering Impérative : Excellente maîtrise de la programmation en Python et des requêtes complexes en SQL. Solide expérience de traitement distribué avec Spark / PySpark et de l'environnement Databricks. Maîtrise des outils d'orchestration de flux (Airflow) et de transformation de données (dbt). Pratique confirmée d'un entrepôt de données moderne (Snowflake, BigQuery, Delta Lake). Culture Cloud & IA : Expérience sur au moins une plateforme Cloud majeure (Azure, AWS ou GCP). Compréhension des flux streaming (Kafka) et des pratiques DevOps (Git, CI/CD). Notions ou expérience pratique des architectures RAG et de la manipulation de bases vectorielles. Langues : Anglais professionnel opérationnel. Tes atoutsRigueur d'Ingénierie Logicielle : Attachement fort aux bonnes pratiques de développement (code propre, testé, versionné et reproductible). Sens de la Qualité et de la Sécurité : Souci permanent de l'intégrité, de la gouvernance et de la confidentialité des données traitées. Collaboration Transverse : Capacité naturelle à dialoguer avec les data scientists pour traduire leurs besoins algorithmiques en pipelines scalables. Nos avantagesRemboursement des titres de transport à hauteur de 75%. Tickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5€ / jour). Accès Gymlib / Wellpass (sport et bien-être). Contrat Santé / Prévoyance mis en place auprès de la compagnie Alan. Formation continue : Accès à Udemy Business. Prime de cooptation, prime d'intéressement et de participation. Deux à trois jours de télétravail par semaine. 5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions. Missions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise. Suivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue. Excellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant. Performance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie. Storm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.