Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Nous recherchons pour une mission longue chez notre client secteur banque/finance en région parisienne un Data Engineer confirmé, pour rejoindre une équipe qui construit les socles de données au service de l'intelligence artificielle. Vous participerez à la mise en production de cas d'usage IA à forte valeur ajoutée, en lien étroit avec les équipes Data Science. Vos missions : - Concevoir, développer et maintenir des pipelines de données scalables pour alimenter les cas d'usage d'IA. - Architecturer des flux batch et streaming fiables, traçables et conformes. - Collaborer avec les équipes Data Science / ML pour transformer les modèles en services de production (MLOps). - Optimiser les performances des bases et entrepôts de données (SQL, NoSQL, data lake). - Mettre en place l'observabilité : monitoring, alerting, logging et métriques. - Garantir la sécurité des flux et la gouvernance de la donnée (catalogue, lineage). Environnement : Python, PySpark, Scala/Java, Spark, Kafka, Oracle, Clickhouse, S3, Airflow, Dagster, Docker, CI/CD. Vous êtes recruté en CDI cadre chez Ingéniance, au sein d'une communauté d'experts de la data et de la finance. Ref : O-RPIRS

Production Data Officer Nous cherchons un profil senior, capable de leader et de committer nos équipes ainsi que nos filiales à ce niveau. Data Governance : mise en place de standards, guidance et gouvernance à l'échelle groupe et filiales Data Architecture : bonne compréhension des Data Lakes et des approches Data Domain Driven Structuration et catalogage des données, avec une capacité à être hands-on malgré le niveau senior Data Analytics : définition et orientation de la stratégie d'analyse des données Bonne maîtrise des environnements / outils : AWS Snowflake Power BI Collibra Connaissance des brokers MQTT indispensable Capacité à coordonner et engager des équipes réparties entre plusieurs filiales Capacité à décliner une guidance Data groupe vers les différentes entités, notamment la DOP Leadership / profil CODIR : capable de communiquer avec des interlocuteurs de haut niveau et d'apporter une vision stratégique Français + anglais Expérience industrielle obligatoire Mission de minimum 6 mois. Possibilité de long terme Nous cherchons idéalement un profil ouvert a être internalisé a terme.

Nous recherchons actuellement un Administrateur dataplateforme/Workspace/ Expert databricks pour une mission longue dans le secteur de l'énergie ! Missions & Stack technique : Administration Databricks & Workspaces : Administrer les workspaces et ressources de calcul, gérer les habilitations, appliquer les politiques de sécurité, suivre les coûts et assurer le support opérationnel (RUN). Gouvernance Data (Unity Catalog) : Structurer et déployer Unity Catalog, organiser les catalogues/schémas, définir les règles d'accès, les conventions de nommage et garantir la qualité des données. Migration Data Lake Legacy : Analyser l'existant, concevoir l'architecture cible, définir la stratégie de migration par vagues et coordonner les bascules sans interruption de service. Industrialisation & DataOps : Mettre en place et maintenir des pipelines CI/CD avec Git et Databricks Asset Bundles, et automatiser les déploiements (Dev, Test, Prod). Développement & Qualité : Industrialiser les pipelines de données avec Python et Apache Spark, et optimiser la modélisation et la fiabilité des flux. Accompagnement & Documentation : Rédiger la documentation technique (guides, blueprints) et accompagner la montée en compétences des Data Engineers et profils métiers (Data Citizens). (Compétences appréciées : Terraform avec provider Databricks, Cloud AWS/Azure, briques IA / GenAI intégrées).

Informations mission : Localisation / Site : Clermont-Ferrand (Ladoux) Organisation : Hybride (3 jours minimum par semaine sur site) TJM : 430 € HT/jour Date de démarrage : ASAP Durée de la mission : Longue durée (3 ans minimum), avec période d'essai de 3 mois Langues : Français et Anglais (lu, parlé, écrit) Synthèse de la mission : Au sein du domaine Analytics R&D d'un grand groupe industriel, nous recherchons un Data Engineer Référent. Vous serez chargé d'ingérer, structurer et valoriser les données nécessaires aux produits numériques de Recherche & Développement, tout en jouant un rôle clé de référent technique et de mentor auprès des équipes Data dans le cadre d'une démarche Agile à l'échelle (SAFe). Missions principales : Ingénierie & Développement : Concevoir, développer et maintenir les pipelines d'intégration et de transformation de données (Python, Talend DI, SQL). Accompagnement & Mentorat : En lien avec le Tech Lead, accompagner les Data Engineers de l'équipe dans l'adoption des meilleures pratiques de développement. Qualité & CI/CD : Assurer la rédaction des tests (unitaires automatisés, qualification), la documentation technique/fonctionnelle et l'intégration dans la chaîne CI/CD (GitLab). Support & MCO : Garantir un support de niveau 3 sur les traitements d'alimentation du Data Lake.

Vos missions ? En tant que Data Manager Senior / Lead Data (H/F) vous serez en charge des missions suivantes: - Identifier, cadrer et prioriser les projets Data en lien avec les directions métiers et techniques. - Construire les business cases, estimer le ROI et présenter les recommandations auprès des instances de décision. - Piloter la mise en œuvre des projets : suivi des plannings, risques, budgets, qualité et adoption des solutions. - Animer et coordonner des équipes pluridisciplinaires : Data Scientists, Data Engineers, analystes et interlocuteurs métiers. - Accompagner la montée en compétences des collaborateurs, assurer leur encadrement et favoriser le partage des bonnes pratiques. - Mettre en place des cas d'usage à forte valeur ajoutée : segmentation client, scoring, recommandation, prévision, optimisation de campagnes, analyse comportementale ou NLP. - Garantir la cohérence entre les enjeux business, la gouvernance des données et les choix technologiques. - Contribuer à la feuille de route Data et à la diffusion d'une culture Data au sein de l'organisation. Vous disposez d'une solide culture technique et êtes à l'aise avec plusieurs environnements parmi : - Python, PySpark, SQL, SAS ou R ; - BigQuery, AWS, Hive ou autres environnements Cloud/Data Lake ; - Dataiku, Tableau, Looker Studio ou outils de data visualisation ; - Data Science, Machine Learning, NLP, scoring et modèles prédictifs.

Nous recherchons un(e) Data Engineer / Consultant(e) BI expérimenté(e) pour intégrer et accompagner notre équipe sur la gestion et le traitement des données au sein de notre Datalake. La maîtrise des concepts décisionnels est une contrainte forte et indispensable pour réussir sur ce périmètre. Missions principales : Garantir l'accès qualitatif et sécurisé aux sources de données multiples. Assurer la supervision, l'intégration, le nettoyage (suppression des doublons) et la recette des flux de données entrants dans le Data Lake. Garantir la maîtrise, la normalisation, le référencement et la qualité d'utilisation de la donnée afin d'en faciliter l'exploitation par les Data Analysts et Data Scientists. Contribuer à la définition de la politique de la donnée et structurer son cycle de vie dans le respect des réglementations en vigueur. Intervenir sur les systèmes applicatifs de gestion de la donnée, de traitement et sur les plateformes associées.

Dans le cadre d'un projet stratégique autour de la valorisation des données monétiques, nous recherchons un Data Engineer Senior / Expert pour participer à la conception, au développement et à l'industrialisation de pipelines de données sur Google Cloud Platform (GCP). La mission consiste à assurer l'ingestion, la validation, le croisement, l'enrichissement et le stockage de données issues de sources multiples au sein d'un Data Lake, ainsi qu'à automatiser la production d'agrégats journaliers, hebdomadaires et mensuels. Le consultant interviendra sur le développement et l'optimisation des traitements Big Data, la mise en place des chaînes CI/CD, l'automatisation des tests fonctionnels, la production des scripts de déploiement et la résolution des anomalies. Il contribuera également à la documentation technique, au maintien en conditions opérationnelles des solutions et à l'accompagnement des équipes d'exploitation, dans un environnement Cloud et Big Data exigeant, en collaboration avec les équipes techniques, les Product Owners et les chefs de projet, selon les méthodologies Agile Scrum et Kanban.

Dans le cadre des programmes stratégiques de transformation Data du Groupe, le consultant intégrera le Cloud Center of Excellence et participera à la conception, au développement et à l'exploitation des plateformes de données. La mission consiste à construire des pipelines de données robustes et industrialisés, concevoir des architectures Data modernes (Data Lake, Data Warehouse, Data Mart), garantir la qualité et la disponibilité des données, et accompagner les équipes métiers dans leurs besoins analytiques. Le consultant sera également impliqué dans les projets de migration, d'intégration et d'optimisation des traitements ETL/ELT tout en appliquant les standards de développement, de sécurité et de gouvernance définis par le Groupe. Missions principales Concevoir et développer des pipelines ETL/ELT avec Talend, SSIS et Azure Data Factory Mettre en place les infrastructures nécessaires à l'extraction, la transformation et au chargement des données Développer des composants ETL réutilisables et industrialisés Mettre en œuvre les mécanismes d'alimentation des données (Full Load, Delta Load, historisation) Assurer le support, le débogage et la résolution d'incidents de production Participer à la conception et à l'évolution des Data Lakes Intégrer les données via API, transferts de fichiers et autres mécanismes d'ingestion Concevoir et maintenir des Data Warehouses, Data Marts et cubes analytiques Réaliser la modélisation et l'assemblage de jeux de données complexes répondant aux besoins métiers Collaborer avec les Product Owners, équipes Data, administrateurs et équipes plateformes Participer aux phases de Data Discovery et Data Scoping Contribuer aux cérémonies Agile et aux activités d'amélioration continue Garantir les bonnes pratiques de développement, de qualité et de déploiement Participer à l'automatisation des déploiements et à l'intégration continue

Contexte de la mission • Renfort temporaire au sein du Système d'information de la Direction des Achats Groupe. • Continuité d'activité pendant l'absence de l'analyste, avec passation avant et restitution à son retour. • Recensement et optimisation du portefeuille de rapports Power BI utilisé par les fonctions Groupe. • Collaboration transverse avec les équipes SI Achats, Data, IT, Finance, Supply Chain et utilisateurs clés. Votre rôle au quotidien • Concevoir, développer, maintenir et faire évoluer les applications métiers et tableaux de bord Power BI. • Animer les ateliers, recueillir les besoins des acheteurs et les traduire en solutions robustes et sécurisées. • Réaliser les évolutions, corrections, tests, mises en production et activités de support prioritaires. • Documenter les solutions, assurer le transfert de connaissances et préparer une restitution complète. Environnement technique • Power BI, DAX, Power Query, modèles dimensionnels, workspaces, RLS et optimisation des performances. • Power Apps, Power Automate, Dataverse, Microsoft 365, SharePoint et intégration d'API. • SQL, Azure Data Lake, Microsoft Fabric et préparation de données sécurisées et traçables. • Git, DevOps/ALM, pipelines, versioning, tests, monitoring et déploiements contrôlés. Informations complémentaires • Client : Industrie • Localisation : Limoges (lundi, mardi, jeudi sur site/à moduler) • Démarrage : Novembre • Mission 3J par semaine

🎯 Okara cherche un Analytics Engineer / Data Engineer L'enjeu : Devenir le garant de l'équilibre économique chez l'un des leaders mondiaux du retail et de l'aménagement de la maison. En tant que consultant·e Okara, tu rejoins l'équipe "Finance & Performance" de notre client pour piloter la rentabilité de la structure. Ton terrain de jeu ? Une équipe de choc de qui gère le Build et le Run de produits data critiques. Un scope hybride passionnant, au carrefour du Data Engineering, de la modélisation et de la business intelligence. 🚀 Ton rôle Tu es l'architecte de la performance financière. L'enjeu actuel est double : moderniser la tuyauterie technique et traquer le moindre coût superflu pour optimiser l'infrastructure. Concrètement, tu vas : Propulser la migration (Modern Data Stack) : Participer activement au passage des flux historiques vers DBT. Tu ne te contentes pas de déplacer la donnée, tu la structures intelligemment en étoile directement dans BigQuery pour soulager la restitution. Piloter par la performance (Le défi FinOps) : Devenir le chasseur officiel de requêtes gourmandes. Ton objectif ? Atteindre une réduction des coûts cloud et DataViz en appliquant les meilleures pratiques de code Illuminer le Business (Analytics & Restitution) : Consacrer 20 à 30% de ton temps à façonner des modèles sémantiques et concevoir des dashboards Power BI fluides, performants et directement actionnables par les directions métiers. Garantir une donnée de confiance : Assurer la qualité, le nettoyage (adieu les doublons !) et la cartographie des données entrant dans le Data Lake pour faciliter le travail des Data Analysts et Data Scientists.

Dans le cadre du développement de notre Data Factory, vous intégrerez une équipe en charge de concevoir, déployer et faire évoluer des plateformes Data innovantes, agiles et orientées métier. L'objectif est de développer des produits Data répondant aux besoins concrets des métiers, tout en garantissant leur performance, leur sécurité, leur qualité et leur évolutivité. Vos missionsDéveloppement de produits Data Transformer la donnée brute en données exploitables, notamment sous forme de tables requêtables dans le Data Lake. Consolider et orchestrer les données au fil de leur ingestion. Exploiter les données pour répondre aux enjeux métiers : création de Business Views, réintégration dans le SI, services de scoring, etc. Conception et industrialisation Participer à la conception et à l'évolution du socle technique Data. Développer, automatiser et fiabiliser les pipelines de données. Mettre en place et garantir un processus qualité rigoureux : documentation, tests unitaires et d'intégration, commentaires, versioning. Contribuer à l'amélioration continue des pratiques et des outils de développement Data. Profil recherchéDiplômé(e) d'un Master ou d'une école d'ingénieurs en informatique, sciences ou domaine similaire, avec une spécialisation en Data. 5 ans d'expérience minimum en tant que Data Engineer, idéalement dans un environnement Azure / Databricks. Maîtrise avancée de PySpark / Spark. Expertise de l'environnement Microsoft Azure : Data Factory, Databricks, Data Lake Storage, Azure DevOps, Git et CI/CD. Solide expérience en traitement de données batch et streaming. Bonne maîtrise de SQL et connaissance des bases NoSQL (Cosmos DB, MongoDB…). Bonne connaissance des méthodologies Agile (Scrum, Kanban). Capacité à travailler en collaboration avec des PO, BA, testeurs, architectes et équipes métiers. Qualités recherchéesRigueur et autonomie Esprit d'innovation Bonnes capacités de communication Esprit d'équipe Capacité d'adaptation Sensibilité aux enjeux de qualité et d'industrialisation des données

Si pour vous être Tech Lead Data GCP, c'est : Piloter la conception et l'architecture de plateformes data modernes, scalables et sécurisées sur Google Cloud Platform ; Encadrer et accompagner des équipes Data Engineers dans la mise en œuvre de pipelines robustes et industrialisés ; Maîtriser l'écosystème GCP : BigQuery, Dataflow, Dataproc, Cloud Storage, Cloud Functions, Looker ; Concevoir et optimiser des traitements de données à grande échelle via Spark, Dataflow ou Dataproc ; Mettre en place des pratiques DataOps / FinOps : CI/CD, monitoring, optimisation des coûts et performance ; Travailler en étroite collaboration avec les équipes BI, Data, DevOps et métiers pour transformer les besoins en solutions concrètes ; Garantir la qualité, la gouvernance et la sécurité des plateformes data ; Apporter du leadership technique, structurer les bonnes pratiques et faire grandir les équipes… …Alors vous êtes le profil que nous recherchons ! Vous disposez d'une expertise confirmée en data engineering et architecture GCP, et vous êtes à l'aise dans des environnements exigeants, avec une forte dimension projet et delivery. Dans le cadre de missions à fort enjeu chez nos clients, vous interviendrez en tant que référent technique GCP sur des projets de transformation data. Vous serez amené(e) à : Accompagner les clients dans la modernisation de leurs plateformes data sur GCP (cadrage, architecture, gouvernance) ; Concevoir des architectures cloud data performantes et évolutives basées sur les services managés GCP ; Piloter des projets de déploiement de Modern Data Platforms (data lake, data warehouse, streaming, batch) ; Assurer la cohérence technique et la qualité des livrables, en garantissant performance, sécurité et scalabilité ; Conseiller les équipes IT et métiers sur leurs choix techniques et stratégiques ; Encadrer les équipes projet et diffuser les bonnes pratiques d'ingénierie data ; Mettre en place des modèles d'industrialisation : CI/CD, orchestration, monitoring, data quality ; Réaliser une veille active sur les innovations de l'écosystème GCP et Data Cloud.

Notre client, un fonds d'investissement quantitatif, renforce son équipe IT Core Platform. Cette équipe travaille à côté des équipes infrastructure et fournit des services et briques AWS partagés aux équipes plateforme métier (Data Platform / data lake, ML Platform / MLOps). Le cloud est puissant mais encore inégalement mature, et les utilisateurs manquent d'outillage. La mission consiste à en faire une developer experience self-service, pensée comme un produit. Missions Concevoir et faire évoluer la core platform AWS, avec des garde-fous et des defaults sensés : gouvernance multi-comptes (Organizations, SCPs, IAM) déploiement de stacks piloté par manifest (quel stack de quelle équipe dans quel compte) modules Terraform réutilisables et documentés Industrialiser une CI/CD abstraite sur Jenkins et GitLab CI avec runners hébergés sur AWS : templates et golden paths qui épargnent la plomberie aux équipes Construire l'outillage FinOps : stratégie de tagging, budgets, alertes et visibilité des coûts par équipe Contribuer à la roadmap User Experience à 12 mois : Onboarding & accès : process d'accès rapide et sans friction Dev & debug : debugging interactif temps réel compatible avec les contraintes infosec, réduction du cold start Docker, monitoring dans l'IDE Environnements : base images optimisées, gouvernance des images Docker, drivers NVIDIA récents, package registry Compute : contournement de la congestion GPU régionale (multi-cloud, Kubernetes sur instances réservées, multi-région), cold start des petits jobs, profiling perf/coût Développement assisté par IA : packaging et support d'assistants IA (Copilot, Claude Code) Sandbox : environnement d'expérimentation sécurisé, lifecycle des ressources, chemin clair vers la prod Produire documentation et formations, puis suivre l'adoption et la satisfaction des utilisateurs

Dans un environnement digital, innovant, multiculturel et transverse, vous intervenez comme Data Steward senior sur le périmètre marketing digital et e-commerce D2C, dédié à la vente directe aux consommateurs. Le secteur d'activité du client n'est pas précisé dans la description source. Vous pilotez les projets Data/BI et coordonnez les travaux de l'équipe en mode Agile : organisation, planification, suivi budgétaire, suivi des sujets, planification de la capacité et communication de l'avancement aux parties prenantes, avec Office et Jira. Vous analysez et cadrez les besoins métier en évaluant leur faisabilité, leur coût et leur retour sur investissement. Vous formulez des recommandations et produisez des conceptions détaillées de solutions, en coordination avec les experts techniques. Vous réalisez les analyses métier, les extractions ponctuelles et la modélisation nécessaires pour préciser les règles fonctionnelles et répondre aux cas d'usage. Vous explorez les données avec SQL et Qlik. Vous rédigez les spécifications fonctionnelles des développements Data Engineering sur un Data Lake AWS et des solutions de visualisation Qlik Sense. Vous veillez à la disponibilité et à la qualité des données. Vous préparez et exécutez les tests d'intégration. Vous testez les modèles avec SQL pour valider les règles fonctionnelles, puis les restitutions pour vérifier les contrats de données, les indicateurs, les dimensions et les visualisations. Vous accompagnez les utilisateurs métier pendant la recette utilisateur. Vous organisez et suivez les mises en production des projets, évolutions et corrections d'anomalies, et assurez la communication sur les livraisons. Vous formez et accompagnez les utilisateurs finaux, apportez le support et assurez la maintenance corrective et évolutive. Vous maintenez le catalogue de données ainsi que les produits de données destinés à l'analyse en libre-service, et communiquez sur leur utilisation. Vous produisez et actualisez les spécifications, guides pratiques et documents de planification. Vous capitalisez les connaissances, partagez les bonnes pratiques, les réalisations et l'actualité des projets avec les autres Data Stewards et l'équipe. Dans une démarche d'amélioration continue, vous proposez des évolutions des méthodes, processus et outils pour renforcer l'efficacité et la compétitivité du périmètre.

Je suis à la recherche d'un Directeur de programmes IT/Data complexes. Le client poursuit la centralisation et la modernisation du SI-RC. Le programme Plateformes Data & IA coordonne huit chantiers : BLEU/Microsoft Fabric, migration Teradata avant fin 2028, devenir Hadoop/Cloudera avant fin de support en juin 2027, trajectoire SAS, accès transitoire aux socles existants, plateforme Data On Premise souveraine, plateforme de services Data/IA et convergence ou migration du Cloud vers l'On Premise. Les patrimoines actuels comprennent notamment environ 52 To compressés sur Teradata et un Data Lake Hadoop/Cloudera d'environ 47 To. Les missions principales sont les suivantes : • Initialiser le programme : diagnostic du portefeuille, découpage, responsabilités, priorités, arbitrages et feuille de route pluriannuelle. • Piloter coûts, qualité, délais, risques, ressources, valeur, plannings, budgets, charges et dépendances interprojets. • Préparer les décisions et sécuriser les échéances Teradata (fin 2028), SAS (avril 2028) et Cloudera (juin 2027). • Appuyer les directeurs de projets internes sans se substituer à leurs responsabilités. • Éclairer les scénarios Cloud BLEU/Fabric, On Premise souverain, hybridation, convergence et réversibilité. • Garantir sécurité, conformité, souveraineté, indépendance numérique, standards ouverts et portabilité. • Tenir la cartographie consolidée des risques, organiser les revues de jalons et sécuriser le chemin critique. • Proposer et animer la comitologie stratégique, programme, opérationnelle et technique. Environnement technique : Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, RAISE, GitHub Copilot, Microsoft 365 Copilot, ETL/ELT, Data Lake, Data Warehouse, Data Marts, API, événements, MLOps, agents, assistants IA, RPA, architectures Cloud / On Premise / hybrides, gouvernance et catalogue de données. Direction de programmes IT/Data complexes, multi-projets et multi-acteurs, avec budgets et échéances contraints Pilotage d'équipes importantes : ressources internes, éditeurs, intégrateurs, ESN et experts Architectures Data modernes Cloud, On Premise et hybrides Mise en œuvre de plateformes Data industrielles, gouvernées, sécurisées et exploitables Migration de plateformes décisionnelles/analytiques, données historiques, ETL/ELT, BI et data science Teradata, Hadoop/Cloudera, SAS, Microsoft Fabric, Power BI, gouvernance et catalogue Plateformes de services, API, événements, agents, assistants IA, MLOps et RPA Souveraineté, indépendance numérique, open source, portabilité, réversibilité, sécurité et RGPD