Find your next tech and IT Job or contract Data Lake

Your search returns 41 results.
Contractor

Contractor job303 - Ingénieur Data Senior (H/F)

Nicholson SAS
Published on
Apache Kafka
Apache NiFi
Apache Spark

4 months
770 €
Paris, France
Plateforme On-Premise & Cloud Synthèse de la Mission : Rôle : Ingénieur Data Senior (> 7 ans d'expérience) Localisation : Paris ou Rennes (3 jours/semaine sur site, 2 jours en télétravail) TJM Max : 770 € / jour Date de démarrage : ASAP Durée : 5 à 6 mois (jusqu'au 27/11/2026) Contexte & Objectif de la Mission : Au sein d'un grand groupe média, l'objectif principal est de concevoir et construire le MVP d'une plateforme Data On-Premise basée sur des technologies Open Source. La plateforme permettra de : Gérer les transformations de données On-Premise et alimenter un Data Lake local. Servir de plateforme d'ingestion pour le Big Data sur GCP (Cloud Public). Faciliter la transition du mode Batch vers le Streaming (Temps réel). Valider la faisabilité de migration de flux ETL legacy (OpenText / Genio). Responsabilités & Missions Principales : Conception & Déploiement du MVP : Architecturer et intégrer la plateforme sur un socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Installer et configurer la stack Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Validation Technique & Cas d'Usage : Migrer quelques flux ETL clés pour valider la valeur de la plateforme. Déployer des pipelines streaming (Kafka + Spark Structured Streaming). Mettre en place l'alimentation du Data Lake (Iceberg + Trino) et assurer l'interopérabilité avec GCP. Collaboration & Documentation : Travailler en synergie avec les équipes Data/IA et DevOps/Infra. Documenter l'architecture, les choix techniques et transmettre les compétences aux équipes internes.
View this job
Contractor

Contractor jobArchitecte/ Lead Expert Databricks

Management Square
Published on
Apache Spark
Azure
CI/CD

1 year
550-600 €
Lyon, Auvergne-Rhône-Alpes
Contexte de la mission Cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l'industrialisation d'une plateforme data cible autour de Databricks / Spark / Power BI​ Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l'industrialisation d'une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l'exposition des données vers les usages analytiques. Objectifs et livrables Activité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en œuvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l'observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d'incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l'interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l'intégration de sources d'alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d'équipe Participer aux rituels agiles et à l'amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud
View this job
Internship

Internship offerData Product Manager

LA International Computer Consultants Ltd
Published on

6 months
SW1A 2AH, City of Westminster, England, United Kingdom
Essential Skills / Knowledge / Experience * Strong leadership and stakeholder management skills with the ability to influence cross-functional teams and senior leaders. * Proven experience in Product Management, Agile delivery, roadmap planning, backlog prioritization, and outcome-driven execution. * Solid understanding of modern data platforms, particularly Snowflake, dbt, and Airflow, including data modeling, orchestration, governance, and performance optimization. * Knowledge of customer data, analytics, AI/ML capabilities, data warehousing, and cloud-based data architectures. * Excellent communication skills, with the ability to translate complex technical concepts into business value. * Proactive and pragmatic mindset, capable of navigating ambiguity, making informed decisions, and driving accountability across teams. * Passion for building data-driven products, fostering innovation, and contributing to a strong product management culture. Desirable skills/knowledge/experience: * Knowledge of data platforms (e.g. Snowflake, Azure Data Lake). * Understanding of monitoring, model performance tracking, and observability best practices. * Languages: Python (primary), SQL, Bash * Cloud: Azure, AWS * Tools: Airflow, DBT * Data: Snowflake, Delta Lake, Redis, Azure Data Lake * Infra & Ops: Terraform, GitHub Actions, Azure DevOps, Azure Monitor LA International is an award-winning partner of choice for many of the world's most influential companies and government organisations. Holding Enhanced Government Security Accreditation, we are recognised as the European market leader in the delivery of Security Cleared talent to organisations that demand the very highest levels of security, compliance and assurance. A multiple award-winning organisation, having secured the prestigious Queens Award for Enterprise: International Trade over consecutive years. We are committed to fostering an inclusive, equitable and accessible workplace where everyone feels valued and supported. We welcome applications from all individuals, regardless of background or identity, and we encourage candidates who may not meet every listed requirement to still apply. If you require any adjustments or support during the recruitment process, please let us know and we will work with you to ensure a fair and accessible experience. Please Note: If a high volume of applications is received, only candidates shortlisted will be contacted.
View this job
Permanent

Job VacancySoftware Engineer with C# or Java

Nexus Jobs Limited
Published on

Livingston, New Jersey, United States of America
Software Engineer with C# or Java – Livingston NJ USA A bachelor's degree in computer science, software engineering, or a related field is required. Must have at least 4 to 6 years of progressively complex experience in a directly related area, during which both professional and technical capabilities have been clearly demonstrated. Coupled with at least 4 years of design and development. experience with various relevant Microsoft platforms, tools, technologies, patterns, and techniques related to Azure tools, integration, and data is required. Experience with industry/domains like pharmaceutical, finance, HR, sales, marketing, and manufacturing is highly preferred. Experience with healthcare industry regulations, data security and compliance standards (e.g. GDPR), and EDI standards (e.g. FHIR, HL7), etc. is very valuable. Developer certifications of Azure and/or Microsoft suite technologies is a big plus. Technical skills: In-depth knowledge and thorough experience in programming, configuring, and/or integrating using/with Azure integration tools like Data factory, LogicApps, Functions, API Management, Data catalog, WebApps, Integration service environment, configuring monitoring & diagnostics, etc., and connectivity & security configurations (certificates, encryptions, etc.). In-depth knowledge and experience with Azure data storage (SQL Server, Data lake, Synapse, etc.) & access tools, APIs, cloud connectivity, and ETL processes. Knowledge and some experience of MS Office/MS Office 365 suite, SharePoint Online, Power Apps, GitHub, MS Teams, etc. In-depth knowledge & experience using Visual Studio, with one of the programming languages: C#/Java/JavaScript/Python, and PowerShell. In-depth knowledge and thorough experience of using Serverless, SOAP, XML, REST, JSON, EDI, XSLT, Async/Sync, Request/Response, Service Bus, Publish/Subscribe, Batch/Real-time, Scheduling, Event triggers, etc. In-depth knowledge and development experience using MS SQL Server (SSIS, T-SQL, Stored procedures, Functions, Views, Queries, Datatype conversions, etc.). Thorough understanding of the fundamental architecture of the cloud and on-prem MSFT Suite (e.g. Share point) and Integration platforms architecture (e.g. BizTalk, MuleSoft, or similar), etc., and version control methods. Solid fundamentals and thorough understanding of exception handling principles and production/operational support solutions (alerts, dashboards, runbooks, etc.) Experience working with Azure DevOps and CI/CD pipeline. Experience working with APIs, Postman/SOAPUI tools, MS D365, ServiceNow, Azure Analytics tools, Azure Data lake, Azure Synapse, Azure BYOD & Data verse, Informatica, BI tools, etc. is a big plus. General business skills: Clear communication to translate and explain business requirements to technology & vice-versa. Analytical & methodical mindset with a problem-solving attitude is extremely important for the success of this role. Clear, concise written, verbal, and presentation skills. Must be a team player who can earn a team's respect quickly. Ability to take initiative and be innovative. Ability to complete projects and achieve results in an ambiguous work environment. The role will be based in Livingston NJ USA. Salary will be in the range $80K to £120K. Please do send your CV to us in Word format along with your salary and availability.
View this job
Contractor

Contractor jobData Engineer Big Data / PySpark

DATAMED RESEARCH
Published on
Kubernetes

1 year
400-490 €
Ile-de-France, France
Contexte: Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer confirmé(e) pour intervenir sur une plateforme Big Data dédiée à la collecte, au traitement et à l'exploitation de données à grande échelle. Vous intégrerez une équipe en charge de la mise à disposition de données fiables et exploitables pour les équipes Data et participerez activement à l'évolution d'une plateforme moderne reposant sur des architectures distribuées et des technologies Cloud Native. Vos missions: Concevoir, développer et maintenir des pipelines de traitement de données avec PySpark / Spark. Préparer, nettoyer et mettre à disposition des jeux de données destinés aux équipes Data. Développer des indicateurs de performance (KPI) et des tableaux de bord sous Tableau. Superviser et maintenir une plateforme Big Data fonctionnant sur Kubernetes / OpenShift. Diagnostiquer et résoudre les incidents techniques liés aux traitements de données et aux applications. Participer à l'évolution des traitements Spark et des datasets. Déployer et maintenir les applications via Helm. Administrer les composants de la plateforme (Airflow, MinIO, MySQL, JupyterHub, etc.). Gérer les environnements de déploiement continu avec GitLab. Participer à l'administration du Data Lake (stockage, utilisateurs, règles de gestion). Contribuer à l'amélioration continue des performances, de la sécurité et de la disponibilité de la plateforme. Environnement technique : Python PySpark Apache Spark Scala Pandas Hadoop / HDFS Tableau Software Kubernetes OpenShift Helm GitLab Docker Airflow MinIO MySQL Data Lake Parquet
View this job
Permanent

Job VacancySoftware Engineer with C# Java and Azure

Nexus Jobs Limited
Published on

£60k-95k
London, England, United Kingdom
Software Engineer with C# or Java and Azure Must have a bachelor's degree in computer science, software engineering, or a related field is required. Must have at least 4 to 6 years of progressively complex experience in a directly related area, during which both professional and technical capabilities have been clearly demonstrated. Coupled with at least 4 years of design and development. experience with various relevant Microsoft platforms, tools, technologies, patterns, and techniques related to Azure tools, integration, and data is required. Experience with industry/domains like pharmaceutical, finance, HR, sales, marketing, and manufacturing is highly preferred. Experience with healthcare industry regulations, data security and compliance standards (e.g. GDPR), and EDI standards (e.g. FHIR, HL7), etc. is very valuable. Developer certifications of Azure and/or Microsoft suite technologies is a big plus. Technical skills: In-depth knowledge and thorough experience in programming, configuring, and/or integrating using/with Azure integration tools like Data factory, LogicApps, Functions, API Management, Data catalog, WebApps, Integration service environment, configuring monitoring & diagnostics, etc., and connectivity & security configurations (certificates, encryptions, etc.). In-depth knowledge and experience with Azure data storage (SQL Server, Data lake, Synapse, etc.) & access tools, APIs, cloud connectivity, and ETL processes. Knowledge and some experience of MS Office/MS Office 365 suite, SharePoint Online, Power Apps, GitHub, MS Teams, etc. In-depth knowledge & experience using Visual Studio, with one of the programming languages: C#/Java/JavaScript/Python, and PowerShell. In-depth knowledge and thorough experience of using Serverless, SOAP, XML, REST, JSON, EDI, XSLT, Async/Sync, Request/Response, Service Bus, Publish/Subscribe, Batch/Real-time, Scheduling, Event triggers, etc. In-depth knowledge and development experience using MS SQL Server (SSIS, T-SQL, Stored procedures, Functions, Views, Queries, Datatype conversions, etc.). Thorough understanding of the fundamental architecture of the cloud and on-prem MSFT Suite (e.g. Share point) and Integration platforms architecture (e.g. BizTalk, MuleSoft, or similar), etc., and version control methods. Solid fundamentals and thorough understanding of exception handling principles and production/operational support solutions (alerts, dashboards, runbooks, etc.) Experience working with Azure DevOps and CI/CD pipeline. Experience working with APIs, Postman/SOAPUI tools, MS D365, ServiceNow, Azure Analytics tools, Azure Data lake, Azure Synapse, Azure BYOD & Data verse, Informatica, BI tools, etc. is a big plus. General business skills: Clear communication to translate and explain business requirements to technology & vice-versa. Analytical & methodical mindset with a problem-solving attitude is extremely important for the success of this role. Clear, concise written, verbal, and presentation skills. Must be a team player who can earn a team's respect quickly. Ability to take initiative and be innovative. Ability to complete projects and achieve results in an ambiguous work environment. The role will be based in London and can be partly remote. The Client is based in Livingston NJ USA. Salary will be in the range £60K to £95K. Please do send your CV to us in Word format along with your salary and availability.
View this job
Contractor

Contractor jobConsultant Data Engineer Azure / Databricks Senior

ABSIS CONSEIL
Published on
Databricks

1 year
400-730 €
La Défense, Ile-de-France
Dans le cadre de l'évolution d'une plateforme Data Cloud stratégique, nous recherchons un Data Engineer Azure confirmé à expert, capable d'intervenir sur les enjeux de gouvernance, de partage et d'industrialisation de la donnée dans un environnement Azure Databricks. MissionsFaire évoluer une plateforme Data Lake existante sur Azure. Participer à l'intégration et au déploiement du Unity Catalog Databricks. Définir et mettre en œuvre les modèles de gouvernance et de gestion des accès aux données. Industrialiser les mécanismes de partage de données. Mettre à disposition les données sous forme de tables Delta Lake / Iceberg. Contribuer aux études techniques et aux Proofs of Concept (POC). Accompagner le déploiement d'un Data Lake gouverné. Compétences requisesIndispensables : Azure Databricks Unity Catalog Spark Data Engineering Azure GitHub Azure DevOps Gouvernance des données Architecture Data Lake Appréciées : Java JavaScript / TypeScript Formats Delta Lake et Iceberg Profil recherchéConsultant senior à expert Forte autonomie technique. Expérience significative sur des plateformes Data Cloud à grande échelle. Capacité à intervenir aussi bien sur les sujets d'architecture que de mise en œuvre opérationnelle. Excellentes capacités de communication et de collaboration avec les équipes Data et Infrastructure.
View this job
Contractor
Permanent

Job VacancyArchitecte Data GCP & IA (H/F)

ADONYS
Published on
Architecture
Google Cloud Platform (GCP)

1 year
50k-60k €
600-700 €
Paris, France
Contexte: Au sein de la Direction Technology Engineering & Services (TE&S), vous intégrerez une équipe d'experts dédiée aux plateformes Data & IA, au cœur des enjeux de transformation numérique du Groupe. Le service adresse l'ensemble des métiers et s'appuie sur plusieurs domaines d'excellence : Cloud, API, Data & Intelligence Artificielle, Blockchain, Low Code/No Code, Smart Automation, Salesforce Factory, CMS, Agile Center et Innovation Lab. Dans ce contexte, l'équipe Data AI Platform & Architecture conçoit, déploie et fait évoluer les plateformes Data et IA stratégiques du Groupe, aussi bien en environnement Cloud que On-Premise. Votre missionEn tant qu'Architecte Data & IA, vous êtes le référent technique sur les sujets liés aux architectures Data modernes et aux plateformes d'Intelligence Artificielle. Vous accompagnez les équipes projets, participez aux orientations stratégiques du Groupe et contribuez à la construction des plateformes Data & IA de demain, dans des environnements à forte exigence de performance, de sécurité et d'industrialisation. Vos responsabilitésConcevoir les architectures Data & IA du GroupeDéfinir les architectures Data modernes : Data Lake Data Warehouse Lakehouse Data Mesh Concevoir des architectures Batch et Temps Réel Participer à la définition des architectures IA : Machine Learning MLOps LLM (Large Language Models) Agents IA Plateformes GPU Être le référent architectureAccompagner les équipes Data Engineers, Développeurs et Architectes. Challenger les choix techniques et les orientations projets. Garantir la cohérence et la pérennité des architectures. Participer aux revues d'architecture et aux arbitrages techniques. Industrialiser les plateformes Data & IADéfinir et mettre en œuvre les bonnes pratiques DevOps et DataOps. Automatiser les déploiements via les chaînes CI/CD. Renforcer les dispositifs de supervision, monitoring et observabilité. Garantir les exigences de sécurité, performance et résilience. Participer à la stratégie Data & CloudContribuer à l'évolution de la stack technologique du Groupe. Concevoir les offres de services Data & IA. Conseiller les DSI et les métiers dans leurs choix technologiques. Participer aux comités d'architecture, de gouvernance Cloud et de sécurité. Innover et partager l'expertiseRéaliser une veille technologique permanente. Évaluer les nouvelles solutions Open Source et Cloud. Animer les communautés Data, Cloud et IA. Participer aux retours d'expérience et aux initiatives d'innovation du Groupe. Environnement technologiqueCloudGoogle Cloud Platform (GCP) AWS Azure Data PlatformBigQuery Dataflow Pub/Sub Dataproc Cloud Storage Data Lake Lakehouse Data Warehouse Data EngineeringSQL avancé Python ETL / ELT Streaming Data APIs IA & MLOpsVertex AI Machine Learning LLM IA Générative Agents IA MLOps DevOps & IndustrialisationGit CI/CD Terraform Infrastructure as Code Monitoring & Observabilité
View this job
Contractor

Contractor jobProduct Owner Data

Celexio
Published on
Azure Data Factory
Microsoft Power BI
Snowflake

3 months
400-550 €
Courbevoie, Ile-de-France
Bonjour à tous, Mon client recherche Product Owner qui pourra suivre le écrire les US d'une de ses applications de cybersécurité. Vous interviendrez sur une application stratégique visant à valoriser les données d'un Data Lake via des Dashboards interactifs. Dans un contexte international exigeant de type grand groupe, vous ferez le pont entre les enjeux métiers et une équipe de développement offshore. Votre solide bagage technique vous permettra de dialoguer efficacement avec les développeurs et de concevoir des solutions robustes (notamment sur des logiques d'API). Missions : Recueillir, analyser et traduire les besoins métiers en User Stories claires et détaillées. Prioriser et gérer le backlog du produit en assurant un équilibre entre le développement de nouvelles fonctionnalités et le maintien de la stabilité de l'application. Collaborer quotidiennement avec les équipes de développement offshore (en anglais) et les guider sur les aspects techniques (ex: logique de raccordement d'API). Garantir la qualité des livrables en anticipant les impacts techniques pour éviter les régressions et l'apparition de nouveaux bugs. S'assurer de la bonne transmission des données depuis le Data Lake jusqu'à la restitution sur les Dashboards. Naviguer au sein d'un écosystème complexe en tenant compte des impératifs structurels, financiers et humains du projet.
View this job
Contractor

Contractor jobAdministrateur Big Data Cloudera H/F

HELIS
Published on
Big Data
Cloudera

3 years
La Défense, Ile-de-France
Il aura la charge de gérer une architecture Lakehouse : • Data security : Apache Ranger • Data governance : Apache Atlas • Data processing : Spark, Apache Zeppelin • Data ingestion : nifi • Data analytics : Apache Impala • Data lake : hadoop, Apache KUDO • Dara serving: Hue Gestions des logs via la stack ELK (Elasticsearch-Logstash-Kibana) Provisionner des infrastructures via Terraform Connaissance réseaux (Mise en place et ouverture de flux réseau basé sur le dossier d'architecture réseau) Il documente les procédures d'exploitation et rédige des rapports synthétisés Il assure du bon fonctionnement des services dans le respect des SLA. Il connait et s'appuie sur les process ITIL (Gestion des incidents, des problèmes et des demandes de changement) pour opérer dans des environnements de production. Il a un bon niveau d'anglais pour converser avec les éditeurs dont Cloudera et les fournisseurs Il automatise les déploiements de fichiers de configurations, gestion des certificats et keystores via Ansible. Il utilise les Outils devops de versionning et de packages : Github, Jenkins Sa maitrise des environnements sous Linux lui permet d'analyser les logs dans le cadre du traitement des incidents. Il est force de proposition pour l'amélioration de l'exploitabilité des solutions et de la supervision des services. Il participe aux réunions d'équipe et rend compte des actions Il participe aux projets et aux différents comités.
View this job

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us