Find your next tech and IT Job or contract Big Data

What you need to know about Big Data

Big Data refers to the massive and complex data generated at high speed by various sources, such as social networks, IoT sensors, online transactions, or mobile applications. This data, often voluminous, heterogeneous, and continuously growing, exceeds the capabilities of traditional management and analysis tools. Big Data relies on the 3Vs: Volume (quantity of data), Velocity (speed of generation and processing), and Variety (diversity of formats, structured or not). It is often associated with a fourth V: Veracity (data reliability). Big Data technologies, such as Hadoop, Spark, or NoSQL, enable storing, processing, and analyzing this data to extract valuable insights. These analyses are used in various fields, such as personalized marketing, finance, healthcare, or industrial optimization. Big Data plays a key role in innovation, decision-making, and digital transformation of businesses.

Your search returns 69 results.
Contractor

Contractor jobIngénieur Data Senior — Plateforme Data On-Premise Open Source

Craftman data
Published on
GitLab CI
Kubernetes
OpenTelemetry

6 months
350-450 €
Paris, France
CONTEXTE Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA. OBJECTIFS DE LA PLATEFORME - Gérer la transformation de données On-Premise et alimenter un datalake On-Premise - Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP - Passer les traitements du mode batch au temps réel (streaming) - Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope MISSIONS 1. Conception et développement du MVP - Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant - Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué) - Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité) 2. Validation technique et faisabilité - Transformer quelques flux ETL existants pour démontrer la valeur ajoutée - Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming) - Alimenter le datalake On-Premise (Iceberg + Trino) - Valider l'interopérabilité avec la plateforme Big Data GCP 3. Collaboration et transmission - Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle) - Documenter les choix techniques, architectures et bonnes pratiques - Former et accompagner les équipes internes sur les nouveaux outils
View this job
Permanent
Contractor

Job VacancyData Product Owner SQL (H/F)

Signe +
Published on
SQL

24 months
45k-50k €
322-500 €
Massy, Ile-de-France
Rejoignez une grande organisation du secteur de la grande distribution en tant que Data Product Owner expérimenté au sein d'une Data Platform moderne. Vous piloterez la conception et le développement de services digitaux centrés sur la donnée, garantissant aux équipes l'accès à des données fiables, accessibles et bien gouvernées via des API et des services analytiques performants. Vous occuperez un rôle clé de traducteur entre les métiers et les équipes IT, en assurant l'alignement stratégique entre les besoins opérationnels et les objectifs décisionnels. Vous concevrez des solutions data complètes, du cadrage initial à la mise en production, en passant par la spécification technique et fonctionnelle. Votre expertise en SQL et votre compréhension approfondie de l'écosystème data seront essentielles pour modéliser les objets métiers dans le socle Big Data, définir les contrats d'interface et les flux d'alimentation, et concevoir les expositions data (APIs, modèles de base de données) en collaboration avec l'équipe de Gouvernance Data. Au quotidien, vous piloterez le backlog produit, définirez les user stories, animerez la communauté data, et assurerez la cohérence fonctionnelle et transverse de votre domaine de données. Vous participerez activement au cycle complet Scrum, de la préparation de recette au suivi de la mise en œuvre, tout en maintenant une vision d'amélioration continue et de qualité des données. Responsabilités : - Concevoir et cadrer les solutions data ; rédiger les spécifications technico-fonctionnelles et les contrats d'interface - Modéliser les objets métiers du domaine dans le socle Big Data et spécifier les flux d'alimentation (MDD, mappings) - Concevoir les expositions data (web services et modèles BDD) en étroite collaboration avec la Gouvernance Data - Piloter le backlog produit, définir les user stories et construire la roadmap stratégique de la plateforme data - Animer la communauté data et assurer le lien fluide entre les métiers et les équipes IT - Préparer les recettes fonctionnelles et suivre la mise en œuvre avec l'équipe Scrum - Piloter la qualité des données via des dashboards de suivi, documenter les données et gérer les dettes techniques - Gérer les évolutions et anomalies remontées par les utilisateurs ; reporter l'avancement aux responsables programme - Assurer la cohérence fonctionnelle et transverse du domaine de données avec les autres lignes produit - Analyser les situations, identifier les axes d'amélioration et proposer des optimisations permanentes Télétravail : 2 jours par semaine Localisation : Massy
View this job
Contractor
Permanent

Job VacancyIngénieur production Data (H/F)

STORM GROUP
Published on
Cloudera
Control-M
Linux

3 years
54k-60k €
450-500 €
Ile-de-France, France
Contexte : Au sein des équipes de production Data, l'ingénieur assure le maintien en conditions opérationnelles (MCO) des plateformes décisionnelles et Big Data du groupe : Teradata, Entrepôt de Données & Usages, Cloudera, Datalayer. Il intervient également sur un chantier structurant de migration des traitements batch Big Data de l'ordonnanceur DollarU vers Control-M. Missions : Maintien en conditions opérationnelles des plateformesParticipation aux différentes réunions de suivi (production, exploitation, comités techniques) Intervention sur les incidents de production Pilotage des incidents et des problèmes, et sollicitation des entités compétentes en cas de besoin (Système, Stockage, Réseau, Éditeurs…) Déploiement des nouvelles versions applicatives et des patchs correctifs, en coordination avec la MOA et la MOE Déploiement de nouveaux batchs et flux de transferts, en veillant à la conformité avec l'existant et les nomenclatures en place Mise à jour des documentations d'exploitation (fiches consigne, dossiers d'exploitation, procédures) Coordination des tâches de l'équipe Migration des traitements batch Big Data (DollarU → Control-M)Définition des lots de migration en fonction des contraintes de production Contrôles de cohérence des données utilisées selon les environnements cibles Adaptation des scripts et des variables à l'environnement Control-M Vérification du bon fonctionnement en Pré-Production, puis en Production Participation aux comités de suivi Coordination des tests et du plan de migration avec les MOE Adaptation des consignes d'exploitation à la nomenclature spécifique Control-M Conditions d'exerciceLocalisation : site client / télétravail partiel selon la politique en vigueur Rythme : horaires de production, avec possibles astreintes et interventions en heures non ouvrées (HNO) lors des mises en production Langue : français courant ; anglais technique (lecture de documentation) Livrables attendusRésolution et suivi documenté des incidents et problèmes Mises en production réalisées conformément au processus de changement Documentation d'exploitation à jour (fiches consigne, dossiers d'exploitations Comptes rendus de comités de suivi
View this job
Contractor

Contractor jobArchitecte Solution Data / Champion Databricks Senior H/F

LeHibou
Published on
Amazon Redshift
Databricks
Docker

10 months
550 €
Paris, France
Contexte et objectif de la mission Au sein d'une organisation du secteur du transport en commun, la mission consiste à accompagner les squads métiers sur l'ensemble du cycle de vie des projets Data. Le consultant intervient comme référent architecture et Tech Lead auprès des équipes projets afin de garantir la qualité des solutions, l'application des bonnes pratiques Data et l'alignement avec les standards de la plateforme. Missions principales / responsabilités • Assurer l'expertise plateforme auprès des squads projets dès le cadrage et jusqu'à la mise en production • Accompagner les Tech Leads dans leurs choix d'architecture et dans la rédaction des DAT • Réaliser l'onboarding des équipes projets sur les standards et bonnes pratiques de la plateforme • Challenger les architectures proposées et identifier les risques techniques • Superviser les contributions des Data Engineers et des experts Data Management, Dataviz et Data Science • Participer aux Go/NoGo, VSR, audits, PoC et études techniques • Contribuer au support N3 et au MCO des solutions Data en production • Accompagner la montée en compétence des équipes projets sur Databricks et les pratiques Big Data Livrables attendus • DAT • Contributions d'architecture et recommandations techniques • Audits, PoC et études techniques • Participation aux jalons Go/NoGo et VSR • Support N3 et activités de MCO sur les solutions Data
View this job

Contract roles and jobs for Big Data

Data Scientist

The Data Scientist uses Big Data tools and techniques to analyze large datasets, develop predictive models, and extract useful insights from complex data.

Data Developer (BI / Big Data / Data Engineer)

The Data Developer (Decision Support / BI / Big Data / Data Engineer) designs and develops Big Data solutions to store, process, and analyze large amounts of data from various sources.

Architecture Consultant

The Architecture Consultant advises businesses on Big Data architecture, designing solutions to manage and analyze large data quantities while optimizing performance and scalability.

Data Analyst

The Data Analyst uses Big Data techniques to collect, analyze, and interpret complex data to provide insights and recommendations that help businesses make informed decisions.

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us