Find your next tech and IT Job or contract Big Data

What you need to know about Big Data

Big Data refers to the massive and complex data generated at high speed by various sources, such as social networks, IoT sensors, online transactions, or mobile applications. This data, often voluminous, heterogeneous, and continuously growing, exceeds the capabilities of traditional management and analysis tools. Big Data relies on the 3Vs: Volume (quantity of data), Velocity (speed of generation and processing), and Variety (diversity of formats, structured or not). It is often associated with a fourth V: Veracity (data reliability). Big Data technologies, such as Hadoop, Spark, or NoSQL, enable storing, processing, and analyzing this data to extract valuable insights. These analyses are used in various fields, such as personalized marketing, finance, healthcare, or industrial optimization. Big Data plays a key role in innovation, decision-making, and digital transformation of businesses.

Your search returns 80 results.
Permanent

Job VacancyArchitecte Solution Databricks (H/F)

Savane Consulting
Published on

75k-85k €
Ile-de-France, France
Contexte : Dans le cadre de l'évolution d'une plateforme Data Groupe d'un acteur majeur du secteur des transports, nous recherchons un Architecte Solution / Tech Lead Databricks. Vous interviendrez au sein de l'équipe en charge de la plateforme Data afin d'accompagner plusieurs squads métiers dans la conception, l'industrialisation et la mise en production de leurs cas d'usage Data. Vous jouerez un rôle clé de référent technique, en accompagnant les équipes sur les choix d'architecture, les bonnes pratiques et la gouvernance de la plateforme. Vos missions : Participer au cadrage des projets Data et Big Data. Définir et valider les architectures techniques. Accompagner les Tech Leads et les équipes de développement. Concevoir des solutions basées sur Databricks. Participer aux revues d'architecture et aux arbitrages techniques. Rédiger la documentation d'architecture (DAT, HLD, DEX, dossiers techniques…). Accompagner les mises en production et les passages en exploitation. Participer à l'amélioration continue de la plateforme Data. Promouvoir les bonnes pratiques de développement, de sécurité, de gouvernance et de FinOps. Intervenir ponctuellement en support expert (N3). Former et accompagner les équipes projets. Environnement technique : Cloud : AWS Data Platform : Databricks Big Data : Spark, Scala, Python Data Lake / Lakehouse Power BI CI/CD : GitLab CI Infrastructure as Code : Terraform Conteneurisation : Docker, Kubernetes Sécurité & IAM Agile Scrum
View this job
Contractor
Permanent

Job VacancyTech Lead DevOps

Craftman data
Published on
Azure DevOps
Databricks
Terraform

6 months
40k-45k €
400-650 €
Courbevoie, Ile-de-France
Notre client recherche un Tech Lead DevOps & Automation pour améliorer l'efficacité opérationnelle et garantir la fiabilité des systèmes data. La mission porte sur l'implémentation des meilleures pratiques DevOps, la rationalisation des workflows et l'automatisation des processus pour minimiser les interventions manuelles. Le consultant assurera le monitoring des performances des systèmes, identifiera les axes d'amélioration et garantira la scalabilité des solutions data via des pipelines CI/CD et des outils de supervision. Compétences attendues • DevOps — niveau Expert • Azure — niveau Expert • Terraform — niveau Expert • Databricks — niveau Expert • Azure Synapse — niveau Expert • Scheduling Airflow — niveau Expert • Ansible — niveau Expert • Azure SQL — niveau Expert • Intégration continue / CI/CD — niveau Expert • Git — niveau Expert • SQL — niveau Expert • Cloud — niveau Expert • Big Data — niveau Expert • Snowflake — niveau Expert • Data — niveau Expert • Maven — niveau Expert • Codage (Python, JS, PowerShell) — niveau Expert • Documentation — niveau Expert Savoir-être• Culture DevOps / DataOps ancrée • Proactivité dans l'automatisation et la réduction des tâches manuelles • Rigueur dans la documentation et les tests • Capacité à innover rapidement et à partager les bonnes pratiques • Esprit de collaboration et pédagogie vis-à-vis de l'équipe
View this job
Permanent

Job VacancyData & AI Engineer

Big Apps
Published on
AI
Apache
Apache Airflow

Rosny-sous-Bois, Ile-de-France
Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !
View this job
Contractor

Contractor jobIngénieur Data Spark/ScalaContexte

VISIAN
Published on
Scala

1 year
400-580 €
Paris, France
Au sein de la Direction des Systèmes d'Information d'un groupe d'assurance de premier plan, vous intégrez l'équipe dédiée à la gestion courante et au pilotage du socle décisionnel. Dans un écosystème Big Data d'envergure collectant les données des différents back-offices métiers pour alimenter un lac de données (Data Lake) et un entrepôt communautaire hébergé sur une architecture de haute performance (Oracle Exadata), vous garantissez la continuité d'activité, la qualité de service et l'évolution des pipelines de traitement. Vos principales responsabilités : Suivi de production & exploitation : Assurer la supervision et le monitoring quotidien des chaînes de traitement de données distribuées (batch et streaming). Gestion des incidents & reprises de données : Diagnostiquer, instruire et résoudre les incidents fonctionnels et applicatifs sur les jobs Spark / Scala, en orchestrant les reprises de données nécessaires sans altérer la qualité de service. Maintenance évolutive & corrective : Développer et implémenter les correctifs et les évolutions mineures demandées par les métiers ou les équipes projets. Recette, tests et déploiements : Rédiger les plans de tests, exécuter les scénarios de validation unitaire et d'intégration, puis assurer la livraison sécurisée des patchs en environnement de production. Documentation & gouvernance : Rédiger les spécifications des correctifs, maintenir à jour la documentation d'exploitation et assurer un reporting rigoureux auprès du chef de projet.
View this job
Permanent

Job VacancyDéveloppeur Microservices .NET / Angular – Data & IA

AVA2I
Published on
.NET
Angular
Python

Ile-de-France, France
Dans le cadre de l'accélération de sa transformation technologique et digitale, un grand groupe bancaire recherche un Développeur Microservices .NET / Angular confirmé. Le consultant intégrera une équipe internationale spécialisée dans les plateformes Data & IA, les architectures Big Data, les Data Lakes, les environnements Lakehouse Cloud, la Business Intelligence et le déploiement de solutions de Machine Learning Missions principalesConcevoir, développer et maintenir des microservices en C#/.NET Core 6+. Développer et intégrer des API REST selon les standards et patterns de l'équipe. Contribuer ponctuellement au développement d'interfaces front-end avec Angular. Participer aux choix d'architecture et à la conception technique des solutions. Réaliser les revues de code et garantir la qualité des développements. Développer et maintenir les pipelines CI/CD avec Jenkins et Groovy. Gérer les déploiements avec XLDeploy et XLRelease. Déployer et maintenir les applications conteneurisées sur OpenShift/Kubernetes. Utiliser Git et Bitbucket pour la gestion des versions et la collaboration. Rédiger et maintenir la documentation technique. Participer aux cérémonies Agile : Sprint Planning, Daily Meeting, revue et rétrospective. Collaborer quotidiennement avec les équipes basées en France et au Portugal. Compétences techniquesC# / .NET Core 6+ : niveau confirmé. Architecture microservices, API REST et design patterns : niveau confirmé. Jenkins, Pipeline as Code et Groovy : excellente maîtrise. XLDeploy / XLRelease : pratique courante. OpenShift / Kubernetes : pratique courante. Git / Bitbucket : excellente maîtrise. Angular : capacité à intervenir ponctuellement sur le front-end. Python : connaissances appréciées. Conteneurisation et environnements Cloud/Data : bonne compréhension.
View this job
Contractor

Contractor jobData Scientist Python Software - London

Nexus Jobs Limited
Published on

£350-500
London, England, United Kingdom
Data Scientist and Python Software Developer - London We're looking to recruit a Data Scientist and Python Software Developer with data science skills to join a product team that is focused on building well engineered products. The products provide an intuitive way for retailers and suppliers to interact and consume 'big data' analytics to make better business decisions. This role would consist of working together with a team of statistical analysts, understanding their methodologies and algorithms, and turning them into production ready code written in Python. This role would also require occasional travel to Paris or Munich. Main skills: Excellent knowledge of Python and it's related data science libraries (scikit, pandas, etc) Prior experience of using Python to perform calculations and generate datasets Good statistical knowledge Excellent communication and decision making skills Exposure to working with REST API's Any of the following skills would be an added bonus: Has run code across Hadoop/MapReduce clusters Has code running in a production environment Used SAS before (or at least can decipher SAS code) Worked with very large data sets before (billions of records) Knowledge of SQL/NoSQL database Knowledge or experience in D3.js Experience acting as a mentor/trainer in Python This is 6 month assignment in London with travel to Paris and Munich. Please send your CV to us in Word format along with daily rate and availability.
View this job
Premium Job
Contractor
Permanent

Job VacancyData Engineer

VISIAN
Published on
Azure
Azure Data Factory
Azure DevOps Services

1 year
Paris, France
La Direction des Systèmes d'Information recrute un Data Engineer pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation des données par les analystes métiers et data scientists. Principales missions : - Mener les projets d'intégration (temps réel) et data (big data & insights) - Comprendre, analyser et proposer des solutions techniques répondant aux besoins des divers acteurs de la donnée (spécialistes métier, domain managers, architecte, data analystes et scientists) - Apporter un éclairage technique sur les architectures Cloud, dialoguer avec les fournisseurs de solutions et les consultants techniques - Dans une logique de mise en production, créer et déployer des pipelines de données robustes pour les data scientists et data analysts (collecte, stockage, transformation et exploitation) - Assurer une bonne qualité des données pour les projets Machine Learning (préparation, complétude, épuration, enrichissement) dans le but d'optimiser les performances des modèles - Améliorer les processus internes : localisation et traçabilité de la donnée, standardisation des flux et des scripts de traitement des données, documentation - Collaborer avec les équipes basées aux Pays-Bas pour faciliter le Data-Sharing, échanger sur les best-practices et les moyens d'optimiser les architectures - Contribuer à l'amélioration de la gouvernance sur la protection et la confidentialité des données Conception et mise en œuvre d'une plateforme d'intégration Azure à grande échelle, servant de hub central pour 20+ applications métier et orchestrant ~150 flux d'intégration batch et temps réel répartis sur 7 ODS. Développement de flux d'intégration avec Azure Service Bus, Azure Functions, Event Grid et Azure Data Factory pour synchroniser les données entre les différents systèmes. Développement d'orchestrations distribuées et persistantes avec Azure Durable Functions pour gérer des processus métier asynchrones. Conception et gouvernance des API d'intégration via Azure API Management selon une approche spec-first avec validation des contrats d'échange. Modélisation et optimisation des ODS afin de garantir la cohérence et la disponibilité des données opérationnelles. Optimisation des requêtes SQL et des traitements de données pour améliorer les performances et la fiabilité des flux. Développement de composants mutualisés (librairies Python, modules Bicep et Terraform) afin de standardiser les développements et accélérer l'intégration de nouveaux flux. Mise en place des pipelines CI/CD, automatisation des déploiements et amélioration de l'observabilité via la standardisation des logs et des métriques personnalisées.
View this job
Contractor

Contractor jobOps - Dataiku - Data Engineering, DevOps ou DataOps  Vitrolles

WorldWide People
Published on
Dataiku

6 months
Vitrolles, Provence-Alpes-Côte d'Azur
Ops - Data Engineering, DevOps ou DataOps Vitrolles ASAP Missions principales Assurer le maintien en conditions opérationnelles des plateformes Data. Gérer les incidents et les demandes des équipes projets et des utilisateurs. Participer à l'automatisation et à l'industrialisation des solutions. Réaliser les déploiements sur les différents environnements (intégration, préproduction, production). Contribuer à l'amélioration continue des outils d'exploitation et de déploiement. Participer au troubleshooting et à l'optimisation des performances des plateformes. Compétences requises Administration Dataiku Administration et optimisation Starburst / Trino Control-M (création de jobs, calendriers, dépendances, profiles de connexion) Cloud Public : AWS et/ou Azure DevOps et automatisation des déploiements Gestion des environnements de production critiques Compétences appréciées CI/CD Apache Airflow Kubernetes GitLab Grafana Power BI Docker Connaissances Agile / Scrum Notions de cryptographie Profil recherché Formation Bac+5 en informatique, systèmes d'information ou équivalent. Expérience de 3 à 7 ans dans des environnements Data Engineering, DevOps ou DataOps. Bonne capacité d'analyse et de résolution d'incidents. Autonomie, rigueur et esprit d'équipe. Appétence pour les environnements Big Data et Cloud. 2 seniors 2 confirmés
View this job

Contract roles and jobs for Big Data

Data Scientist

The Data Scientist uses Big Data tools and techniques to analyze large datasets, develop predictive models, and extract useful insights from complex data.

Data Developer (BI / Big Data / Data Engineer)

The Data Developer (Decision Support / BI / Big Data / Data Engineer) designs and develops Big Data solutions to store, process, and analyze large amounts of data from various sources.

Architecture Consultant

The Architecture Consultant advises businesses on Big Data architecture, designing solutions to manage and analyze large data quantities while optimizing performance and scalability.

Data Analyst

The Data Analyst uses Big Data techniques to collect, analyze, and interpret complex data to provide insights and recommendations that help businesses make informed decisions.

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us