Find your next tech and IT Job or contract Big Data

Rejoignez une grande entreprise du secteur de la mobilité et des services de fidélisation pour piloter techniquement une équipe agile dédiée à l'intelligence métier et à la donnée. Dans un contexte de transformation cloud, vous contribuerez à la migration progressive d'une infrastructure traditionnelle BI et Big Data vers la plateforme GCP, tout en assurant la qualité, les bonnes pratiques et le succès des projets critiques. Vous intégrerez une équipe de 6 personnes au sein du pôle BI et rejoindrez un environnement techniquement riche, où les architectures héritées coexistent avec des stacks modernes (Spark, Java, GCP). Votre mission combinera expertise technique poussée, participation aux décisions architecturales, mentorat d'équipe et garantie de la qualité des solutions livrées. Responsabilités : - Piloter techniquement l'équipe agile dédiée aux projets BI et données, en tant que point focal architectural et technique - Participer activement aux décisions d'architecture système et données dans le cadre de la migration vers GCP - Concevoir et valider les solutions techniques, en garantissant les bonnes pratiques de développement et d'infrastructure - Mentorer les membres de l'équipe sur les technologies Big Data (Spark, Java), les patterns cloud (GCP) et les standards de qualité - Assurer la qualité des livrables techniques et la conformité aux standards de sécurité et performance - Collaborer avec les équipes transversales (DevOps, Data Engineering, BI) pour intégrer les outils et processus (CI/CD, monitoring, tests) - Supporter la transition progressive des workloads depuis les systèmes traditionnels vers GCP, en planifiant et validant les migrations - Contribuer à l'amélioration continue des processus et de la stack technique Télétravail : 2 jours par semaine Localisation : Toulouse

Data Scientist – Manchester Our Client an international organisation is looking to recruit a Data Scientist with 7 to 10 years expertise as a Data Scientist. You will have Natural Language Processing (NLP) knowledge and experience and understand and analyse large data sets to discover new insights. Working in a multi-disciplinary team within a highly technical and complex environment. Well versed in scalable data mining and machine learning techniques (using computers to improve as well as develop algorithms)Kernel Methods, Deep Learning, Statistical Relational Learning, Ensemble Methods Model using advanced statistical/ mathematical models, predict and segment data to hypothesize/ evolve uses cases to monetize data and generate other business value. Translate business needs to technical requirements and implementation. Experience of Big Data technologies/Big Data Analytics. C++, Java, Python, Shell Script R, Matlab, SAS Enterprise Miner Elastic search and understanding of Hadoop ecosystem Experience working with large data sets, experience working with distributed computing tools like Map/Reduce, Hadoop, Hive, Pig etc. Advanced use of Excel spread sheets for analytical purposes MSc or PhD in Data Science or an analytical subject (Physics, Mathematics, Computing) or other quantitative discipline The position is based close to Manchester. The salary for this position will be circa £75K - £85K plus benefits. Please send your CV to us in Word format along with salary and availability details.

Contexte Intervention sur une plateforme Big Data stratégique dédiée à la consolidation et à l'exploitation de données liées aux activités B2B Énergie dans plusieurs pays européens. Compétences clés Plus de 7 ans d'expérience en Data Engineering. Excellente maîtrise de Python dans un contexte industriel. Solide expérience des architectures Big Data et des environnements distribués. Expérience significative sur AWS. Maîtrise des problématiques de performance, de résilience, d'observabilité et d'industrialisation. Anglais professionnel. Forte autonomie dans un environnement international. Le client sera particulièrement attentif à la profondeur technique du candidat ainsi qu'à sa capacité à contribuer à l'évolution de frameworks communs déployés dans plusieurs pays.

Hello, Pour le compte de l'un de mes clients Lyonnais dans le secteur de l'énergie, je suis à la recherche d'un tech lead Spark/Java/Databricks. Description du profil : Les missions s'inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants • Migration de traitements Informatica et PL/SQL vers Spark (Java) • Participation à l'optimisation des traitements existants • Maintenance corrective et évolutive des traitements PL/SQL • Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) • Participation au projet stratégique de migration vers le cloud • Conception et mise en œuvre de pipelines de données sur Databricks • Industrialisation des traitements dans un environnement moderne En parallèle des missions de développeur big data, le tech lead aura en charge la définition de la trajectoire technique de l'équipe Spark, l'animation et la montée en compétence des développeurs big data. Activité : • Concevoir, développer et maintenir des pipelines de données en Spark (Java) • Migrer des traitements legacy vers des architectures Big Data modernes • Assurer la maintenance des traitements existants SQL / PL-SQL • Garantir la performance, la robustesse et la qualité des données • Participer activement au RUN et à l'amélioration continue • Evolutions et MCO du socle technique • Définir les besoins sur l'outillage (workflow de dev, CI/CD) et participer aux évolutions en collaboration avec l'équipe DevOps • Définir les évolutions nécessaires sur le socle technique • Accompagner les DE dans la prise en main et la maitrise de la stack de développement (socle, spark, delta, databriks) • Assurer la cohérence globale du code produit par l'équipe. • Assurer la vision long terme et l'alignement des développements avec les objectifs métiers et techniques.

🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux

At CGI, we're helping to strengthen national security through innovative technology, delivering advanced Big Data solutions that support cyber defence across our Space, Defence and Intelligence business unit. As a Platform Engineer, you'll play a vital role in designing, automating and optimising secure, cloud-native platforms that enable critical operations. You'll take ownership of complex engineering challenges, apply creative thinking to improve performance and resilience, and collaborate with talented teams to deliver solutions that make a real difference. Working in an agile, supportive environment, you'll have the opportunity to develop your expertise, influence technical decisions and contribute to high-impact programmes that help protect the UK's digital future. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. This is a hybrid position based out of our CGI Reading office.

Collibra Ranger Data Project Manager – Docklands London We are keen to recruit a Collibra Ranger Certified data Project Manager with at least 1 to 2 years experience of Collibra Ranger. Overall you must have a background in data and data management especially in line with GDPR. Any experience of working within the banking sector would be a major plus. This is a permanent position based In the Docklands London. This is an exciting and challenging new position working data, Big Data and Collibra. Salary will be in the range £60K - £70K. Please send your CV to us in Word format along with salary expectations and availability.

Collibra Ranger Data Project Manager – Docklands London We are keen to recruit a Collibra Ranger Certified data Project Manager with at least 1 to 2 years experience of Collibra Ranger. Overall you must have a background in data and data management especially in line with GDPR and at least 5 to 10 years in IT as a BA/PM. Any experience of working within the banking sector would be a major plus. This is an exciting and challenging new position working with Big Data and Collibra Ranger. Must be a Collibra Business Analyst or Collibra Project Manager or Collibra Developer This is a permanent position based in the Docklands London. Salary will be in the range £60K - £80K.

Description de la mission Notre client, un grand assureur, fait tourner en production une plateforme Data / IA conséquente et cherche un expert Linux pour en prendre soin. Votre terrain de jeu : les serveurs Linux de production et les clusters Big Data qui tournent dessus. Au quotidien, vous assurez le support N2 et le MCO, vous installez et configurez les clusters (Cloudera, Kafka, Talend) et vous intégrez les nouvelles briques en respectant les règles de sécurité et d'architecture. Vous serez aussi sollicité(e) comme référent technique par les projets Data / IA, pour les conseiller sur les choix de solutions et garantir que ce qui arrive en production est exploitable. L'environnement est riche : Hadoop, Cloudera CDP, Starburst, Azure Databricks, Terraform, Kerberos, Vault, plusieurs bases de données. Vous n'avez pas besoin de tout maîtriser en arrivant, mais vous ne serez pas dépaysé(e).

ContexteDans le cadre d'un projet pour une compagnie aérienne, nous recherchons un Data Engineer GCP pour rejoindre une équipe IT internationale d'environ 15 personnes, réparties entre la France, l'Inde et les équipes métiers basées à Amsterdam. L'équipe intervient sur un périmètre BI & Big Data, autour de la gestion et de l'exploitation des données liées au parcours passager, depuis son arrivée à l'aéroport jusqu'à son embarquement, ainsi que sur les flux de données associés aux activités Cargo. MissionsAu sein de cette équipe, vous interviendrez notamment sur : Le développement et la maintenance des évolutions applicatives. La prise en charge des incidents et des activités de RUN. L'amélioration et l'optimisation du code existant. La gestion et l'optimisation des référentiels Git. L'amélioration des performances des traitements de données. L'analyse et l'optimisation des traitements BigQuery. La participation aux pratiques d'intégration et de déploiement continu avec GitHub et GitHub Actions.

Dans le cadre de projets à forte volumétrie autour des domaines Risque, Finance et Reporting réglementaire, chez l'un de nos clients grands comptes, nous recherchons un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l'industrialisation de traitements de données à grande échelle. Vous aurez pour mission missions La conception et le développement de pipelines de données batch. L'alimentation de datamarts réglementaires Risque et Finance. L'alimentation des systèmes de reporting financiers et risques. L'intégration de données issues de sources variées : Core Banking, bases relationnelles, fichiers partenaires, systèmes internes, etc. La mise en place de contrôles de qualité, cohérence et complétude des données. L'optimisation des traitements sur de fortes volumétries : partitionnement, gestion des ressources, performances Spark, optimisation des requêtes. L'industrialisation et le déploiement des traitements via CI/CD, orchestration et monitoring. La réalisation des tests unitaires et des TNR. La documentation technique et la mise à jour des référentiels de données. La prise en compte des contraintes de sécurité, confidentialité et conformité réglementaire : RGPD, classification, anonymisation des données. La participation aux cérémonies Agile et aux réunions projets. La contribution aux activités de Run quotidien et mensuel. Environnement technique Scala – Spark – Hadoop – HDFS – Hive – Airflow – SQL avancé – Bases relationnelles – NoSQL – CI/CD – DevOps Une très bonne maîtrise des problématiques Big Data, volumétrie et optimisation des performances est indispensable.

Data Engineer SENIOR AWS / SPARK/PYTHON 500 e par jour Data Engineer Senior – Data Services Profil très orienté AWS / Spark / Python / DBT / Iceberg / Airflow, avec une bonne maîtrise des architectures Big Data / Lakehouse et de la modélisation Médaillon. REcherchent quelqu'un de t senior, avec 8 ans d'expérience minimum. Mission à temps plein, avec 3 jours de remote par semaine. AWS, Python, Spark et modélisation Médaillon. Terraform et Datadog sont également appréciés. Mission Asap 500 e par jour

Bonjour à tous, Mission Data Engineer Senior / Expert – Lakehouse AWS Nous recherchons 2 Data Engineers Senior / Experts pour accompagner une équipe Data dans la conception, l'industrialisation et l'évolution de solutions data à grande échelle. La mission · Concevoir et optimiser des pipelines de données · Développer des flux batch, streaming et API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Contribuer à l'évolution d'une architecture Lakehouse · Garantir la qualité, la supervision et l'observabilité des traitements Stack technique Spark / PySpark • Python • AWS • DBT • Iceberg Airflow • Terraform • Docker • KubernetesAWS S3, Glue, EMR Trino / Starburst • Datadog ➕ Data Catalog 📍 Localisation : Île-de-France 🏠 Télétravail : 3 jours/semaine 📅 Démarrage : dès que possible ⏳ Durée : jusqu'à août 2027 🎓 Expérience : 8 ans minimum en Data Engineering Vous avez une solide expérience en Data Engineering, Big Data et architectures Lakehouse et vous maîtrisez Spark, AWS, Python et DBT ? 📩 N'hésitez pas à me contacter en MP ou à partager votre CV.

Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.