Find your next tech and IT Job or contract Big Data

Hello, Pour le compte de l'un de mes clients Lyonnais dans le secteur de l'énergie, je suis à la recherche d'un tech lead Spark/Java/Databricks. Description du profil : Les missions s'inscrivent dans une trajectoire progressive : Phase 1 : Modernisation des traitements existants • Migration de traitements Informatica et PL/SQL vers Spark (Java) • Participation à l'optimisation des traitements existants • Maintenance corrective et évolutive des traitements PL/SQL • Appropriation des processus métier derrière les flux de données Phase 2 : Refonte cloud (Databricks) • Participation au projet stratégique de migration vers le cloud • Conception et mise en œuvre de pipelines de données sur Databricks • Industrialisation des traitements dans un environnement moderne En parallèle des missions de développeur big data, le tech lead aura en charge la définition de la trajectoire technique de l'équipe Spark, l'animation et la montée en compétence des développeurs big data. Activité : • Concevoir, développer et maintenir des pipelines de données en Spark (Java) • Migrer des traitements legacy vers des architectures Big Data modernes • Assurer la maintenance des traitements existants SQL / PL-SQL • Garantir la performance, la robustesse et la qualité des données • Participer activement au RUN et à l'amélioration continue • Evolutions et MCO du socle technique • Définir les besoins sur l'outillage (workflow de dev, CI/CD) et participer aux évolutions en collaboration avec l'équipe DevOps • Définir les évolutions nécessaires sur le socle technique • Accompagner les DE dans la prise en main et la maitrise de la stack de développement (socle, spark, delta, databriks) • Assurer la cohérence globale du code produit par l'équipe. • Assurer la vision long terme et l'alignement des développements avec les objectifs métiers et techniques.

🏢 Qui sommes-nous ? Visian Azur, filiale du Groupe Neurones, est une société de conseil spécialisée dans les projets data et applicatifs. Présents à Marseille, Aix-en-Provence, Sophia Antipolis, Montpellier, Toulouse et Lyon, nous accompagnons de grands comptes sur des projets techniquement exigeants. 💼 Le poste Vous rejoindrez le pôle Data de la Direction Technique d'un grand groupe français. Référent de l'exploitation de la plateforme Big Data, vous prendrez en charge son run en production et contribuerez à son évolution, au service des équipes projet et des utilisateurs. 🎯 Vos missions Maintenir la plateforme Datalake en conditions opérationnelles : traitement des incidents et des demandes des projets et des utilisateurs Participer à la mise en œuvre et à l'automatisation de nouvelles solutions Réaliser les mises en production Faire évoluer et améliorer les outils d'exploitation Informer et accompagner les utilisateurs de la plateforme Assurer le suivi de votre activité : bilan mensuel des tickets traités et point bimensuel sur l'avancement des projets 🛠️ Environnement technique Big Data : Hadoop, Spark, Kafka, Hive, HBase Conteneurisation : Docker, Kubernetes Automatisation et CI/CD : Ansible, Jenkins, GitHub Langages : Scala, Python Système : Unix / Linux

At CGI, we're helping to strengthen national security through innovative technology, delivering advanced Big Data solutions that support cyber defence across our Space, Defence and Intelligence business unit. As a Platform Engineer, you'll play a vital role in designing, automating and optimising secure, cloud-native platforms that enable critical operations. You'll take ownership of complex engineering challenges, apply creative thinking to improve performance and resilience, and collaborate with talented teams to deliver solutions that make a real difference. Working in an agile, supportive environment, you'll have the opportunity to develop your expertise, influence technical decisions and contribute to high-impact programmes that help protect the UK's digital future. CGI was recognised in the Sunday Times Best Places to Work List 2025 and has been named a UK 'Best Employer' by the Financial Times. We offer a competitive salary, excellent pension, private healthcare, plus a share scheme (3.5% + 3.5% matching) which makes you a CGI Partner not just an employee. We are committed to inclusivity, building a genuinely diverse community of tech talent and inspiring everyone to pursue careers in our sector, including our Armed Forces, and are proud to hold a Gold Award in recognition of our support of the Armed Forces Corporate Covenant. Join us and you'll be part of an open, friendly community of experts. We'll train and support you in taking your career wherever you want it to go. Due to the secure nature of the programme, you will need to hold UK Security Clearance or be eligible to go through this clearance. This is a hybrid position based out of our CGI Reading office.

Collibra Ranger Data Project Manager – Docklands London We are keen to recruit a Collibra Ranger Certified data Project Manager with at least 1 to 2 years experience of Collibra Ranger. Overall you must have a background in data and data management especially in line with GDPR. Any experience of working within the banking sector would be a major plus. This is a permanent position based In the Docklands London. This is an exciting and challenging new position working data, Big Data and Collibra. Salary will be in the range £60K - £70K. Please send your CV to us in Word format along with salary expectations and availability.

Collibra Ranger Data Project Manager – Docklands London We are keen to recruit a Collibra Ranger Certified data Project Manager with at least 1 to 2 years experience of Collibra Ranger. Overall you must have a background in data and data management especially in line with GDPR and at least 5 to 10 years in IT as a BA/PM. Any experience of working within the banking sector would be a major plus. This is an exciting and challenging new position working with Big Data and Collibra Ranger. Must be a Collibra Business Analyst or Collibra Project Manager or Collibra Developer This is a permanent position based in the Docklands London. Salary will be in the range £60K - £80K.

Description de la mission Notre client, un grand assureur, fait tourner en production une plateforme Data / IA conséquente et cherche un expert Linux pour en prendre soin. Votre terrain de jeu : les serveurs Linux de production et les clusters Big Data qui tournent dessus. Au quotidien, vous assurez le support N2 et le MCO, vous installez et configurez les clusters (Cloudera, Kafka, Talend) et vous intégrez les nouvelles briques en respectant les règles de sécurité et d'architecture. Vous serez aussi sollicité(e) comme référent technique par les projets Data / IA, pour les conseiller sur les choix de solutions et garantir que ce qui arrive en production est exploitable. L'environnement est riche : Hadoop, Cloudera CDP, Starburst, Azure Databricks, Terraform, Kerberos, Vault, plusieurs bases de données. Vous n'avez pas besoin de tout maîtriser en arrivant, mais vous ne serez pas dépaysé(e).

ContexteDans le cadre d'un projet pour une compagnie aérienne, nous recherchons un Data Engineer GCP pour rejoindre une équipe IT internationale d'environ 15 personnes, réparties entre la France, l'Inde et les équipes métiers basées à Amsterdam. L'équipe intervient sur un périmètre BI & Big Data, autour de la gestion et de l'exploitation des données liées au parcours passager, depuis son arrivée à l'aéroport jusqu'à son embarquement, ainsi que sur les flux de données associés aux activités Cargo. MissionsAu sein de cette équipe, vous interviendrez notamment sur : Le développement et la maintenance des évolutions applicatives. La prise en charge des incidents et des activités de RUN. L'amélioration et l'optimisation du code existant. La gestion et l'optimisation des référentiels Git. L'amélioration des performances des traitements de données. L'analyse et l'optimisation des traitements BigQuery. La participation aux pratiques d'intégration et de déploiement continu avec GitHub et GitHub Actions.

Dans le cadre de projets à forte volumétrie autour des domaines Risque, Finance et Reporting réglementaire, chez l'un de nos clients grands comptes, nous recherchons un Big Data Engineer confirmé pour intervenir sur la conception, le développement et l'industrialisation de traitements de données à grande échelle. Vous aurez pour mission missions La conception et le développement de pipelines de données batch. L'alimentation de datamarts réglementaires Risque et Finance. L'alimentation des systèmes de reporting financiers et risques. L'intégration de données issues de sources variées : Core Banking, bases relationnelles, fichiers partenaires, systèmes internes, etc. La mise en place de contrôles de qualité, cohérence et complétude des données. L'optimisation des traitements sur de fortes volumétries : partitionnement, gestion des ressources, performances Spark, optimisation des requêtes. L'industrialisation et le déploiement des traitements via CI/CD, orchestration et monitoring. La réalisation des tests unitaires et des TNR. La documentation technique et la mise à jour des référentiels de données. La prise en compte des contraintes de sécurité, confidentialité et conformité réglementaire : RGPD, classification, anonymisation des données. La participation aux cérémonies Agile et aux réunions projets. La contribution aux activités de Run quotidien et mensuel. Environnement technique Scala – Spark – Hadoop – HDFS – Hive – Airflow – SQL avancé – Bases relationnelles – NoSQL – CI/CD – DevOps Une très bonne maîtrise des problématiques Big Data, volumétrie et optimisation des performances est indispensable.

Data Engineer SENIOR AWS / SPARK/PYTHON 500 e par jour Data Engineer Senior – Data Services Profil très orienté AWS / Spark / Python / DBT / Iceberg / Airflow, avec une bonne maîtrise des architectures Big Data / Lakehouse et de la modélisation Médaillon. REcherchent quelqu'un de t senior, avec 8 ans d'expérience minimum. Mission à temps plein, avec 3 jours de remote par semaine. AWS, Python, Spark et modélisation Médaillon. Terraform et Datadog sont également appréciés. Mission Asap 500 e par jour

Bonjour à tous, Mission Data Engineer Senior / Expert – Lakehouse AWS Nous recherchons 2 Data Engineers Senior / Experts pour accompagner une équipe Data dans la conception, l'industrialisation et l'évolution de solutions data à grande échelle. La mission · Concevoir et optimiser des pipelines de données · Développer des flux batch, streaming et API · Structurer les transformations selon le modèle Médaillon (Bronze / Silver / Gold) · Contribuer à l'évolution d'une architecture Lakehouse · Garantir la qualité, la supervision et l'observabilité des traitements Stack technique Spark / PySpark • Python • AWS • DBT • Iceberg Airflow • Terraform • Docker • KubernetesAWS S3, Glue, EMR Trino / Starburst • Datadog ➕ Data Catalog 📍 Localisation : Île-de-France 🏠 Télétravail : 3 jours/semaine 📅 Démarrage : dès que possible ⏳ Durée : jusqu'à août 2027 🎓 Expérience : 8 ans minimum en Data Engineering Vous avez une solide expérience en Data Engineering, Big Data et architectures Lakehouse et vous maîtrisez Spark, AWS, Python et DBT ? 📩 N'hésitez pas à me contacter en MP ou à partager votre CV.

Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.