Find your next tech and IT Job or contract Apache Spark

Your search returns 41 results.
Contractor
Permanent

Job VacancyTech Lead Data Engineer

Ecco Technologies
Published on
Apache Spark
Google Cloud Platform (GCP)
Java

1 year
Haute-Garonne, France
EccoTechnologies est une ESN à taille humaine spécialisée dans les métiers de l'IT et de la transformation digitale. Nous accompagnons nos partenaires sur des projets à forte valeur ajoutée en mettant l'expertise technique, la proximité et l'humain au cœur de notre démarche. Dans le cadre du développement de nos activités, nous recherchons un Tech Lead Data Engineer pour intervenir auprès de l'un de nos partenaires sur un projet stratégique de modernisation d'une plateforme Data, au sein d'un environnement Agile, Cloud et international. Vous intégrerez une équipe Agile avec des équipes réparties en France et à l'international. Vous participerez à l'évolution d'une plateforme Big Data récemment migrée vers Google Cloud Platform. Dans un contexte de transformation et d'amélioration continue, vous contribuerez à l'optimisation des traitements de données, à la modernisation de l'architecture technique et à l'accompagnement de l'équipe sur les choix techniques. Missions : Concevoir, développer et maintenir des pipelines de traitement de données. Développer et optimiser des traitements Java et Apache Spark. Participer aux évolutions fonctionnelles et techniques de la plateforme. Contribuer aux travaux de refactoring et d'amélioration continue. Participer aux choix d'architecture et être force de proposition. Accompagner l'équipe sur les sujets techniques et partager les bonnes pratiques. Collaborer avec les équipes Produit, Architecture et Ops. Garantir la qualité, la performance et la maintenabilité des développements.
View this job
Contractor
Permanent

Job VacancyArchitecte Solution Databricks / Tech Lead Data (H/F)

UCASE CONSULTING
Published on
Apache Spark
AWS Cloud
Databricks

1 year
40k-42k €
400-800 €
Ile-de-France, France
Bonjour à tous 😀 Contexte : Dans le cadre de l'évolution d'une plateforme Data stratégique de l'un de nos clients, nous recherchons un Architecte Solution Databricks / Tech Lead afin d'accompagner les équipes dans la conception, l'industrialisation et la gouvernance des solutions Data. L'environnement est fortement orienté plateforme Data, avec des enjeux de : conformité réglementaire et sécurité des données ; gouvernance et intégration des données à l'échelle du groupe ; industrialisation des pipelines Data ; Le consultant jouera un rôle de référent technique Databricks auprès des équipes de développement et des métiers. Vos missions : Vous interviendrez notamment sur : Concevoir l'architecture technique des solutions Databricks Accompagner les équipes de développement sur les bonnes pratiques Développer et industrialiser des pipelines Data batch et temps réel Participer aux choix techniques et aux études d'architecture Réaliser des audits techniques et analyses de risques Produire la documentation d'architecture (DAT, dossiers techniques...) Accompagner les PoC Participer aux cérémonies Agile Être le référent technique Databricks de la plateforme Les livrables : Développements Scripts techniques DAT Documents de cadrage Reporting Estimations techniques Analyses de risques Audits Supports de PoC Cahiers de tests Procédures d'installation Documentation d'exploitation Rapport de fin de mission Profil recherché : MUST HAVE : Expérience : 6 ans minimum en Data Engineering / Architecture Data Expérience significative en environnement DSI Au moins 2 ans au sein d'équipes Agile Scrum Expertise technique : Databricks (5 ans minimum) Spark / Scala Développement de pipelines batch et streaming Certification officielle Databricks Terraform Jenkins ou Docker ou Kubernetes Gouvernance Data RGPD Connaissances appréciées : AWS Power BI GitLab CI Okta Jira Confluence Soft Skills : Excellent relationnel Leadership technique Forte capacité rédactionnelle Organisation Gestion de plusieurs sujets en parallèle Animation de réunions techniques Capacité à intervenir lors des Go/NoGo Les + : Databricks sur AWS Data Mesh Animation de formations Databricks Coaching technique Audit d'architecture Accompagnement d'équipes de développement Environnement technique : Databricks Spark Scala AWS Terraform Jenkins Docker Kubernetes GitLab CI Power BI Jira Confluence Okta
View this job
Permanent

Job Vacancy Développeur Big Data & Cloud (H/F) 

NSI France
Published on
Apache Spark
AWS Cloud
Azure

40k-55k €
Ile-de-France, France
Acteur majeur dans le domaine IT, depuis notre création en 1993, nous n'avons cessé de croître et d'évoluer. Avec une équipe dévouée de près de 1.400 collaborateurs répartis sur plusieurs sites en Belgique, au Luxembourg, en France et au Canada, NSI a suivi une trajectoire exceptionnelle. Notre entreprise est à la pointe de la révolution numérique, offrant une gamme complète de services IT, de l'analyse au développement de logiciels, en passant par l'architecture et la gouvernance IT. Votre rôle au sein de NSI Nous recherchons un(e) Développeur(se) Big Data & Cloud (H/F) afin d'intervenir au sein d'un grand acteur du secteur bancaire, sur le développement d'applications Big Data s'appuyant sur les API et l'automatisation. Descriptif des missions Vous rejoignez un centre de services partagés dédié aux solutions Digital et Data, qui accompagne les entités et filières du groupe dans la valorisation et l'accès agile aux données. Au sein de cette équipe, vous développez des solutions informatiques basées sur les technologies Big Data et les API, en validant la faisabilité technique des cas d'usage, en précisant leur intérêt métier et en définissant leur aspect opérationnel. Missions Développer des applications et des API REST avec le framework Spring Mettre en place et implémenter une stratégie de test (TDD/BDD) Assurer le déploiement automatisé des applications (containers) Réaliser le fine-tuning de la JVM afin d'optimiser et de garantir la stabilité des applications sous forte charge Développer sur les technologies Big Data (HDFS, Spark, Oozie) Intervenir sur les environnements Cloud (AWS, Azure) Rédiger la documentation nécessaire au partage et à la maintenance du code Assister les Business Analysts lors des tests fonctionnels et contribuer à l'aide au diagnostic Maintenir la production opérationnelle dans le respect des SLA
View this job
Permanent

Job VacancyData & AI Engineer

Big Apps
Published on
AI
Apache
Apache Airflow

Rosny-sous-Bois, Ile-de-France
Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !
View this job
Contractor

Contractor jobData Engineer / Data Architect Senior H/F

LeHibou
Published on
Amazon S3
Data Engineering
PySpark

12 months
550 €
Paris, France
Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior. La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés. Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses. Objectifs de la missionL'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing. Vous interviendrez notamment sur : La définition de l'architecture et de l'organisation du Lakehouse ; La conception de solutions de collecte, de stockage et de transformation des données ; La migration et la modernisation progressive des traitements existants ; L'industrialisation et le suivi des pipelines de données ; La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation. Principales responsabilitésEn tant que Data Engineer / Data Architect Senior, vous serez amené à : Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3 ; Développer des pipelines de traitement avec Python, Spark et PySpark ; Mettre en place et maintenir les traitements d'ingestion et de transformation ; Participer à l'ordonnancement des traitements avec Dagster ; Contribuer à l'exposition des données via Trino et les outils de datavisualisation ; Développer les solutions de collecte et de stockage répondant aux besoins métiers ; Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements ; Assurer le suivi des traitements et identifier les éventuels incidents ou blocages ; Rédiger et maintenir la documentation technique ; Participer à la recette avec la MOA et les utilisateurs ; Estimer les charges et contribuer au suivi de l'avancement du projet ; Réaliser des études en collaboration avec les équipes transverses ; Participer à l'amélioration continue des processus de développement et d'exploitation. Environnement techniquePlateforme ciblePython ; Apache Spark / PySpark ; SQL ; Amazon S3 ; Dagster ; Trino ; Git ; Jenkins. Environnement existantInformatica ; DAC ; Oracle 19 ; Outils BI et de reporting. Outils projetJira ; Confluence ; Windows 10 avec WSL.
View this job

Connecting Tech-Talent

Free-Work, THE platform for all IT professionals.

Free-workers
Resources
About
Recruiters area
2026 © Free-Work / AGSI SAS
Follow us