Les tâches au quotidien seront :

- Définir et analyser les structures de données
- Concevoir, construire et gérer des pipelines ETL (Extraction, Transformation, Chargement) qui ingèrent des données brutes provenant de diverses sources, les transforment et les chargent dans des entrepôts ou des lacs de données
- Concevoir et gérer des solutions de stockage, telles que les entrepôts de données (Amazon Redshift), entrepôts de données (AWS S3 avec Databricks) ou bases de données NoSQL
- Travailler en étroite collaboration avec les data scientists, les analystes et les équipes commerciales pour comprendre les données besoins, recueillir les exigences
- Garantir la fiabilité de la production (surveillance, alerte et intervention selon les besoins)
- Expérimenter les technologies de données émergentes et les meilleures pratiques pour améliorer l'infrastructure de données et l'efficacité des flux de travail

Candidate profile

Les compétences requises pour cette mission sont :

- Justifier d'au moins 5 ans d'expérience professionnelle dans ce domaine
- Avoir une expertise avancée en Python est essentielle, ainsi que de solides compétences en Java (Spring Boot), et la connaissance de Scala est un atout
- Avoir une excellente connaissance des processus ETL et des pipelines de données
- Avoir une bonne expérience pratique de la création, de la gestion et de l'optimisation des flux de données sur Databricks, y compris l'utilisation de Spark pour le traitement de données à grande échelle
- Avoir de l'expérience en solutions de stockage (stockage objet / bases de données relationnelles / NoSQL)
- Avoir une bonne connaissance avec le Cloud AWS

Environnement technique de la prestation

Python, java springboot, Scala
ETL, pipeline de données, Databricks
AWS, NoSQL, AWS, SPark
Aglie Safe

Working environment

Confirmé

PYTHON, JAVA SPRINGBOOT, SCALA

Confirmé

ETL, PIPELINE DE DONNÉES, DATABRICKS

Confirmé

AWS, NOSQL AGILE SAFE, ANGLAIS

Confirmé

Discover SKILL EXPERT

Fontenay-sous-Bois, Île-de-France

20 - 99 employees

IT services

SKILL EXPERT est le spécialiste des Missions Réseau, Sécurité, Système et Gouvernance. Société de service en informatique dynamique et innovante fondée en 2011, SKILL EXPERT c'est une équipe à même de comprendre et d'anticiper aussi bien les besoins de ses clients que les aspirations de ses consultants. Rejoignez nous sur www.skill-expert.fr

Apply to this job!

Find your next career move from +10,000 jobs!

Manage your visibility

Salary, remote work... Define all the criteria that are important to you.
Get discovered

Recruiters come directly to look for their future hires in our CV library.
Join a community

Connect with like-minded tech and IT professionals on a daily basis through our forum.

Data Engineer

SKILL EXPERT