Job Vacancy Data Engineer | AWS | Databricks

Contexte
Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé.
Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle.

Rôle et responsabilités

• Développement et ingestion de données

  • Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks, avec gestion de gros volumes.

  • Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3.

• Orchestration et supervision

  • Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements.

  • Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité.

  • Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies.

• Maintien en condition opérationnelle

  • Assurer la disponibilité et la performance des jobs en production.

  • Analyser et corriger les incidents et anomalies détectées.

• Contribution stratégique

  • Participer aux ateliers de conception technique et fonctionnelle.

  • Promouvoir les bonnes pratiques de développement et d’optimisation Big Data.

  • Documenter les processus, architectures et scripts.

Compétences techniques requises

• MUST :

  • Python

  • Spark

  • Databricks

  • SQL

• SHOULD :

  • AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM)

• COULD :

  • Big Data (gestion et traitement de très gros volumes de données)

• WOULD :

  • Git

Méthodologies et outils :

• CI/CD avec GitLab

• JIRA / Confluence

• Méthodologie agile Scrum