Job Vacancy Data Engineer

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise.

1. Conception et Développement des Pipelines :

   • Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python.

   • Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake.

2. Industrialisation DataOps :

   • Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products.

   • Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure).

3. Architecture et Expertise :

   • Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données.

   • Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place.

4. Collaboration :

   • Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business.

• Big Data & Processing (Expertise Indispensable) :

  • Maîtrise d'Apache Spark (Scala ou Python/PySpark).

  • Expérience solide avec Databricks et/ou Snowflake.

• Cloud Computing :

  • Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks).

• Langages :

  • Expertise en Python ou Scala. Une connaissance de Java est un plus.

  • Maîtrise du SQL.

• Industrialisation :

  • Solide expérience en DevOps/DataOps (Git, CI/CD).

  • Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée.

• LES + : Power BI, Talend

Exemple de mission :

·      Évaluer les solutions techniques,

·      Garantir la performance et la disponibilité des plateformes data,

·      Implémenter et Orchestrer les pipelines de données,

·      Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation),

·      Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).