Mission freelance Ingénieur Big Data

Nous recherchons un Ingénieur Big Data

Les livrables sont:

• Big Data & Traitement Distribués

• Orchestration de workflow

  Compétences techniques:

• Spark - Expert - Impératif

• Kafka - Confirmé - Impératif

• Stack HADOOP - Expert - Impératif

  Description détaillée:
  - Langages de programmation : Python (maîtrise avancée, développement de pipelines de données, optimisation de code, savoir mettre en place une campagne de tests)
  - Orchestration de workflow : Apache Airflow (création, gestion et optimisation de DAGs, intégration avec divers services)
  - Big Data & Traitement Distribués :
  o Apache Spark (Dév et optimisations)
  o Spark Streaming avec dépendances Kafka
  o Cloudera CDP (tuning des traitements)
  - Stockage et Bases de Données :
  o Hive, HDFS, (+ Impala et Iceberg dans un futur proche)
  - Sécurité & Chiffrement :
  o Chiffrement des flux de données et des bases (TLS, SSL, Kerberos, Hashicorp Vault, PGP)
  o Ranger KMS (chiffrement du stockage sur le cluster)
  - DevOps & CI/CD :
  o Git, GitLab CI/CD, Importance de la qualité de code (Sonar, XRay), Jenkins, XL Deploy
  o Monitoring (Open Search Dashboard, Grafana, ELK Stack)
  3. Méthode de travail
  - Méthodologies Agile (Scrum, Kanban)
  4. Soft Skills
  - Capacité à prendre des décisions stratégiques sur les choix technologiques
  - Adaptabilité et réactivité face aux évolutions technologiques
  - Esprit analytique et résolution de problèmes complexes
  5. Expérience Recherchée
  - Minimum 5 ans d’expérience en Big Data avec un focus sur Spark et Airflow
  - Expérience en tant que Tech Lead sur des projets complexes
  - Connaissance approfondie des architectures distribuées