Mission freelance Ingénieur Production Data

Les principales missions sont les suivantes :

Administration de la plateforme Data et de ses outils :

• Administrer les composants Dataiku et CloudBeaver de la plateforme (installation, configuration, monitoring, backup, montées de version…)

• Faire évoluer et gérer le maintien en conditions opérationnelles de l’environnement analytics et data science axé sur Dataiku (DSS, Fleet Manager, Spark sur EKS)

• Accompagner les utilisateurs sur les best practices et l’industrialisation des projets métiers

Support et expertise technique :

• Résoudre les incidents impactant les plateformes

• Conseiller les équipes du Data Office (Data Engineers / Data Scientists / Data Analysts / BI Engineers) sur les choix d’implémentation (architecture et technologie)

• Réaliser des audits techniques, des analyses de performance (requêtes SQL, jobs Spark, fonctions Lambda, entraînement modèles ML, …) ou des PoC

Évolution de l’infrastructure :

• Évaluer l'infrastructure actuelle et proposer si besoin une stratégie de modernisation progressive des composants legacy (IaaS) vers des solutions cloud-natives (PaaS/SaaS/Serverless), en intégrant les pratiques DevOps (IaC, CI/CD, automatisation) et FinOps

• Développer et implémenter de nouveaux patterns d’acquisition et de traitement de données (micro-batch, streaming, event-driven, transactionnel)

Ce poste nécessite des compétences en architecture de données et environnement cloud AWS, avec un minimum de 5 années d’expérience dans un contexte de grande volumétrie de données.

Compétences techniques :

• Maîtrise avancée de l’environnement AWS :
  

  • Services d’interrogation de données et de métadonnées (Athena, Glue Data Catalog)

  • Services de compute sur AWS (EC2, Lambda, EKS)

  • Plateformes de gestion de conteneurs (EKS, ECR)

  • Frameworks de traitements distribués (Spark sur EMR) et d’analyse en temps réel (Kinesis, MSK)

  • Solutions de gestion de la sécurité AWS (IAM, KMS, ACM, LakeFormation, etc.)

• Maîtrise de la plateforme Dataiku DSS et intégration aux services AWS (Glue, S3, Athena, EKS, …)

• Maîtrise des solutions d’orchestration de flux de données (Airflow)

• Maîtrise de GitLab CI pour l’automatisation des déploiements, avec Terraform et Packer

• Bonnes pratiques de conception d’architecture (données & infrastructure), modélisation et observabilité sur les données

• Langages : SQL, Python principalement, Bash/Shell (scripts d'automatisation, orchestration)

Compétences relationnelles :

• Qualités rédactionnelles pour enrichir et maintenir la documentation (Word, Confluence, DrawIO, etc.)

• Collaboration quotidienne et participation aux rituels Agile / Scrum (surveillance du RUN, échanges d’équipe, reporting)

• Communication et vulgarisation technique auprès d’équipes tech et non-tech