Job position Ingénieur de Prod Data
Share this job
Pour l'un de nos clients nous recherchons un(e) Ingénieur de Prod Data, qui sera amené à intervenir à l’intersection des enjeux Infra DevOps sur AWS et Big Data, et collaborera en étroite synergie avec l’architecte cloud, le tech lead et les data engineers.
Les principales missions sont les suivantes :
Administration de la plateforme Data et de ses outils
Administrer les composants Dataiku et CloudBeaver de la plateforme (installation, configuration, monitoring, backup, montées de version…)
Faire évoluer et gérer le maintien en conditions opérationnelles de l’environnement analytics et data science axé sur Dataiku (DSS, Fleet Manager, Spark sur EKS)
Accompagner les utilisateurs sur les best practices et l’industrialisation des projets métiers
Support et expertise technique
Résoudre les incidents impactant les plateformes
Conseiller les équipes du Data Office (Data engineers / Data scientists / Data analysts / BI engineer) sur les choix d’implémentation (architecture et technologie)
Réaliser des audits techniques, des analyses de performance (requêtes SQL, jobs Spark, fonctions Lambda, entraînement modèles ML, …) ou des PoC.
Evolution de l’infrastructure :
Evaluer l'infrastructure actuelle et proposer si besoin une stratégie de modernisation progressive des composants legacy (IaaS) vers des solutions cloudnatives (PaaS/SaaS/Serverless), en intégrant les pratiques DevOps (IaC, CI/CD, automatisation) et FinOps
Développer et implémenter les nouveaux patterns d’acquisition et de traitement de données (micro-batch, streaming, event-driven, transactionnel)
Candidate profile
Ce poste nécessite des compétences en architecture de données et environnement cloud AWS avec un minimum de 5 années d’expérience dans un contexte de grande volumétrie de données.
Compétences techniques :
Maîtrise avancée de l’environnement AWS
Services d’interrogation de données et de métadonnées (Athena, Glue DataCatalog)
Services de compute sur AWS (EC2, Lambda, EKS)
Plateformes de gestion de conteneurs (EKS, ECR)
Frameworks de traitements distribués (Spark sur EMR) et d’analyse en temps réel(Kinesis, MSK)
Solutions de gestion de la sécurité AWS (IAM, KMS, ACM, LakeFormation, etc).
Maîtrise de la plateforme Dataiku DSS et intégration aux services AWS (Glue, S3, Athena, EKS, …)
Maîtrise des solutions d’orchestration de flux de données (Airflow)
Maîtrise de GitLab CI pour l’automatisation des déploiements, avec Terraform et Packer
Bonnes pratiques des techniques de conception d’architecture (données & infrastructure), de modélisation et d’observabilité sur les données
Langages : SQL, Python principalement, Bash/Shell (scripts d'automatisation, orchestration)
Compétences relationnelles :
Qualités rédactionnelles notamment pour enrichir et maintenir la documentation (docs Word, wiki Confluence, diagrammes DrawIO, etc.)
Collaboration quotidienne et participation aux rituels Agile / Scrum (surveillance du RUN, ...)
Communication et vulgarisation technique auprès d’équipes tech et non-tech
Expérience recherchée :
+ 5 ans d'expérience en architecture de données en environnement Cloud
+ 5 ans d'expérience sur AWS, dont 3 ans sur les services Data & Analytics
Expérience avérée en exploitation de plateforme AWS
Bonne connaissance des frameworks de traitements distribués (idéalement Spark sur EMR) et d’analyse en temps-réel (idéalement Kinesis, MSK)
Maîtrise de GITLAB CI avec Terraform
Maîtrise de l’exploitation DSS idéalement sur intégration avec AWS
Expérience en environnement agile Scrum et dans des équipes pluridisciplinaires
Les certifications AWS sont un plus mais non mandatory
Working environment
LOMEGARD est une société de conseil spécialisée dans les métiers de l’IT qui propose trois offres transverses : PROJECT, SOFTWARE et INFRASTRUCTURE.
Nous accompagnons nos clients dans leurs projets de transformation digitale et d’innovations en créant un environnement de travail plus respectueux pour la planète.
Visitez notre site pour en savoir plus.
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Ingénieur de Prod Data
LOMEGARD
