Notre client s'appuie sur une équipe Data centrale pour exploiter une grande diversité de sources de données et générer des indicateurs à forte valeur ajoutée au service de ses activités. Dans le cadre du renforcement de son équipe Data Platform, nous recherchons un(e) Senior Cloud Data Platform Engineer qui contribuera à l'optimisation et à l'évolution de la plateforme data cloud, garantissant une intégration fluide des données à l'échelle de l'organisation. Vos missionsConcevoir et développer des templates d'Infrastructure as Code (IaC) avancés et réutilisables pour provisionner et gérer les ressources cloud, selon les meilleures pratiques et des standards d'architecture robustes. Architecturer des blueprints applicatifs complets permettant des workflows de data engineering scalables et fiables. Maintenir les projets AWS existants et accompagner les Data Engineers de l'organisation dans l'utilisation de la plateforme, en lien avec l'équipe Data Support.
Contexte de la mission L'équipe Data du client est au cœur de nos stratégies d'investissement, exploitant un large éventail de sources de données pour générer des prédicteurs diversifiés qui génèrent de solides rendements pour nos clients. En tant que contributeur de l'équipe Data Platform, votre mission consistera à contribuer et à optimiser notre plateforme de données cloud, en garantissant une intégration transparente des données. Objectifs et livrables Dans le cadre de cette mission d'Ingénieur Senior Cloud Data Platform, vous aurez les tâches suivantes : Concevoir et développer des modèles d'infrastructure as code (IaC) avancés et réutilisables afin de provisionner et de gérer efficacement les ressources cloud, en suivant les meilleures pratiques et des directives architecturales solides. Concevoir des blueprints d'application complets permettant des workflows d'ingénierie de données robustes et scalables. Maintenir les projets AWS existants et accompagner les Data Engineers dans l'ensemble utilisant notre plateforme, avec l'aide de l'équipe Data Support. Compétences demandées Compétences Niveau de compétence ANACONDA Expert AWS S3 Expert AWS Lambda Expert AWS Athena Expert CDK Expert SONARQUBE Confirmé Collaboration interne Expert AWS Fargate Confirmé Apache Iceberg Expert PYSPARK Confirmé Ruff Confirmé AWS EMR Confirmé Parquet Expert AWS Glue Expert Programmation Python Confirmé AWS Cloudwatch Expert JENKINS Confirmé AWS Lake Formation Expert Apache Airflow Expert AWS Cloud Formation Expert
Je recherche un Ingénieur Big Data / Administrateur Hadoop-Cloudera (CDP) confirmé à senior pour une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Ainsi qu'un accompagnement au développement d'un ensemble des DATA Services et challenge des fonctionnalités à développer et les standards de travail. Vous contribuerez : · A l'installation de cluster · Au monitoring et à l'administration des outils Big Data · A l'administration de cluster · A l'upgrade des distributions et des composants Hadoop · A l'installation des différents composants sur Hadoop · Au support et à la résolution des problèmes N2 et N3 · A la mise en place d'environnements de développement et de test · A la sécurisation des clusters Compétences techniques requises · Installation et configuration des différents distributions sur Hadoop : · Installation et configuration des différents composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka… · Monitoring des clusters avec Ambari, Cloudera manager, … · Administration des clusters : droits d'accès, Policy Ranger, création d'environnements… · CI/CD Ansible, Jenkins,… · Méthodes agiles : Scrum, Safe, Kanban, … Profil recherché Une expérience significative dans le cadre de projets Big Data sur une plateforme distribution Hadoop & CDP. · Anglais opérationnel et bonne aisance en communication · Capacité d'analyse et d'adaptation · Force de proposition, la veille technologique.
