Trouvez votre prochaine offre d’emploi ou de mission Amazon DynamoDB

Stack technique de la mission : CD/CI : Gitlab-ci Infra As code : Terraform (Services managé AWS, K8S) Suivi : Kibana/Grafana, Superset, Instana, AWS Cloudwatch Service Mesh : istio Serverless : AWS lambdas, AWS API Gateway Caches : Redis, Varnish Stockage de données : Mongo, DynamoDB, AWS S3 Connaissance architectures environnement à hautes exigences de charge et disponibilité

What is the mission about? Build new indicators and make them more reliable: Our indicators are used by production, supply chain, retail and finance. In conjunction with data scientists, we use machine learning algorithms to calculate forecasts. Team Experience within the Project Already one Data Engineer in the team with the same profile who has been incorporated for 2 months now Core responsibilities of the role Build new indicators and make them more reliable What is the scope of this project? The Data Forecast team’s mission is to make available in the Decathlon Datalake, the datasets that concern the sales forecasts of the shops. You will participate in the Forecast United product. It brings together Data Scientists, Data Engineers, MLops and Data Analysts to calculate shop sales forecasts to correctly replenish them. Job Description To strengthen our team, we are looking to hire a skilled Data Engineer to help us build new indicators and make them more reliable. In order to fulfil this role, our Data Engineer will have to : - Understand a data model and use it, - Help the team to make the best technical choices, - Provide expertise in the design of indicators, - Mastering databases and transformation tools, - Be able to transform raw data into an indicator, Our technical stack (not exhaustive) is as follows: - Transfo: Spark, Spark Streaming, Delta Lake, Databricks - Language: Python, SQL, Scala - Database: Redshift (AWS) - Data lake: S3 (AWS) - Versioning, CI/CD: Jenkins, GitHub, GitHub Actions - Scheduler: Airflow - Clustering: EMR (AWS), Kubernetes Deliverables: -Compliance with sprint commitments -Quality of design and development -Sharing of know-how and proactivity on code reviews -Continuous improvement of data quality and availability. -Documentation associated with the work put into production (Data journey map, technical documentation necessary for the run and for evolutions) Requirements - You have more than 2 years of experience as a PySpark and AirFlow Data Engineer. - You have already worked on the AWS stack (S3/Redshift) and you have mastered these components. - You like to work in an agile and collaborative environment (GitHub, SCRUM). - Your good level of English allows you to understand and interact with your international counterparts (especially in China). - In connection with the other Data Engineers in the team, knowledge of Scala will be appreciated. Particular attention will be paid to : - The mastery of Pyspark and Airflow - Collaborative development and code quality - An autonomy and a strength of proposal on technical Data subjects Benefits Occasional remote work Mandatory Skill(s) Data Engineer PySpark and Airflow experience (2+ years) Mastering AWS stack (S3/Redshift) and its components Experienced working with Agile methodology, in a collaborative environment (Github, SCRUM) Mastering SQL Mastering Python Experienced with Versionning, CI/CD tools: Jenkins Github, Github actions Experienced with EMR (AWS) and Kubernetes Nice to have Skill(s) Mastering Scala Quel est l’objet de la mission ? Construire de nouveaux indicateurs et les rendre plus fiables : Nos indicateurs sont utilisés par la production, la chaîne d’approvisionnement, le commerce de détail et la finance. En collaboration avec des scientifiques des données, nous utilisons des algorithmes d’apprentissage automatique pour calculer des prévisions. Expérience de l’équipe au sein du projet Il y a déjà un ingénieur de données dans l’équipe avec le même profil qui a été incorporé depuis 2 mois maintenant. Principales responsabilités du rôle Construire de nouveaux indicateurs et les rendre plus fiables Quelle est la portée de ce projet ? L’équipe Data Forecast a pour mission de mettre à disposition dans le Datalake Decathlon, les jeux de données qui concernent les prévisions de ventes des magasins. Vous participerez au produit Forecast United. Il réunit des Data Scientists, Data Engineers, MLops et Data Analysts pour calculer les prévisions de vente des magasins afin de les réapprovisionner correctement. Description du poste Pour renforcer notre équipe, nous cherchons à embaucher un ingénieur de données compétent pour nous aider à construire de nouveaux indicateurs et à les rendre plus fiables. Pour remplir ce rôle, notre Data Engineer devra : - Comprendre un modèle de données et l’utiliser, - Aider l’équipe à faire les meilleurs choix techniques, - Apporter son expertise dans la conception d’indicateurs, - Maîtriser les bases de données et les outils de transformation, - Etre capable de transformer des données brutes en un indicateur, Notre stack technique (non exhaustif) est le suivant : - Transfo : Spark, Spark Streaming, Delta Lake, Databricks - Langage : Python, SQL, Scala - Base de données : Redshift (AWS) - Lac de données : S3 (AWS) - Versioning, CI/CD : Jenkins, GitHub, GitHub Actions - Planificateur : Airflow - Clustering : EMR (AWS), Kubernetes Livrables : -Respect des engagements du sprint -Qualité du design et du développement -Partage du savoir-faire et proactivité sur les revues de code -Amélioration continue de la qualité et de la disponibilité des données. -Documentation associée au travail mis en production (Data journey map, documentation technique nécessaire au run et aux évolutions). Exigences - Vous avez plus de 2 ans d’expérience en tant que Data Engineer PySpark et AirFlow. - Vous avez déjà travaillé sur la stack AWS (S3/Redshift) et vous maîtrisez ces composants. - Vous aimez travailler dans un environnement agile et collaboratif (GitHub, SCRUM). - Votre bon niveau d’anglais vous permet de comprendre et d’interagir avec vos homologues internationaux (notamment en Chine). - En lien avec les autres Data Engineers de l’équipe, la connaissance de Scala sera appréciée. Une attention particulière sera portée sur : - La maîtrise de Pyspark et Airflow. - Le développement collaboratif et la qualité du code - Une autonomie et une force de proposition sur des sujets Data techniques. Avantages Travail à distance occasionnel Compétence(s) obligatoire(s) Expérience PySpark et Airflow en tant que Data Engineer (2+ ans) Maîtrise de la stack AWS (S3/Redshift) et de ses composants Expérience en méthodologie Agile, dans un environnement collaboratif (Github, SCRUM) Maîtrise de SQL Maîtrise de Python Expérience du versionning, des outils CI/CD : Jenkins Github, Github actions Expérimenté avec EMR (AWS) et Kubernetes Compétence(s) souhaitée(s) Maîtrise de Scala

Avec plus de 7 ans d’expérience professionnelle dans la conception, le déploiement et le soutien opérationnel de systèmes complexes. Au sein de l’équipe système vous allez planifier, organiser et documenter les activités de conception de systèmes complexes et configurer les systèmes pour qu’ils soient conformes aux politiques/procédures institutionnelles ; Vous avez une bonne maitrise de la langue française et anglaise pour communiquer des informations techniques/complexes à l’oral et à l’écrit ; Vous devez établir et maintenir la coopération, la compréhension, la confiance et la crédibilité auprès du client. Votre séniorité vous permet d’exécuter plusieurs tâches simultanément et de répondre efficacement aux situations d’urgence. Competences techniques: Systèmes d’exploitation : Centos, Redhat Enterprise Linux, Debian, Suse Cloud:AWS Virtualisation/conteneur (ex. VMWARE esxi/vsphere, Linux KVM, Docker, Kubernetes, Openshift) Outils d’automatisation (ex. Ansible, jenkins, saltslack, puppet) Protocoles : DNS, RADIUS, DHCP, LDAP, HTTP, HTTPS, TCP, UDP. Pile standard concept OSI. Bases de données : Oracle, Mysql, MongoDB, CouchDB Systèmes de contrôle de version : Git, Artifactory Rapports et analyses : ELK, Grafana Langages de programmation LAMP : Python, Perl, scripting shell Connaissance de l’approche DevOps & SysOps Connaissance des concepts de sécurité : Cyphersuite, Hash, Certificat, Autorité de certification, DNSSEC, Authentification vs Autorisation, DDOS, MITM, Breach, Exploit, IDS, IPS ;