PRIMO CONSULTING

Offre de mission DATA ENGINEER SENIOR

Paris

PRIMO CONSULTING

Python
sql
Spark

Le poste

Freelance
03/07/2022
36 mois
Télétravail partiel
Paris, France

Partager cette offre

La direction technique du Numérique du client mène des projets transverses en étroite collaboration avec les autres directions, notamment la direction Data.
En pleine expansion, nous souhaitons renforcer l’équipe Data par de nouvelles expertises en data engineering et aider ainsi à la mise en place de solutions Big Data dans un environnement Cloud.
Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données en batch, Apache Beam pour les traitements en streaming et Airflow pour l’orchestration. La stack inclut aussi d’autres services de la Google Cloud Platform.

Prestation  
Au sein de l’équipe Data et au cœur de la plateforme data, la prestation se déroulera en collaboration avec les experts métier de la donnée, les product owners, les data scientists ou encore les data managers.
Cette plateforme est aujourd’hui composée d’un Data Lake et d’un Data warehouse. Avec les autres Data Engineers de l’équipe, la mission consistera à :

Construire et maintenir des pipelines data robustes et scalables pour alimenter notre Data Lake et notre Data warehouse
Mettre en place et maintenir des infrastructures scalables (orchestration, stockage, distribution, notamment) capables de répondre aux besoins des équipes data et à l’accroissement rapide du volume de données
Construire et maintenir des workflows GitLab CI/CD pour aider l’équipe à délivrer tout en assurant la qualité, la fiabilité et la disponibilité des données en production
Développer des composants internes configurables d’ingestion et de traitement de données (ETL, API Rest)
Collaborer avec les autres data engineers dans l’équipe pour appliquer les bonnes pratiques en vigueur, identifier les besoins et contribuer à notre stratégie data et notre roadmap
Assurer l’évolutivité, la sécurité, la stabilité et la disponibilité des données de la plateforme data
Contribuer et veiller à la mise à jour de la documentation
Optimiser les traitements de données, refactorer les codes et participer activement aux revues de code
Contribuer à la montée en compétence des profils juniors dans l’équipe
Faire une veille technologique permanente dans le domaine

Profil du candidat

Data Engineer Senior - Python, Pyspark, Pipeline
Expertise data : structures de données, code, architecture
Expériences professionnelles en tant que data engineer notamment dans le développement des pipelines data
Expérience sur les architectures Cloud (AWS, GCP, Azure), idéalement sur GCP
Excellente maîtrise des langages/frameworks : Python, SQL, Spark
Expérience dans l’orchestration des workflows data avec Airflow : création des DAGs, refactoring
Expérience Architecture as Code, idéalement sur Terraform
Maîtrise des traitements ETL et gestion des flux de données : collecte, transformation, stockage, distribution
Expérience en déploiement et maintien des jobs/dags/app dans un environnement de production.
Bonnes connaissances de Git, Gitlab CI/CD et des process de delivery
Capacité à vulgariser et à communiquer sur des aspects purement techniques
Expérience professionnelle en méthode Agile (Scrum, Kanban)

Description de l'entreprise

Grand compte

Postulez à cette offre !

Trouvez votre prochain job parmi +15 000 offres !

  • Fixez vos conditions

    Rémunération, télétravail... Définissez tous les critères importants pour vous.

  • Faites-vous chasser

    Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.

  • 100% gratuit

    Pour les salariés... et pour les freelances ! (Pas de commission prélevée sur votre mission)

Neuilly-sur-Seine, Île-de-France
20 - 99 salariés
Cabinet de conseil
PRIMO CONSULTING, Société de Conseils et Services en Ingénierie Informatique. Vous trouverez une présentation détaillée à l’adresse de notre site www.primoconsulting.fr. En synthèse, nous avons développé au sein de notre société 3 pôles de compétences : - Assistance à Maîtrise d’ouvrage avec des consultants généralistes et/ou spécialisés dans différents secteurs d’activité (banque/assurance) et avec également des compétences sur les ERP (SAP, Oracle Applications). - Etude et développement : Chef de projet et ingénieur de développement avec également des compétences sur la BI et sur la méthodologie et la stratégie de tests (HPQC, QTP). - Pôle Production : avec des chefs de projet techniques, ingénieurs systèmes, ingénieurs de Production, des DBA (Oracle, SQlServer), des analystes d’exploitation,… Nous sommes également partenaires des principaux intégrateurs du marché qui nous sollicitent régulièrement pour renforcer leurs équipes. PRIMO CONSULTING intervient auprès des plus grands comptes et dans la plupart des secteurs d'activité (Banque, Assurance, industrie, Telecom, Media,...).

DATA ENGINEER SENIOR

PRIMO CONSULTING

Freelance-info devient Free-Work

Bienvenue sur Free-Work : la plus grande communauté de talents tech et IT de France née de la fusion des plateformes Freelance-info et Carriere-info.

Notre mission n’a pas changé : vous accompagner au mieux tout au long de votre carrière et vous proposer toujours plus d’opportunités. Vous retrouverez ici l’ensemble des offres, outils et ressources dont vous profitiez sur Freelance-info.

💡 Nouvel espace personnel Free-Work : les utilisateurs de Freelance-info peuvent se connecter avec leurs identifiants habituels. Toutes les informations de leur profil ont été conservées et transférées vers un compte Free-Work .

Pour toute question relative à l’utilisation de la plateforme, n’hésitez pas à nous contacter en cliquant ici.

Bonne visite !

L’équipe Free-Work

Freelance-info