Offre d'emploi Data Engineer
Paris
QosmiQ Networks
Le poste Data Engineer
Partager cette offre
La Direction Data du Groupe a 3 grandes missions : maximiser la collecte de données tout en respectant les réglementations en vigueur, developper la connaissance et l'expérience utilisateurs et mettre à disposition auprès des équipes inte mes des outils de pilotage et d'aide à la décision.
En pleine expansion, nous souhaitons renforcer l'équipe Data par de nouvelles expertises en data engineerng et aider ainsi à la mise en place de solutions Big Data dans un envionnement Cloud GCP. Cette équipe est composée d'un product owner et de data engineers.
Notre stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données en batch, Apache Beam pour les traitements en streaming et Airflow pour l'orchestration. La stack inclut aussi les services BigQuery, Dataproc et PubSub de la Google Cloud Platfomm et Terraform pour la gestion de l'infrastructure.
Prestations attendues:
Au sein de l'equipe Data et au cœur de la plateforme data, la prestation se déroulera en collaboration avec les experts métier de la donnée, les product owners, les data scientists ou encore les data managers.
Cette plateforme repose sur une architecture Lakehouse construite sur la Google Cloud Plateform.
En travaillant avec les autres Data Engineers de l'équipe, la prestation consistera à participer à :
La collecte et l'ingestion de différentes sources de donnéesnon homogènes.
La mise en place de pipelines de traitement de données.
Le développement des modèles de données.
L'extraction et l'exposition des donnees du Lakehouse vers d'au tres services.
L'industrialisation des projets sur la GCP.
La mise en place et la maintenance des infrastructures scalables capable de répondre aux besoins et à l'accroissement rapide du volume de donnees.
La participation aux initiatives de gouvernance des données en assurant la qualité, la fiabilité et l'intégrité des données.
La participation active aux différentes phases de grooming, cadrage et planification des tâches avec l'équipe
Profil recherché
3 ans d'expérience minimum dans un environnement data
Compétences solides en data : structures de données, code, architecture
Connaissances de l'un des Cloud Provider Public, de préférence GCP
Expériences professionnelles avec les langages SQL et Python
Références professionnelles sur des projets Big Data, de préférence Pyspark, Big Query et Airflow
Expertises dans la mise en place de pipeline ETL/ELT
Bonnes connaissances de Gitlab et Gitlab CI/CD
Forte capacité à vulgariser et à communiquer sur des aspects purement techniques
Pratique des méthodes Agile (Scrum/Kanban)
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer
QosmiQ Networks
