Offre d'emploi Data Engineer
Montreuil (93)
VISIAN
Le poste Data Engineer
Partager cette offre
Contexte
Dans le cadre du chantier Knowledge Management (KM), une base de connaissance doit être constituée à partir de documents non structurés (PDF, Word, HTML). Cette base servira à formaliser la connaissance sous une forme agnostique des usages, en vue d'une réutilisation large et durable. Un pipeline initiale de structuration des connaissances a été établi, mais doit maintenant être industrialisé pour une exécution fiable, scalable et maintenable.
Objectif de la mission
Development des pipelines d'ingestion, transformation et alimentation de la base de connaissance, tout en assurant le versioning et la traçabilité des traitements.
Profil recherché
Activités principales
Modélisation l'architecture technique des pipelines (ingestion à stockage)
Développement des flux ETL modulaires (OCR, transformation, enrichissement)
Standardisation du format pivot et les conventions de métadonnées
Suivi de l'historisation, le versioning et la traçabilité des documents traités
Implémentation d'un orchestrateur (Airflow, Dagster, Prefect) si nécessaire
Suivi de la robustesse du traitement sur des volumes variés
Collaboration avec les équipes KM et Data Science pour alignement
Documentation de l'ensemble des flux de traitement
Environnement de travail
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data.
Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer
VISIAN
