Job position Data Engineer
Share this job
Contexte
Dans le cadre du chantier Knowledge Management (KM), une base de connaissance doit être constituée à partir de documents non structurés (PDF, Word, HTML). Cette base servira à formaliser la connaissance sous une forme agnostique des usages, en vue d'une réutilisation large et durable. Un pipeline initiale de structuration des connaissances a été établi, mais doit maintenant être industrialisé pour une exécution fiable, scalable et maintenable.
Objectif de la mission
Development des pipelines d'ingestion, transformation et alimentation de la base de connaissance, tout en assurant le versioning et la traçabilité des traitements.
Candidate profile
Activités principales
Modélisation l'architecture technique des pipelines (ingestion à stockage)
Développement des flux ETL modulaires (OCR, transformation, enrichissement)
Standardisation du format pivot et les conventions de métadonnées
Suivi de l'historisation, le versioning et la traçabilité des documents traités
Implémentation d'un orchestrateur (Airflow, Dagster, Prefect) si nécessaire
Suivi de la robustesse du traitement sur des volumes variés
Collaboration avec les équipes KM et Data Science pour alignement
Documentation de l'ensemble des flux de traitement
Working environment
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data.
Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT.
Apply to this job!
Find your next career move from +10,000 jobs!
-
Manage your visibility
Salary, remote work... Define all the criteria that are important to you.
-
Get discovered
Recruiters come directly to look for their future hires in our CV library.
-
Join a community
Connect with like-minded tech and IT professionals on a daily basis through our forum.
Data Engineer
VISIAN
