Le poste Data Engineer
Partager cette offre
Python - Confirmé - Impératif
Generative IA - Confirmé - Impératif
Anglais Lu, écrit (Impératif)
nous cherchons un Data Engineer qui aura pour missions de :
- Collecter de la data de différentes sources (données structurées et non structurées), en allant parfois jusqu'à faire du scraping
- Transformer cette data, pour la rendre "ready to use" pour des algorithmes de Generative AI / LLM
- Ordonnancer ces traitements de data, piloter la qualité de cette data
- Etre un acteur clé de la mise en place des bonnes pratiques de développement sur les sujets de type Gen IA
Les processus et outils relatifs à la Generative AI n'étant pas encore industriels, une partie importante de la mission consistera à contribuer à explorer, à réaliser des benchmarks et à industrialiser les manières de faire.
Sur cette mission, les principales compétences attendues sont :
- Hard Skills : GCP, Big Query, GCS, Python et SQL, Generative AI et plus généralement Machine Learning, Bases de données (SQL, No SQL, bases d'embedding)
- Soft Skills : ouverture d'esprit, capacité à apprendre, capacité à industrialiser
Enfin, des compétences "basiques" de développement Front (préférence pour Vue JS ou Svelte ou Angular) seront des atouts supplémentaires.
Mission pouvant être réalisée en partie en télétravail - 2 jours sur site par semaine souhaités pour les collaborateurs en dehors de la métropole lilloise. 3 jours sur site pour les collaborateurs à Lille ou aux alentours
Profil recherché
NIVEAU Maîtrisant
SA MISSION :
Il est garant de l'accès qualitatif aux sources de données.
Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists).
Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer.
Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT,
Il assure la supervision et l'intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, ).
Environnement de travail
SON ACTIVITE :
QUALIFICATION ET GESTION DES DONNÉES :
- Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité
- Intègre les éléments
- Structure la donnée (sémantique, etc.)
- Cartographie les éléments à disposition
- Nettoie la donnée (élimination des doublons, )
- Valide la donnée
- Éventuellement, il crée le référentiel de données
SES LIVRABLES :
- Data Lake approprié et partagé et son dimensionnement
- Cartographie des données
- Les éléments permettant de garantir la qualité de la donnée
Postulez à cette offre !
Trouvez votre prochaine mission parmi +15 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer
Coriom Conseil
