Job Vacancy Architecte/ Data Engineer Dataiku

Bonjour,

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Senior expert sur de l'architecture des Data Platforms sur du Dataiku/Kafka

vos missions seront plus spécifiquement :

- Maîtriser l'ensemble des techniques et technologies composant la Data Platform

- Accompagner les besoins et projets sur la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation avec la Data Platform

- Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d’automatiser les pipelines d’ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, …)

- Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données

Contexte technique

- Base de données de type Sql/NoSql

- Kafka

- Dataiku

- Scripting Python/SQL/Java

- Suite Elastic

- Zabbix

- Dynatrace

Attendus

Pour réaliser la mission, vous serez à même de :

- Participer à la conception des solutions techniques et fonctionnelles

- Gérer les données de l’entreprise (flux, traitement, stockage et leur cycle de vie)

- Rédiger les documents fonctionnels et techniques, d’exploitation, en veillant au respect des normes existantes

- Automatiser les installations des socles techniques

- Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes

- Être en relation avec les équipes opérationnelles pour prise en compte des flux de données