Offre d'emploi Data Engineer – Pipelines & Streaming
Île-de-France
OBJECTWARE
Le poste Data Engineer – Pipelines & Streaming
Partager cette offre
Dans le cadre du renforcement de ses capacités data, la mission consiste à concevoir, développer, optimiser et maintenir des pipelines de données, couvrant l’automatisation des traitements, la gestion des bases de données, les capacités de recherche ainsi que le traitement des flux temps réel.
Livrables attendusPipelines de données opérationnels, robustes et documentés.
Scripts PowerShell industrialisés et maintenables.
Schémas de données et procédures PostgreSQL optimisés.
Index, mappings et configurations Elasticsearch performants.
Profil recherché
Concevoir et développer des flux ETL / ELT robustes et performants.
Mettre en œuvre et exploiter des traitements batch et streaming.
Assurer l’automatisation et l’industrialisation des pipelines de données.
Garantir la fiabilité, la performance et la maintenabilité des traitements.
Concevoir et opérer des architectures de traitement de flux en temps réel.
Intégrer des technologies de streaming (Kafka, RabbitMQ ou équivalents).
Surveiller et optimiser les performances des traitements temps réel.
Développer et maintenir des scripts PowerShell avancés.
Automatiser les tâches de traitement, d’exploitation et de maintenance.
Interagir avec des API et gérer des flux de fichiers de manière industrielle.
Administrer et optimiser les bases de données PostgreSQL (modélisation, performance, tuning SQL).
Concevoir, maintenir et optimiser les index et mappings Elasticsearch.
Mettre en place des stratégies d’ingestion et de recherche performantes.
Produire une documentation claire et exploitable des pipelines et traitements.
Mettre en place les schémas, procédures et bonnes pratiques d’exploitation.
Participer à l’amélioration continue des architectures et des performances data.
Postulez à cette offre !
Trouvez votre prochaine mission parmi +8 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer – Pipelines & Streaming
OBJECTWARE
