Offre d'emploi Data Engineer H/F
Magny-les-Hameaux (78)
Savane Consulting
Le poste Data Engineer H/F
Partager cette offre
Infrastructure de données:
Cartographie et documente les sources de données.
Contribue à assurer la maintenance du produit déployé en production et des infrastructures.
Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité
Structure les bases de données (sémantique, format, etc.).
Contribue à la gestion des référentiels de données
Intégration des données:
Capte et stocke, en toute sécurité, les données (structurées ou non) venant de l’extérieur de l’entreprise.
Assure la supervision et l’intégration des données de diverses natures qui proviennent de sources multiples.
Vérifie la qualité des données qui entrent dans le produit et s’assure de leur sécurité.
Nettoie la donnée (élimination des doublons ) et la valide pour une utilisation en aval en coordination avec les Data Analysts et Data Scientists opérant sur le produit.
Automatisation des Chaînes de Traitement de données / Déploiement d’Algorithme :
Met en œuvre l’automatisation de chaîne de traitement de données et de déploiement d’Algorithme ML
Profil recherché
Le produit DHA s’appuie sur les technologies suivantes :
- Nifi pour l’ingestion de données ;
- Amazon EMR pour les traitements de données ;
- Amazon EKS et Mongo dB pour la mise à disposition des données.
Les développements seront réalisés sur les environnements de développement, de pré-production et de production mis en place par Safran pour le produit Datahub Aéro.
2.2 Expertises techniques attendues
Pour réaliser leurs missions dans de bonnes conditions, les intervenants du prestataire devront mettre en œuvre une expertise technique dans les domaines suivants :
Expertise en services Data sur la Plateforme AWS (Certifications AWS : Data Analytics, Big Data ) : S3, HDFS, RDS, Redshift, EMR, Airflow
Expertise en solutions Big Data/Analytics : Spark, NoSQL
Expertise en technologies d’intégration de données de type ETL/EAI : Mulesoft..
Expertise en chaîne d’automatisation MLOps et CI/CD
Software Version
Spark 2.x
EMR on EKS 5.32.0
MWAA 2.4.3 (latest)
MongoDB enterprise 6.06
Opensearch 1.2
NIFI 1.16.3
NiFi Registry 0.8.0
Environnement de travail
Avec plus de 70 salariés dans ses rangs, Savane Consulting fait parti du TOP 100 des cabinets de conseil IT en France.
Notre mission est d’accompagner les Directions des Systèmes d’Information et les directions ’Métiers’’ dans leur développement numérique.
Grâce aux expertises de nos consultants, nous délivrons des prestations à forte valeur ajoutée dans les trois domaines suivants :
- BI & le Big Data,
- Infrastructure
- Sécurité.
Postulez à cette offre !
Trouvez votre prochain job parmi +15 000 offres !
-
Fixez vos conditions
Rémunération, télétravail... Définissez tous les critères importants pour vous.
-
Faites-vous chasser
Les recruteurs viennent directement chercher leurs futurs talents dans notre CVthèque.
-
100% gratuit
Aucune commission prélevée sur votre mission freelance.
Data Engineer H/F
Savane Consulting
