Find your next tech and IT Job or contract Big Data

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.

DBA PRODUCTION ORACLE POSTGRES ET SQL SERVER Administrer les bases de données en environnement de production 24/7 Les livrables sont : Documents d'exploitation - Compte-rendu d'intervention Compétences techniques : PostgreSQL - Expert - Impératif MS-SQL - Confirmé - Impératif Big Data Cassandra - Confirmé - Un plus Oracle - Confirmé - Important Description détaillée Assurer le maintien en conditions opérationnelles des environnements portant les bases de données, avec périodes d'astreintes et interventions en HNO le cas échéant. Exploitation récurrente et proactive. Administration des environnements (Bases, supervision, sauvegardes, évolution). Optimisation et tuning.Traiter (N2 et N3) les incidents de Production. Réaliser les demandes de services et de changements. Réaliser le support aux équipes Projets et Intégration (participation aux transferts en production, mise à disposition des données aux plate-formes Hors Prod). Valider la documentation technique du domaine.Produire des documents techniques et les fiches de consignes nécessaires au pilotage. Etudier, proposer et prendre en charge la mise en œuvre des évolutions des environnements (migration, upgrade, nouveaux environnements).

RésuméUn poste d'ingénieur data est ouvert au sein d'une organisation axée sur les données, visant à maximiser l'exploitation des données pour développer de nouvelles offres, réduire les risques opérationnels et améliorer l'efficacité de l'équipe afin de mieux servir les clients. ResponsabilitésConstruire et améliorer le cadre commun (composants fonctionnels et techniques). Supporter le déploiement de la MDM dans différents pays. Concevoir et mettre en œuvre des composants de la plateforme tels que l'ingestion et le traitement des données. Distribuer les données aux différentes parties prenantes. Assurer la conformité avec les directives du groupe concernant l'utilisation des cadres internes et l'architecture. Collaborer avec d'autres parties prenantes du projet pour promouvoir des lignes directrices communes. Collecter, comprendre et affiner les exigences commerciales. Concevoir des solutions en suivant les directives d'architecture. Participer aux activités de développement en tant que rôle senior/expert. Écrire et mettre à jour la documentation technique en anglais. Communiquer efficacement avec toutes les équipes concernées. Compétences RequisesIngénierie logicielle : Design & Architecture logicielle, Python, Programmation Orientée Objet. Architecture des données : architecture en couches, solutions de stockage et d'exposition. Technologies Big Data : pipelines de données, HDFS/S3/Parquet. Modèles de Big Data : partitionnement, indexation, optimisation des requêtes. Compétences AWS : sécurité/IAM, S3, Lambda. Compétences AppréciéesExpérience en ingénierie des données. Compétences sur les structures de données / modélisation des données & SQL. Compréhension des processus DevOps et CI/CD. Autres DétailsLocalisation : l'équipe est principalement située en Ile-de-France avec des déplacements occasionnels à Lyon et Bruxelles. Durée de mission : Plus d'un an (maximum 3 ans) Télétravail : 50%