Trouvez votre prochaine mission ou futur job IT.

Au sein de l'équipe Data, vos fonctions consisteront notamment à : Participer à l'estimation de la complexité des chantiers techniques liés à la montée de version SPARK (3.4) Concevoir et développer les traitements applicatifs en collaboration avec les intervenants internes à l'équipe, ou externes à celle-ci (architectes techniques, architectes data, experts sur des technologies liées...) Rédiger les dossiers de conception et documentations techniques nécessaires Concevoir et exécuter les cas de tests unitaires / d'intégration Faire des revues de code croisées avec les collègues de l'équipe Contribuer à l'installation et au déploiement des composants Participer activement aux rétrospectives afin de garantir le process d’amélioration continue Assurer la qualité et le suivi des développements, en participant à la correction des problèmes de production

Almatek recherche pour l'un de ses clients Un Data Engineer Spark/Scala sur Bordeaux. Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : -Socle Big Data (OI1) : *Compute : Yarn *Storage: HDFS (avec chiffrement pour C3), Hive *Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : -MoveNAStoHDFS -Moteur d'ingestion v2 -Spark Scala -Dictionnaire de données -Socle Data Science : *DataiKu Automation Frameworks/langage/outils utilisés: -Spark 3 -HQL Localisation : Bordeaux + 2 à 3 jours de présence sur site requise

Contexte Nous recherchons un Data Engineer confirmé à senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie . La mission s’inscrit dans un environnement data critique , lié à l’exploitation de données de marché et à la production d’indicateurs et d’alertes à forte valeur métier. Le système cible repose sur une architecture batch Big Data structurée selon une architecture médaillon (Silver / Gold) , avec ingestion multi-sources, normalisation, calculs avancés et distribution des données vers différents consommateurs métiers. Localisation : Paris (hybride) Durée : 12 mois renouvelables (jusqu’à 3 ans) Objectifs de la mission Concevoir et développer des pipelines d’ingestion et de transformation en Scala Spark Traiter, dédoublonner, normaliser et structurer des données de marché Refactoriser des imports existants afin de les rendre conformes à l’architecture médaillon Silver layer : données dédoublonnées, normalisées et structurées Gold layer : génération d’agrégats métiers (carnets d’ordres, best bid/ask, OHLC, etc.) Implémenter et challenger les règles métier en garantissant les performances, la scalabilité et la maîtrise des coûts cloud Mettre en place et maintenir les règles de Data Quality (ex. Great Expectations) et contribuer au data catalog Participer à l’amélioration des frameworks communs : monitoring, CI/CD, tests, performance, résilience et standards de développement Rédiger et maintenir la documentation technique (architecture, flux, schémas, infrastructure) Environnement technique ETL / Compute : Scala, Spark (batch) Cloud AWS : Glue Jobs, S3, Lambda, Step Functions Qualité des données : Great Expectations ou équivalent DevOps / CI-CD : Git, pipelines, bonnes pratiques d’industrialisation Environnement applicatif connexe : API REST, services backend Compétences complémentaires appréciées : Python, React Important : cette mission ne s’appuie pas sur des solutions managées de type Databricks. Compétences requisesIndispensables Minimum 5 ans d’expérience significative en Scala et Spark Expérience confirmée sur des projets Big Data / ETL à forte volumétrie Expérience pratique sur AWS (Glue, S3, orchestration) Bonne culture DevOps Autonomie, rigueur, capacité à être force de proposition Appréciées Python Développement API Connaissances de base en market data / trading (non bloquant) Process de sélection Entretien Teams de 30 minutes axé sur les expériences professionnelles Entretien Teams d’une heure axé sur les compétences techniques avec un Data Engineer de l’équipe Modalités de réponse Merci de transmettre : CV, disponibilité, TJM, localisation et un résumé des expériences Scala / Spark / AWS Glue .