Trouvez votre prochaine offre d’emploi ou de mission freelance Scala à Paris

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Produit clé : Kiwi, plateforme de pilotage de petits actifs pour le demand-side management, connectée via edge devices ou APIs. Mission principale : Concevoir, développer, maintenir et supporter des services back-end temps réel (calcul et envoi de consignes toutes les 2-4 secondes, collecte de données). Responsabilités : -Analyse fonctionnelle avec experts métier. -Conception technique et propositions d'architecture (APIs, services). -Découpage agile et développements incrémentaux. -Développement back-end Scala, APIs, tests (unitaires, intégration, Pact). -Documentation, support utilisateurs, monitoring et support niveau 2.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Nous recherchons un freelance Analytics Engineer / Data Engineer pour intervenir sur un projet Data transverse d’envergure , au sein d’un grand groupe français du secteur médias & digital . Le projet vise à centraliser, harmoniser et fiabiliser les données de diffusion publicitaire digitale (impressions, chiffre d’affaires, performance, etc.) afin de fournir un reporting unifié et fiable selon différentes dimensions métiers (canaux de vente, équipes commerciales, annonceurs, origines des revenus…). Au sein d’une équipe Data expérimentée, vous interviendrez sur les missions suivantes : Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory Développer et optimiser des flux de transformation de données en Spark SQL Maintenir et faire évoluer des pipelines de traitement en Scala (part marginale) Développer et maintenir des indicateurs de qualité de données (KPI data) Participer au refactoring du code existant afin d’améliorer performance et maintenabilité (réécriture en DBT ) Garantir la qualité du code et le respect des standards de développement Mettre en place des tests unitaires et contribuer à la fiabilité des traitements Participer au monitoring des solutions Data Digital Produire les livrables attendus : code source, documentation et indicateurs qualité

Contexte Nous recherchons un Data Engineer confirmé à senior pour intervenir au sein d’un grand groupe international du secteur de l’énergie . La mission s’inscrit dans un environnement data critique , lié à l’exploitation de données de marché et à la production d’indicateurs et d’alertes à forte valeur métier. Le système cible repose sur une architecture batch Big Data structurée selon une architecture médaillon (Silver / Gold) , avec ingestion multi-sources, normalisation, calculs avancés et distribution des données vers différents consommateurs métiers. Localisation : Paris (hybride) Durée : 12 mois renouvelables (jusqu’à 3 ans) Objectifs de la mission Concevoir et développer des pipelines d’ingestion et de transformation en Scala Spark Traiter, dédoublonner, normaliser et structurer des données de marché Refactoriser des imports existants afin de les rendre conformes à l’architecture médaillon Silver layer : données dédoublonnées, normalisées et structurées Gold layer : génération d’agrégats métiers (carnets d’ordres, best bid/ask, OHLC, etc.) Implémenter et challenger les règles métier en garantissant les performances, la scalabilité et la maîtrise des coûts cloud Mettre en place et maintenir les règles de Data Quality (ex. Great Expectations) et contribuer au data catalog Participer à l’amélioration des frameworks communs : monitoring, CI/CD, tests, performance, résilience et standards de développement Rédiger et maintenir la documentation technique (architecture, flux, schémas, infrastructure) Environnement technique ETL / Compute : Scala, Spark (batch) Cloud AWS : Glue Jobs, S3, Lambda, Step Functions Qualité des données : Great Expectations ou équivalent DevOps / CI-CD : Git, pipelines, bonnes pratiques d’industrialisation Environnement applicatif connexe : API REST, services backend Compétences complémentaires appréciées : Python, React Important : cette mission ne s’appuie pas sur des solutions managées de type Databricks. Compétences requisesIndispensables Minimum 5 ans d’expérience significative en Scala et Spark Expérience confirmée sur des projets Big Data / ETL à forte volumétrie Expérience pratique sur AWS (Glue, S3, orchestration) Bonne culture DevOps Autonomie, rigueur, capacité à être force de proposition Appréciées Python Développement API Connaissances de base en market data / trading (non bloquant) Process de sélection Entretien Teams de 30 minutes axé sur les expériences professionnelles Entretien Teams d’une heure axé sur les compétences techniques avec un Data Engineer de l’équipe Modalités de réponse Merci de transmettre : CV, disponibilité, TJM, localisation et un résumé des expériences Scala / Spark / AWS Glue .

Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l’analyse de leurs données et KPI. Les infrastructures et projets incluent : AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI, AI/GenAI Architectures Big Data sophistiquées pour ingérer plus de 100 par jour (Datalake, Event-Driven, Streaming, etc.) Exemples de projets : Chatbot AI Socle vidéo, navigation et calcul des audiences Recommandation de programmes via IA Feature Store et modernisation des flux financiers Plateformes CRM et partage de données partenaires Kubernetes et applications de data self-service Missions En tant que Data Engineer , vous serez en charge de : Concevoir, développer et maintenir des pipelines de données scalables et performants (ingestion, traitement et stockage de données massives). Développer des architectures Big Data sur AWS (S3, EMR, Lambda, Kinesis, Batch…), Snowflake et Spark. Développer en Scala et Python pour le traitement massif des données. Automatiser les workflows et orchestrer les pipelines avec Airflow et DBT . Concevoir et exposer des APIs customer-facing performantes. Optimiser les performances et garantir la scalabilité pour gérer un volume important d’utilisateurs. Collaborer avec les équipes Data Science, Produit et DevOps pour une intégration fluide.

Objectifs de la mission Intervenir en tant qu’expert technique sur des applications critiques de Cash Management dédiées au traitement de flux financiers à forte volumétrie. La mission couvre l’ingestion, la transformation et la diffusion de flux batch et temps réel , ainsi que l’intégration sécurisée avec l’écosystème bancaire international via SWIFTNet et les messages ISO 20022 , dans un environnement distribué basé sur Scala, Java, Python, Kafka, Spark et Hadoop . Rôle et responsabilités Concevoir, développer et maintenir des composants back-end robustes en Scala / Java / Python Intervenir sur des architectures orientées événements et streaming ( Kafka, Spark, ) Garantir la performance, la qualité du code et la stabilité des traitements de flux critiques Contribuer aux choix d’architecture, d’optimisation et de supervision ( Docker, Kubernetes, Jenkins, Sonar, Datadog ) Travailler en étroite collaboration avec les équipes métier Cash Management / Paiement dans un cadre agile