Trouvez votre prochaine offre d’emploi ou de mission freelance Scala à Paris

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

CONTEXTE L'entité a donc également un but humain en assurant la réussite des développeurs en reconversion. La mission consiste à renforcer une équipe de Data Engineers pour réaliser des projets Scala/Spark pour le compte de l’un de nos clients. MISSIONS Vous assurerez le pilotage de plusieurs projets basés majoritairement sur les technologies Python sur le périmètre de la filiale Energie. Le pilotage concerne l’ensemble des projets de cette filiale confiés à D2D. Les engagements de l’entité D2D envers la filiale sont assurés grâce à un plateau projet composé de 2 à 4 développeurs, un ops et un architecte. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en agilité, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter que ces livrables sont réalisés par l'équipe projet, il n'y a pas de responsabilité de production individuelle. Les sprints projet s'échelonnent généralement sur 2 semaines. Sur la base des 3 mois de prestation, il y aurait donc 6 sprints. Livrables n°X : Sprint n°X Lot 1 : développement des US et tests associés ; Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d'exploitation ; Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; Lot 4 : Mise en place du monitoring ; Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées) : Le profil recherché pour la mission est celui d’un chef de projet SI/Data. Une expérience significative est requise pour ce poste. Il bénéficiera d’un accompagnement du responsable de domaine / directeur de mission sur le périmètre et du responsable de l’équipe Chefs de Projets Data pour les aspects outillage et méthodologie. Ce soutien sera plus important au début de la mission, notamment pour la prise en main des outils indispensables mais peu répandus comme TimePerformance. Qualités requises - Excellent relationnel - Capacité rédactionnelle - Capacité d’adaptation et de travail en équipe - Rigueur et esprit de synthèse - Esprit d’initiative - Autonomie

Cherry Pick est à la recherche d'un Développeur Back-End Scala / Rust - MediaHub MAM pour l'un de ses clients dans le secteur médias. Dans le cadre de la transformation d'une chaîne de télévision linéaire payante française en un groupe Media International, un chantier ambitieux a été lancé pour développer une nouvelle plateforme de gestion des assets média du groupe, nommée MediaHub. Cette plateforme, construite en interne à partir de logiciels libres avec une méthodologie Agile (Scrum), vise principalement à : Mettre en commun les catalogues de médias entre la France et l'international, entre la TV et le cinéma, et à terme devenir la plateforme de référence du groupe. Remettre à plat l'ensemble des workflows avec les utilisateurs pour une meilleure efficacité opérationnelle (ergonomie et automatisation), une réactivité face aux nouveaux usages (UHD, HDR, IMF, etc.) et une meilleure intégration via des API à l'écosystème Média avec les Majors et les plateformes. D'un point de vue technique, l'application MediaHub MAM, en charge de la gestion des essences média (fichiers audio, vidéo, sous-titres, etc.), est composée d'un ensemble de Micro-Services développés en Scala (~50) et Rust (~5). Ces services sont hébergés dans le Cloud (AWS) et On Premise (VMWare). Un MacBook Pro est fourni à tous les développeurs. Le travail est organisé en sprints de 2 semaines, et l'équipe est constituée de plusieurs Feature Teams complètes (P.O/Devops/Recette/Dev) se partageant un Scrum Master et un UI/UX Designer. Compte tenu des enjeux importants tant au niveau fonctionnel et technique qu'au niveau du calendrier, nous recherchons des candidats : Dynamiques et motivés , capables de voir au-delà de leur tâche affectée, de s'inquiéter de la complétion du récit utilisateur dans son ensemble (incluant la conception, les tests, la cohérence des livrables) et d'être acteur de sa livraison en production. Sérieux et autonomes , permettant d'être un relais efficace des Lead Tech présents dans l'équipe, tout en n'hésitant pas à poser des questions si nécessaires. Les candidats répondront idéalement aux critères ci-après classés par ordre d'importance : Disposer d'au moins une expérience significative (5 ans minimum) dans le développement d'une plateforme composée de micro-services. Le candidat devra être obligatoirement à l'aise avec la programmation concurrente et asynchrone. Avoir une bonne connaissance d'un langage fortement typé (Scala, Java, C#, Haskell, Golang, etc.) et avoir des notions de programmation fonctionnelle (expressions lambda, immutabilité, types algébriques, etc.). Avoir l'envie de monter en compétence sur l'écosystème Scala (cats-effect, zio, etc.). Être capable de répondre à un besoin métier avec une architecture évolutive (DDD, Clean, Onion, Hexagonale) et testable (tests unitaires et d'intégration).

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support.

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support

Bonjour, Pour le compte de notre client, nous recherchons un data engineer SPARK / SCALA / SBT / CUBE TABULAIRE / AZURE / DATABRICKS Au sein de l'équipe data / BI, vous interviendrez sur des projets stratégiques liés à la gestion, la transformation et la valorisation de la donnée. L’objectif de la mission est d’accompagner la Direction Financière à sortir d’Excel et aller vers Power BI. Pour cela, le data eng travaillera en binôme avec un PO pour comprendre l’existant et réaliser cette bascule. Vous aurez un rôle clé dans le développement, l'optimisation et la modélisation de traitements data complexes, avec un focus particulier sur la mise en place et la maintenance de cube tabulaires. Développement et intégration Optimisation Modélisation des données Recueil et analyse des besoins Documentation et support

Description Le consultant fera partie de l'équipe de développement de xxxx, une équipe aux pratiques modernes et efficaces. xxxx est une solution informatique et matérielle de "demand side management" pour clients industriels, contribuant à la transition énergétique. Le consultant interviendra sur la partie logicielle en: analyse de besoins, design, développement, support, maintenance corrective et évolutive. En design et développement, un haut niveau de qualité est attendu. Le consultant participera activement au design de l'architecture et développement du système; le consultant, souvent en collaboration, souvent en totale autonomie, comprendra les besoins et fera des propositions d'architecture évolutive (notamment modulaire) et documentée. Sont aussi importants: l'orientation qualité avec la documentation, les tests automatisés, le build et déploiement automatisés, la conception et le développement d'API bien pensées. La Mission à réaliser se déclinera notamment à travers: - La montée en compétence, tant fonctionnelle que technique, sur les applications existantes - Le design de propositions d'architecture, documentée dans des schémas, la définition des APIs, modules, librairies et écrans - La mise en place de builds et des outils de tests et de maintenance associés - Le lotissement des développements - L'implémentation des différents besoins - Les optimisations et évolutions diverses - La rédaction de tests en collaboration avec les Functional Analysts - La documentation et les manuels d'utilisations - L'assistance et le support aux utilisateurs - Le support niveau2, résolution d'incidents et résolution de problèmes (root causes d'incidents récurrents) - Le suivi post-release des livrables Maîtrise du langage Scala Très bonne connaissance des librairies : cats, http4s, doobie, fs2 À l’aise avec les tests unitaires, d’intégration et Pact Connaissance de Redis, MQTT, InfluxDB, Postgres Expérience en event-driven architecture Notre stack technique : Cloud & Infrastructure : AWS, Terraform Backend : Scala (cats, http4s, fs2), Rust (IOT) Data & Messaging : InfluxDB, PostgreSQL, Redis, MQTT Front-end : ReactJS CI/CD : déploiement continu

Description Grâce à ses compétences alliant développement bigdata, appétences pour les modèles d’IA et architecture applicative, le data engineer participe à la conception d’applications mettant à l’échelle des algorithmes créateurs de valeur pour l’entreprise. Livrables • Définition et analyse des structures de données. • Contribution dans les assets des différentes équipes produits pour interconnecter et collecter les données. • Mise à disposition de la data et des recommandations à des systèmes externes (APIs, exports, injection de données). • Connaître et respecter dans nos propositions de valeur les exigences et problématiques liées aux réglementations en vigueur (RGPD, Data privacy, etc.) et aux standards et tendances du secteur (éco-conception, etc.). • Garant de la production (mise en place de monitoring et alerting et intervention si nécessaire). • Développement et maintien du continuous delivery (participer à l’intégration continue et à l’usine logicielle, déploiements et tests automatisés). • Présentation et explication des réalisations à des publics métiers et techniques.

Nous recherchons un(e) Data Engineer expérimenté(e) pour intervenir sur une mission de conseil et d’optimisation d’une Data Platform AWS Databricks . ✅ Vos missions principales Auditer l’existant de la Data Platform AWS Databricks Proposer des préconisations techniques & méthodologiques pour renforcer la performance et la fiabilité Conseiller les équipes sur les bonnes pratiques Data & Cloud Contribuer à l’évolution et à la roadmap de la plateforme Accompagner les équipes internes dans la mise en œuvre

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

Compétences techniques : Framework Big Data & Langage : Spark - spark streaming et batch (requis), SQL (requis) Kafka (apprécié) java (apprécié) scala (apprécié) shell (apprécié) Ecosystème Big Data : Stack Hadoop Cloudera (fortement apprécié) Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Apprécié : Outil de Data Visualisation : Microstrategy étant un plus (ou connaissance Power Bi, Tableau) Compétences humaines : Requis : Autonomie, Adaptabilité, Bonne communication / Pédagogue / Vulgarisation Data pour des équipes métiers Force de proposition, Sait challenger les besoins et comprend le sens métier des travaux menés 5 à 10 ans d'exp. Paris 12ème 3 jours sur site