Trouvez votre prochaine offre d’emploi ou de mission freelance Scala

Solide expérience en développement avec des langages comme Scala et/ou Java, et une compréhension approfondie des concepts de programmation fonctionnelle. Compétences avérées dans l'utilisation de plateformes de streaming de données comme Apache Kafka, et de frameworks de traitement de données distribuées comme Apache Spark. Expérience significative dans le domaine de la Data et du Cloud, notamment sur Google Cloud Platform (GCP). Très bonne maîtrise de BigQuery et du SQL avancé, avec une expérience sur des traitements de gros volumes de données. Maîtrise de SQL pour la manipulation, l’analyse et la valorisation de données. Connaissance approfondie de DBT (Data Build Tool) pour la gestion et l’orchestration de pipelines de données. Expérience avec Pubsub pour la gestion de flux de données en temps réel. Maîtrise des outils de CI/CD, en particulier via GitLab CI/CD et Docker Compose, pour l’automatisation des workflows data. Bonne connaissance de l’environnement Linux et des outils de ligne de commande. Expérience solide avec les systèmes de gestion de version (Git). Travail en méthodologie agile (Scrum), avec une capacité à collaborer efficacement dans des équipes pluridisciplinaires.

Pour l’un de nos clients grands comptes, CANAL+, nous recherchons 2 Développeurs Backend Java / Scala expérimentés pour intervenir sur des plateformes de streaming à forte volumétrie. Contexte de la mission Vous intégrerez une équipe pluridisciplinaire composée de développeurs Java/Scala, DevOps, Scrum Masters et Product Owners, dans un environnement Agile moderne et orienté performance. Les projets Concevoir, développer et faire évoluer des plateformes de services ultra-performantes, scalables et résilientes pour les applications : Live Catch-up SVOD TVOD

Piloter des projets d’automatisation de bout en bout (planning, coordination, suivi) Structurer et encadrer les projets cybersécurité sur une plateforme existante Déployer un plan d’action cybersécurité sur différents produits Formaliser les spécifications techniques et fonctionnelles Coordonner les équipes (développeurs, testeurs, référents) Suivre les développements, les phases de tests et les déploiements Garantir le respect des exigences réglementaires (Cyber Resilience Act) Participer à la production des preuves de conformité Intervenir sur des systèmes industriels (PLC / SCADA) Évoluer dans un environnement structuré, international et réglementé (GAMP5, 21 CFR Part 11) Contribuer à la mise sur le marché d’une plateforme conforme et sécurisée Compétences attendues Gestion de projet (pilotage complet) Automatisme industriel (PLC / SCADA – Rockwell, GE iFix) Cybersécurité (bonne compréhension des enjeux) Environnements OT / systèmes industriels Suivi de développement, tests et déploiement SQL Server (apprécié) Connaissance des environnements réglementés

Contexte / Objectifs : 1. Développement de Pipelines de Données : o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources. o Implémenter des flux de données robustes et performants sur Cloudera. o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées. o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données. 2. Optimisation et Performance : o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement. o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase. o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme. 3. Assurance Qualité et Déploiement (DevOps) : o Écrire des tests unitaires et d'intégration pour garantir la qualité du code. o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD). o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement. o Gérer les dépendances et les versions avec Maven. 4. Collaboration et Documentation : o Documenter le code, les architectures et les processus. o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.

Intégré(e) dans les équipes Plateforme Data le/la consultant(e) aura pour mission de concevoir, développer et maintenir des solutions de traitement de données à grande échelle, en utilisant des technologies telles que BigQuery, BigTable, Apache Kafka et Apache Spark. Mais aussi contribuer à des projets Data en apportant son expertise sur les tâches suivantes : montée en compétence sur l'ETL BigL, participation à la réalisation de projets métier dans le cadre de la solution offline ELT in-House Big Loader et BDI/DBT,[Saut de retour à la ligne]Le/la consultant(e) travaillera en étroite collaboration avec les équipes de développement et de production afin de garantir la qualité et la performance des solutions mises en place.[Saut de retour à la ligne] Livrables : Accompagner techniquement les autres membres de l'équipe (juniors) Active participation aux choix d'architecture technique Livrer les composants

Data Engineer orienté RUN / Responsable d'application au Datalab : * Assure et coordonne les activités de maintenance corrective et évolutive des applications* dont il est responsable. * Il est responsable de la qualité de service délivrée dans le respect des contrats (support, qualité, sécurité, …) vis-à-vis des entités métiers en s’appuyant sur les équipes transverses. * Il est aussi le garant du maintien des connaissances fonctionnelles et techniques nécessaires à la pérennité de l’application. * Il est en interface avec le métier et répond aux demandes d’évolution ou des projets en lien avec le Responsable SI Métier et le Chef de Projet. (*) On entend par « applications » : les programmes, les données, les paramétrages, les services exposés (API), les infrastructures techniques et les interfaces/flux inter applicatifs.

Poste Nous recherchons pour notre client un(e) Expert SI Industriel / OT – Opérateur de transport (H/F) . Dans le cadre de l’exploitation, de la modernisation et de la sécurisation des systèmes industriels, l’opérateur de transport recherche un expert SI Industriel / OT afin d’accompagner la conception, l’intégration, la sécurisation et l’évolution de ses architectures techniques. Missions principales : Concevoir, maintenir et faire évoluer les architectures réseaux industrielles . Sécuriser les échanges entre capteurs, automates, SCADA et systèmes externes. Définir et mettre en œuvre les mesures de cybersécurité OT adaptées : segmentation, cloisonnement, filtrage, contrôle d’accès, supervision. Participer aux analyses de risques et aux revues d’architecture. Décliner les exigences des normes IEC 62443-3-3, IEC 62443-4-1 et IEC 62443-4-2 . Accompagner les projets industriels jusqu’à la mise en service. Contribuer aux audits, à la gestion des vulnérabilités et aux plans de remédiation. Travailler en interface avec les équipes automatisme, supervision, cybersécurité, infrastructure et métiers ferroviaires.

Nous recherchons un Data Engineer senior avec une forte expertise Big Data pour intervenir sur un projet stratégique de construction et d’industrialisation d’un Data Product à forte volumétrie. L’objectif est de construire une plateforme fiable, automatisée et scalable permettant la diffusion de données de référence à destination des usages reporting, contrôle et analyse. Missions principales Concevoir et développer des pipelines Data robustes et performants. Industrialiser les traitements Big Data à grande échelle. Optimiser les performances de traitement et de requêtage. Participer à la structuration du Data Product et des architectures Data. Collaborer avec les équipes métiers, Product Owners et développeurs. Garantir la qualité et la cohérence des données diffusées.

Contexte de la mission Au sein de la Direction des Systèmes d’Informations, vous serez intégré.e dans le département infrastructure. En Equipes pluridisciplinaires, nous imaginerons ensemble les architectures nécessaires pour maintenir la sécurité de nos données afin de répondre aux futurs produits de haute technologie des secteurs aéronautique, terrestre et maritime en favorisant les synergies et l’intelligence collective. Dans le cadre du développement de ses solutions industrielles, la Direction du Système d’Information de l'entreprise souhaite renforcer son équipe avec une compétence d’Architecte IT Industriel DevOps. Cette ressource devra garantir la cohérence des architectures entre les environnements IT et OT, supporter la digitalisation de l’industrie, et répondre aux enjeux de sécurité, de performance, d’innovation et de conformité aux standards de l'entreprise. Le présent document vise à sélectionner un prestataire disposant d’un haut niveau d’expertise en architecture IT industrielle et DevOps, apte à : Définir et modéliser l’architecture technique des solutions industrielles, en assurant l’alignement entre IT et OT. Appliquer, faire évoluer et promouvoir les standards et référentiels du Groupe pour l’IT industriel. Préconiser des solutions techniques innovantes, évolutives et adaptées aux besoins métiers et sécurité. Analyser et valider les nouveaux projets ou évolutions par audits et études d’impacts (intégrité, performance, sécurité du SI). Accompagner et conseiller les équipes métiers, SI et production dans le choix, la mise en œuvre et l’optimisation des solutions industrielles. Piloter la rédaction, le partage et la validation des dossiers d’architecture, impliquant l’ensemble des parties prenantes SI/OT. Assurer une veille technologique active et contribuer à l’évolution des pratiques et standards du Groupe. Le prestataire devra fournir un PC autorisé par l'entreprise qui sera masterisé au format Groupe. Niveau de séniorité : Confirmé Panel pressenti : Transformation Typologie de prestation : Architecture Objectifs et livrables Environnement technique de la prestation : Infrastructures industrielles hybrides (IT/OT) : virtualisation, réseaux industriels, cloud, stockage, sauvegarde. Outils standards : Ansible, Splunk, Tufin, Algosec, Cisco IOS, HP, Palo Alto, Forcepoint, Stormshield, Python, etc. Écosystème d’applications métiers industrielles (MES, SCADA…), équipements connectés, IoT industriel. Collaboration transverse avec architectes, experts réseaux/sécurité, urbanistes SI, programme industrie 4.0. Prestation attendue : Cartographie, modélisation et documentation d’architectures industrielles IT/OT. Analyse d’impacts, validation des dossiers d’architecture pour tout projet industriel ou DevOps, intégrant la sécurité, la continuité de service et la portabilité. Contribution à la transformation digitale des environnements industriels, intégration du DevOps à l’IT industriel. Accompagnement des équipes métiers et SI (ateliers, conseils, formation autour des bonnes pratiques et standards du Groupe). Propositions formalisées d’évolution des architectures et des standards internes. Animation et pilotage transverse de la démarche architecture auprès des équipes internes et partenaires industriels. Afin de mener à bien cette mission, l'entreprise souhaite préciser le niveau d’expertise nécessaire dans les domaines suivants : Modélisation architectures IT OT (Ex : TOGAF, Archimate, standards industriels) Réseau/sécurité industrielle, cloud et hybridation IT/OT, solutions d’automatisation et de déploiement (DevOps), virtualisation, stockage, sauvegarde, supervision Outils: Ansible, Splunk, TUfin, Algosec, Cisco, HP, HPE, Palo Alto, Forcepoint, Stormshield, Python, Infoblox, Solution industrielles (MES, SCADA …). Maitrise des normes de sécurités industrielles et référentiels de l'entreprise (MSR, Urbasec, Politiques de sécurité et qualité interne, etc …) Capacité à piloter l’intégration continue, le CI/CD, l’automatisation des déploiements sur environnements industriels Pratique courante de l’anglais et du français Livrables : Le Prestataire sera tenu de fournir les livrables suivants : Dossiers de modélisation et d’architecture technique IT/OT (Word/PDF, Visio/Archimate). Comptes-rendus de comités, réunions techniques, ateliers. Notes de cadrage, analyses d’impact, rapports d’audit et recommandations argumentées. Rapport hebdomadaire d’activité/jalon (commenté avec la DSI de l'entreprise). Tout support de présentation, documentation technique et guide d’intégration/optimisation. Respect strict des formats non modifiables pour les livrables définitifs et de la charte graphique du Groupe.

Descriptif de la mission Notre Client recherche pour cette mission un Data Engineer. Les tâches au quotidien seront : - Définir et analyser les structures de données - Concevoir, construire et gérer des pipelines ETL (Extraction, Transformation, Chargement) qui ingèrent des données brutes provenant de diverses sources, les transforment et les chargent dans des entrepôts ou des lacs de données - Concevoir et gérer des solutions de stockage, telles que les entrepôts de données (Amazon Redshift), entrepôts de données (AWS S3 avec Databricks) ou bases de données NoSQL - Travailler en étroite collaboration avec les data scientists, les analystes et les équipes commerciales pour comprendre les données besoins, recueillir les exigences - Garantir la fiabilité de la production (surveillance, alerte et intervention selon les besoins) - Expérimenter les technologies de données émergentes et les meilleures pratiques pour améliorer l'infrastructure de données et l'efficacité des flux de travail

🚀 Mission Freelance – Lead Tech Data Python / Spark (H/F) Dans le cadre du renforcement d’une équipe Data, nous recherchons un Lead Tech Data Freelance pour intervenir sur des sujets de développement, industrialisation et accompagnement technique autour des plateformes et traitements Data. 📍 Mission : Freelance 📅 Démarrage : ASAP 🏠 Mode d’intervention : Hybride / à définir 👤 Séniorité : Lead / Senior 🎯 Vos missions 🔹 Développer et maintenir des applications et traitements orientés Data en Python 🔹 Concevoir et maintenir des API , dashboards et pipelines de données 🔹 Participer à l’industrialisation des projets et à l’amélioration continue 🔹 Garantir la qualité logicielle : • Revues de code • Diffusion des bonnes pratiques • Accompagnement des équipes 🔹 Assurer le cadrage technique et accompagner les projets 🔹 Collaborer avec les équipes transverses et les Product Owners 🔹 Réaliser des études et analyses Data 🛠 Stack technique Python : FastAPI, Dash, Pandas, packaging, PyTest, parallélisation Data / Big Data : Spark (PySpark / Scala), Hadoop BDD : SQL, PostgreSQL, Teradata Outils : Git, GitLab CI/CD, Jira, Confluence, Bitbucket

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé / senior : Participer à la définition de l'architecture Data Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Astrelya est un cabinet de conseil franco‑suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre mission : En tant que Data Engineer Databricks vous participez à la définition de l’architecture de la data platform et du Datawarehouse/Data Lake. Concevoir et développer des nouvelles fonctionnalités sur des applications hébergées par les plateformes Data. Développer et maintenir des pipelines de données performants (batch & streaming) et participer à toutes les étapes de traitement des données du niveau bronze au niveau gold. Garantir la sécurité, la robustesse et la fiabilité des pipeline de données en veillant aux enjeux de performance, d’accessibilité et d’intégrité des données. Contribuer à l’implémentation d’un Data Lab pour accélérer les usages Data & IA. Mettre en place et industrialiser des chaines CI/CD. Participer aux mises en production et au support en cas d’incident majeur. Travailler aux côtés de Data Product Owner, Data Architect et de BI & Analytics Engineer. Participer aux cérémonies agiles organisées par la squad : daily, sprint planning, sprint review, sprint rétrospective Effectuer une veille technologique continue sur de nouvelles solutions et tendances Data.

Nous recrutons un·e Data Analyst Opérations & Maintenance (Paris) Dans le cadre d’un projet stratégique au sein d’un grand groupe industriel international, nous renforçons notre pôle Data & IA et recherchons un Data Analyst O&M capable de valoriser des données issues de réseaux industriels complexes (IoT, supervision, maintenance, signalisation…). 🎯 Votre mission : transformer des données opérationnelles en insights concrets pour améliorer la performance, la supervision des actifs, la sécurité et la sobriété énergétique. Vous interviendrez sur la conception de tableaux de bord (Qlik) , l’ analyse de données , la qualité , la documentation , et la collaboration avec les équipes métiers dans un environnement international. 🔍 Vos responsabilités Recueillir et prioriser les besoins métiers avec les PO, CSM et équipes opérationnelles. Explorer, auditer et qualifier les données issues des systèmes industriels. Concevoir et développer des tableaux de bord (Qlik principalement). Standardiser et rationaliser les modèles de données avec les Data Managers. Documenter les règles de gestion et maintenir le dictionnaire de données. Réaliser les recettes fonctionnelles et mettre en place des plans de tests data.

Dans le cadre de son plan de transformation Data, le groupe poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing Pour répondre à cet enjeu, le groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle. La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel. Description du poste : Notre environnement de travail combine rigueur, une ambiance décontractée au sein des équipes, et des méthodes Agiles (Scrum et Kanban). Votre mission principale, si vous l'acceptez, consistera à intervenir sur des architectures de Streaming Data et IA full AWS (notamment Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB, etc.), ainsi que sur des technologies comme Scala, Spark, SQL, Snowflake, GitLab CI/CD, DBT, Airflow, Terraform. Vous serez amené à : Concevoir et développer des pipelines de données performants Développer en utilisant des outils tels que Scala, DBT et Spark Implémenter des architectures de Streaming Data robustes Contribuer activement aux initiatives FinOps Développer et optimiser des traitements d'intégration de données en streaming Rejoignez une équipe dynamique où innovation et expertise se rencontrent !

- Intervenir sur l'intégration, le déploiement et la mise en production d'applications au sein d'environnements techniques complexes reposant sur Linux, Windows et Solaris, - Assurer l'installation, la configuration et la validation des composants applicatifs et middleware tels qu'Apache, JBoss, Tomcat, etc, - Participer aux projets d'évolution des infrastructures virtualisées VMware et des plateformes de stockage et de bases de données (Oracle, SQL Server, MongoDB, MariaDB, Exadata), - Accompagner les équipes projets lors des phases de Build to Run afin de garantir une transition fluide vers les équipes d'exploitation, - Automatiser les tâches récurrentes et les processus de déploiement dans une logique d'industrialisation, de standardisation et de fiabilisation des livraisons, - Contribuer au maintien en condition opérationnelle des solutions en assurant le suivi des traitements d'ordonnancement, de supervision et de sauvegarde à travers des outils tels que Control-M, Centreon et NetBackup, - Participer aux phases de recette technique, de validation de service régulier (VSR) et aux opérations post-déploiement, - Produire et maintenir les documentations d'exploitation, les procédures techniques et les dossiers de mise en production. - Être force de proposition dans l'amélioration continue des processus de production, d'intégration et d'exploitation en s'appuyant sur les bonnes pratiques du marché, - Participer au déploiement et à l'administration des outils techniques de l'écosystème de production tels que BSA, Trend Micro, les solutions EDR ainsi que les infrastructures de sauvegarde DXi et Scalar. ENVIRONNEMENT TECHNIQUE : Systèmes : Linux, Windows, Solaris Bases de données : Oracle, SQL Server, MongoDB, MariaDB Infrastructures & virtualisation : VMware, Exadata, OPCA, stockage Hitachi Middleware & sécurité : Apache, JBoss, Tomcat, SiteMinder, Keycloak, EDR Ordonnancement / supervision : Control-M, Centreon Sauvegarde : NetBackup (DXi, Scalar)