Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Client : TRANSPORT Poste : Consultant Système Vidéoprotection Expérience : +10 ans Localisation : Noisy le Grand Démarrage : ASAP Objectifs/Descriptif de mission : L’équipe Sûreté et Services Vidéo a en charge la conception, l’ingénierie de maintenance et pérenne : - des logiciels de supervision de la Sureté hébergés en Datacenter - du service vidéoprotection et de ses constituants : solutions type Vidéo Management System (Milestone dans le cas présent), des services d’infrastructures associées, d’applications clientes, d’équipements Vidéo (caméras, décodeurs). L’ensemble repose sur une infrastructure dédiée et utilise des protocoles réseaux spécifiques type Multicast. Avec 12 000 caméras déployées et 2,3 Po de données stockées, le service de vidéoprotection du client est un des plus importants d’Europe. Activités d’architecture Systèmes industriels Activités menées au niveau Système Vidéo : o Définir les architectures de référence vidéo et veiller à ce que les principes d’ingénieries génériques soient déclinés pour l’ensemble des projets, o Maintenir et alimenter un référentiel d’architecture (ex : architecture de référence, méthodologie de conception, roadmaps, notes de cadrage stratégiques, standards techniques, etc…), o Piloter ou contribuer à la définition ou mise à jour de schémas directeurs pour les services de communication de TSI, o Contribuer à des programmes de gestion d’obsolescence du système Vidéo, o Réaliser des études de cadrage en amont des projets et le cas échéant mener des études de marchés, o Réaliser des études technico-économiques sur des sujets innovants et le cas échéant piloter des POC (« Proof of concept »), o Réaliser de la veille technologique en cohérence avec les orientations stratégiques de l’entreprise et animer le partage d’informations au sein de l’organisation, o De manière ponctuelle, rédiger ou contribuer à rédiger des dossiers de spécification générale. o Valider les cahiers de tests des produits / sous-systèmes et leurs cohérences vis-à-vis du système o Valider les stratégies de migration et de déploiement des produits / sous-systèmes et leurs cohérences vis-à-vis du système.

Dans le cadre de notre besoin, nous recherchons un profil hybride associant : Une expertise confirmée en développement mobile React Native, et une compétence en Data Engineering sur Azure / Databricks. La mission repose principalement sur la maintenance évolutive et corrective d’une application mobile développée en React Native. En fonction de la charge de travail sur la partie front, le consultant pourra également intervenir sur les traitements back/data, notamment sur les pipelines et notebooks Databricks sur le cloud Azure. Informations complémentaires : - Démarrage souhaité : ASAP - Conscients que ce type de profil hybride est rare, nous vous remercions de ne proposer que des candidats répondant strictement aux critères décrits dans la fiche de mission. - 3 jours obligatoire sur site ANALYSE : Participe à l'analyse fonctionnelle détaillée des besoins utilisateurs et peut être sollicité pour des ateliers de définition des spécifications générales Étudie les opportunités et la faisabilité technologique de l'application, réalise l'analyse technique, l'étude détaillée et contribue à l'estimation des charges CONCEPTION ET DÉVELOPPEMENT : Contribue au design du logiciel et des frameworks utilisés dans le cadre du projet Adapte et applique les paramètres techniques des progiciels ou des middlewares Réalise le prototypage Analyse et développe les composants en utilisant les langages appropriés Participe à la structuration des Bases de Données Participe à la revue croisée des développements de ses pairs Initialise le dossier d'exploitation Assemble les composants unitaires dans un package applicatif cohérent destiné au déploiement de la solution et l'intègre à la gestion de configuration Documente les applications pour les développements ultérieurs et la Mise en Production (MEP) Harmonise et industrialise l'ensemble des composants et applications Utilise les composants logiciels réutilisables et met à jour la nomenclature RECETTE UNITAIRE ET TESTS D'INTÉGRATION : Responsable des tests unitaires : élaboration des jeux d'essais et réalisation Teste, identifie et traite les dysfonctionnements éventuels du logiciel développé Vérifie la conformité de l'ouvrage avec la demande formulée Contribue à la préparation et à la réalisation des tests d'intégration Analyse les résultats et rédige le rapport de tests MAINTENANCE : Réalise les développements nécessaires à la maintenance corrective et évolutive Participe à l'analyse et à la résolution des incidents de production Compétences techniques : React Native - Expert - Impératif Databricks - Confirmé - Impératif Spark - Confirmé - Impératif SQL - Confirmé - Impératif

Expert en systèmes distribués, votre mission est de concevoir, déployer et administrer les clusters Apache Kafka au cœur de l'échange de données en temps réel de la banque. Vous intervenez sur la configuration fine des brokers, la gestion des topics, des schémas (Schema Registry) et des partitions pour garantir une haute disponibilité et une tolérance aux pannes maximale. Vous accompagnez les équipes de développement dans l'implémentation des producteurs et consommateurs, ainsi que dans l'utilisation de Kafka Streams ou ksqlDB pour le traitement de flux. Vous assurez le monitoring proactif des performances (latence, débit), la sécurité des flux (SSL/SASL/ACLs) et le troubleshooting complexe en environnement de production critique. Vous êtes le référent sur les stratégies d'archivage et de réplication inter-sites.

Le client engage un programme de transformation global (organisationnelle, SI et métier) visant à intégrer les systèmes d’information de deux entités afin de converger vers un SI unifié, désigné comme le SI cible. Dans ce cadre, la DSI du client veut se renforcer par un dispositif d'’Architecte d’Entreprise qui intervient en tant que garant de la cohérence globale de la transformation du SI et de son alignement continu avec la stratégie métier du groupe. Mission: Porter la vision cible du SI Groupe, Définir l’architecture cible (métier, fonctionnelle, applicative, solution), Proposer des scénarios de trajectoire et un état stable pluriannuel, Intégrer les feuilles de route existantes et les dépendances entre parties prenantes, Éclairer et sécuriser les décisions de gouvernance, Jouer un rôle de facilitateur et garantir la cohérence globale du SI. Activités principales • Effectuer un état des lieux sur les différences entre processus métier • Définir, faire valider et maintenir la vision cible du SI intégré. • Définir, faire valider et piloter les trajectoires de convergence des SI. La convergence vers le SI cible s’appuie sur une succession d’états intermédiaires stables, garantissant la continuité des activités, la maîtrise des risques et une création de valeur progressive tout au long de la transformation. • Garantir la cohérence globale des architectures métier, fonctionnelle, applicative, data et technique sur l’ensemble du programme. • Sécuriser les choix structurants et contribuer à la réduction des risques liés à la transformation. • Accompagner et conseiller les équipes projets dans la conception et la mise en œuvre des transformations. Exemples de livrables attendus • Référentiel des exigences et contraintes • Cible métier à l’issue de l’intégration • Définition du SI cible et des trajectoires • Stratégie de reprise et de migration des données • Trajectoire de convergence • Schémas et dossiers d’architecture • Notes de cadrage et d’aide à la décision

Context Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Mission * Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers * Mettre en œuvre les tests unitaires et automatisés * Déployer le produit dans les différents environnements * Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents * Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

TEKsystems recherche pour le compte de son client dans le secteur de l'assurance : Un data engineer Spark/ JAVA (H/F) Missions : La mission sera focalisée sur le déclaratif FICOVIE dans un premier temps puis pourra s'élargir aux autres déclaratifs. Contexte: Réalisation des projets Data et de MCO des patrimoines applicatifs Data du Groupe. Cette prestation s'inscrit dans la squad « Restitution Règlementaires » qui a en charge la constitution des déclaratifs à destination des organismes de tutelle Les principaux déclaratifs concernés sont les suivants : • FICOVIE • EAI / FATCA • IER • ECKERT •AGIRA / RNIPP Les déclaratifs sont constitués à partir de 2 sources : Décisionnel et Plateforme Data en big Data. La mission sera focalisée sur le déclaratif FICOVIE dans un premier temps puis pourra s'élargir aux autres déclaratifs.

ans le cadre d’un programme de transformation Data mené au sein d’une grande organisation, une équipe projet pluridisciplinaire travaille à la mise en place d’une nouvelle plateforme Data. Nous recherchons un Data Engineer senior disposant d’une expérience confirmée sur les traitements de données en Spark et Python , capable d’intervenir sur l’ensemble de la chaîne de valeur de la donnée. Responsabilités principales En tant que Data Engineer Senior, vous serez amené à : Concevoir, développer et faire évoluer des pipelines d’ingestion de données en batch et en temps réel Mettre en œuvre des traitements Data fiables, industrialisés et facilement observables Participer à la définition et à la construction d’une architecture Lakehouse moderne Assurer la qualité, la traçabilité et la cohérence des données tout au long de leur cycle de vie Contribuer aux démarches d’ industrialisation et d’automatisation (CI/CD, DataOps) Travailler en étroite collaboration avec les architectes Data, les équipes plateforme, les responsables produit et les métiers Appliquer les principes de sécurité by design et veiller au respect des exigences de conformité Produire la documentation technique et participer au partage de connaissances au sein des équipes

I. Contexte : Notre client connaît une forte croissance (+1,5 million de clients en un an) et renforce l’équipe Architecture Système/Réseaux (10 personnes) pour assurer la gestion et l’évolution de son infrastructure critique. L’environnement technique est 100% Linux, avec une architecture complexe : · Réseau : 2400 VM, 5-6 Data Centers, 100 applications Open Source · Datalakes : 2 PetaOctets de données · Organisation : Pas de PO, Scrum Master ni DevOps ; 4 équipes de développement (~30 projets) · Répartition des activités : o 1/3 MCO o 1/3 Obsolescence o 1/3 Build / Industrialisation II. Missions : Objectifs de la mission · Assurer la maintenance en conditions opérationnelles (Run 40%) et contribuer à la conception et industrialisation des infrastructures. · Participer à la mise en place d’un socle commun de provisioning, avec un focus sur Data et Sécurité. · Interagir avec les équipes BI pour les besoins de reporting réglementaire et autres. Enjeux techniques · Axes de conception : o Scalabilité o Résilience (site internet = point de contact unique) o Sécurité (chiffrement avancé, PKI, certificats) · Technologies & outils : o Système : Linux o Réseaux : TCP/IP niveau 2, HTTP, SNTP, DNS, zones, reverse proxy o Sécurité : PKI, certificats, chiffrement asymétrique o Containers & IaC : Kubernetes, Ansible (usage limité), Puppet, Terraform o Big Data : Hadoop, Spark, Cassandra, Zeppeli o Autres outils : Kafka, Cognos, Docker, Elasticsearch o Machine Learning : détection de fraude en temps réel · Cloud : utilisation très marginale (Infra as Code majoritairement on-premise)

En tant que Data Engineer, vous serez responsable de : Conception & Développement (Big Data / Java / Spark) – 40% Développer et optimiser des traitements Big Data en Java et Spark. Créer, maintenir et améliorer des pipelines de données robustes et scalables. Assurer la qualité, la performance et la fiabilité des traitements batch et streaming. Cloud Engineering – GCP (DataProc / Workflows / Cloud Run) – 30% Concevoir et maintenir des solutions data sur GCP. Déployer et orchestrer les traitements via DataProc, Workflows et Cloud Run. Optimiser les coûts, la sécurité et les performances des environnements GCP. Data Warehousing – BigQuery – 15% Modéliser, structurer et optimiser les tables BigQuery. Mettre en place des requêtes performantes et adaptées aux usages analytiques. Assurer la gouvernance et la qualité des données. Systèmes & DevOps – 5% Intervenir sur des environnements Linux. Contribuer au monitoring et à l’amélioration continue des systèmes. Outils complémentaires – 10% Participer à l'infrastructure-as-code via Terraform. Déployer et automatiser via GitHub Actions. Contribuer aux bonnes pratiques CI/CD.

Contexte de la mission La mission s'inscrit au sein du département Architecture d'un organisme majeur de la protection sociale. Nous recherchons un Architecte Technique Senior (15-25 ans d'expérience) pour rejoindre le pôle Accompagnement et Conformité. Le consultant aura pour responsabilité de faire évoluer l'architecture du SI pour répondre aux besoins utilisateurs tout en assurant l'interopérabilité des nouvelles solutions avec l'environnement existant. Il travaillera en étroite collaboration avec l'Architecture d'Entreprise (Urbanistes) et les équipes d'experts techniques (socles, systèmes, réseaux). Objectifs et livrables Objectifs principaux : La mission consiste principalement à accompagner les projets dans la définition de leur architecture technique en cohérence avec les politiques techniques de l'organisme. Détail des activités : Support aux projets (70% de l'activité) : Accompagner l'élaboration des Dossiers d'Architecture Technique (DAT), contribuer à l'instruction et aux revues d'architecture, et réaliser des études d'impact pour les nouvelles technologies. Démarche d'architecture et conformité : Définir des solutions techniques conformes aux standards et assurer la cohérence avec les briques de production (Gateway, Kubernetes, Middleware...). Collaboration et expertise : Valider les solutions avec les experts techniques et suivre les évolutions des socles. Transformation SI : Accompagner les transformations vers le Cloud et les projets BI / Big Data. Environnement technique : Socle applicatif : JAVA (JEE, Spring, Hibernate), API/SOA (REST, SOAP) Infrastructure & Cloud : Kubernetes, Openshift, Ansible, VMWare, Architecture Microservices. Data (Atout) : Big Data, Spark, Kafka, ELK. Bases de données : PostgreSQL, Oracle, Cassandra.

Dans le cadre du renforcement de sa Data Platform , l’un de nos clients grands comptes recherche un Architecte Data confirmé à senior pour accompagner ses équipes Data et garantir la cohérence, la performance et la scalabilité de l’architecture globale. Architecte Data – Environnement Cloud GCP Votre rôle Intégré(e) aux équipes Data (Product Owners, Data Engineers, Data Scientists…), vous interviendrez en accompagnement transverse sur l’architecture de la plateforme Data et des dispositifs associés. Vos principales responsabilités : Définir et garantir la cohérence de la stack technique Data Assurer le respect des normes et standards d’architecture Mettre en place et sécuriser les contrats d’interface entre équipes Auditer l’architecture existante et proposer des axes d’amélioration Réaliser une veille technologique et contribuer à l’introduction de nouvelles solutions Participer aux tests et à l’intégration de nouvelles technologies 🛠️ Developer Experience & FinOps Contribution à l’écriture de modules Terraform / Terragrunt Accompagnement des équipes sur l’ Infrastructure as Code et la CI/CD Définition des standards de développement et de déploiement Mise en place du suivi budgétaire par équipe (FinOps) Implémentation des outils de monitoring, alertes et seuils Identification et priorisation des optimisations de coûts Compétences recherchées 3 ans minimum d’expérience en tant qu’ Architecte Data Solide expertise en architecture Data & Cloud Excellente maîtrise des bonnes pratiques d’architecture Expérience en sécurisation des applications Cloud Environnement Google Cloud Platform (GCP) Maîtrise de BigQuery , Cloud Composer (Airflow) , Dataplex Langages Python et SQL Expérience avec Spark Expérience avec dbt Maîtrise de Terraform et Terragrunt

Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l’analyse de leurs données et KPI. Les infrastructures et projets incluent : AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI, AI/GenAI Architectures Big Data sophistiquées pour ingérer plus de 100 par jour (Datalake, Event-Driven, Streaming, etc.) Exemples de projets : Chatbot AI Socle vidéo, navigation et calcul des audiences Recommandation de programmes via IA Feature Store et modernisation des flux financiers Plateformes CRM et partage de données partenaires Kubernetes et applications de data self-service Missions En tant que Data Engineer , vous serez en charge de : Concevoir, développer et maintenir des pipelines de données scalables et performants (ingestion, traitement et stockage de données massives). Développer des architectures Big Data sur AWS (S3, EMR, Lambda, Kinesis, Batch…), Snowflake et Spark. Développer en Scala et Python pour le traitement massif des données. Automatiser les workflows et orchestrer les pipelines avec Airflow et DBT . Concevoir et exposer des APIs customer-facing performantes. Optimiser les performances et garantir la scalabilité pour gérer un volume important d’utilisateurs. Collaborer avec les équipes Data Science, Produit et DevOps pour une intégration fluide.

Contexte Dans le cadre du renforcement d’une équipe SRE / Plateforme Cloud au sein d’un environnement complexe et critique, nous recherchons un Expert Cloud DevOps / Architecte Kubernetes & OpenShift . Le consultant interviendra sur la conception, l’industrialisation et la sécurisation de plateformes cloud natives, orientées microservices, data et haute disponibilité . Missions principales Architecture & Design Définir et valider l’architecture Cloud & Kubernetes en tant que Design Authority Élaborer les HLD (High Level Design) et LLD (Low Level Design) Concevoir l’architecture centrale et les standards de la plateforme Participer aux choix technologiques et aux roadmaps techniques Cloud & Conteneurisation Déployer et maintenir des clusters Kubernetes (AKS, EKS, OpenShift, Rancher) Expertise Red Hat OpenShift Mise en œuvre de plateformes cloud sur Azure (AKS) et AWS (EKS) Gestion des environnements hybrides / on-premise et data centers virtualisés DevOps & Automatisation Mise en place des pipelines CI/CD Automatisation des déploiements et de l’infrastructure (IaC) Accompagnement des équipes de développement sur les bonnes pratiques DevOps Sécurité & Réseau Sécurisation des plateformes Kubernetes et Cloud Gestion des secrets et identités ( HashiCorp Vault ) Architecture réseau, segmentation, politiques de sécurité Conformité, durcissement et bonnes pratiques sécurité cloud Data & Streaming Conception et intégration de Data Platforms Mise en œuvre de solutions de streaming et de data flow : Apache Kafka Apache NiFi Intégration avec des workloads data, IA et ML ( TensorFlow ) Microservices & Observabilité Architecture et exploitation d’architectures microservices Supervision, monitoring et gestion de la performance Haute disponibilité et résilience des plateformes FinOps Pilotage des coûts Cloud Optimisation des ressources et mise en place de bonnes pratiques FinOps

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données

Les missions sont : Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Dans le cadre de la création d’une nouvelle plateforme Data , le Data Engineer Senior intervient sur l’ensemble du cycle de vie de la donnée . Il conçoit, développe et maintient des pipelines de données batch et streaming en Spark et Python , contribue à la mise en place d’une architecture Lakehouse moderne , et garantit la qualité, la fiabilité et la sécurité des données . Le rôle inclut l’ industrialisation des traitements (CI/CD, DataOps), l’observabilité, la documentation et une forte collaboration avec les équipes techniques et métiers.