Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Nous recherchons un Architecte Data GCP senior pour accompagner une grande organisation française dans la structuration et l’évolution de sa Data Platform au sein d’équipes pluridisciplinaires (Data Engineers, Data Scientists, Product Owners, équipes techniques transverses…). Vos missions En tant qu’Architecte Data, vous interviendrez sur un périmètre stratégique incluant : Architecture Data Garantir la cohérence et la standardisation de la stack technique entre les différentes équipes. Auditer l’architecture existante et proposer des améliorations structurantes. Définir les contrats d’interface entre les équipes (data products / data mesh). Participer à l’introduction et aux tests de nouvelles technologies. Veille technologique continue sur les solutions Cloud & Data. Developer Experience Contribuer à la rédaction et à l’industrialisation de modules Terraform / Terragrunt. Accompagner les équipes dans la montée en compétence sur l’Infrastructure as Code. Définir les standards CI/CD applicables à l’ensemble des équipes Data. FinOps Suivi et contrôle du budget Data (multi-équipes). Mise en place d’outils de monitoring, alerting et optimisation des ressources. Identification et priorisation des optimisations de coûts Cloud.

Le Data Engineer est un développeur au sein de l’équipe Engineering Open Big Data du Département Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning. Ce déparetement est dédié au service de notre client et de ses équipes (Data office, Tribus data, Business, Transformation Office etc.), afin de fournir, en collaboration avec le Data Office, les plateformes (RPA, BI, Data, …) et les données nécessaires aux équipes chargées de délivrer les cas d’usages, puis les déployer et les maintenir en conditions opérationnelles.

Missions : • Collecter, analyser et formaliser sous forme de spécifications les besoins fonctionnels et/ou techniques et définir les tests d’acceptances. • Participer au découpage sous forme de ticket JIRA avec les développeurs et compléter leur rédaction (pendant les phases de préparation de PI, ou pendant le PI planning). • Tester les développements, et qualifier les releases. Dans ce cadre, définir la stratégie de tests, formaliser les cahiers de recette et réaliser les tests fonctionnels afin de garantir la bonne adéquation des solutions développées avec les exigences client d’une part et garantir la sécurité et la stabilité des solutions déployées d’autre part. Organiser et assurer la communication avec les différents partenaires (Front, Risques) • Participer à la production des livrables liées aux releases : release note, document d’homologation, documentation fonctionnelle, etc • Maitriser et faire évoluer les outils d’analyses (basés sur PowerBI, Python). • Assurer le support de production, en particulier sur les analyses fonctionnelles. Créer les tickets JIRA associé lorsque des correctifs sont nécessaires. • Participer aux différents rituels Agile.

- Participer à la définition de l’architecture Data avec les architectes et la Squad - Concevoir, affiner et développer des solutions de collecte et de stockage multi-sources (batch et streaming) pour les usages métiers - Mettre en œuvre des tests unitaires et automatisés - Déployer le produit sur les différents environnements - Assurer le bon fonctionnement en production : suivi, assistance, gestion des incidents - Contribuer à l’amélioration continue et à la qualité du code //////////----------))))))))))

I. Contexte : Notre client connaît une forte croissance (+1,5 million de clients en un an) et renforce l’équipe Architecture Système/Réseaux (10 personnes) pour assurer la gestion et l’évolution de son infrastructure critique. L’environnement technique est 100% Linux, avec une architecture complexe : · Réseau : 2400 VM, 5-6 Data Centers, 100 applications Open Source · Datalakes : 2 PetaOctets de données · Organisation : Pas de PO, Scrum Master ni DevOps ; 4 équipes de développement (~30 projets) · Répartition des activités : o 1/3 MCO o 1/3 Obsolescence o 1/3 Build / Industrialisation II. Missions : Objectifs de la mission · Assurer la maintenance en conditions opérationnelles (Run 40%) et contribuer à la conception et industrialisation des infrastructures. · Participer à la mise en place d’un socle commun de provisioning, avec un focus sur Data et Sécurité. · Interagir avec les équipes BI pour les besoins de reporting réglementaire et autres. Enjeux techniques · Axes de conception : o Scalabilité o Résilience (site internet = point de contact unique) o Sécurité (chiffrement avancé, PKI, certificats) · Technologies & outils : o Système : Linux o Réseaux : TCP/IP niveau 2, HTTP, SNTP, DNS, zones, reverse proxy o Sécurité : PKI, certificats, chiffrement asymétrique o Containers & IaC : Kubernetes, Ansible (usage limité), Puppet, Terraform o Big Data : Hadoop, Spark, Cassandra, Zeppeli o Autres outils : Kafka, Cognos, Docker, Elasticsearch o Machine Learning : détection de fraude en temps réel · Cloud : utilisation très marginale (Infra as Code majoritairement on-premise)

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé : Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Lead dev python / spark à Paris Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Besoin d'une expertise en développement python / spark Intervention au sein d'une petite équipe sur une plateforme d’hypervision de services. Il s'agit d'un projet data novateur Localisation Paris IM 2 jours de TT par semaine Goals and deliverables Apporter une expertise en développement python + spark / pyspark Développer personnellement Intervenir sur des opérations exceptionnelles : Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Etre source de conseil Expected skills PYSPARK Confirmed POSTGRESQL Advanced LINUX Confirmed GIT Confirmed Programmation Python Expert ANGULAR Advanced Spark Streaming Expert

Nous recherchons un Lead Data Engineer / Data Engineer Senior pour renforcer une équipe data travaillant sur une plateforme moderne Azure / Databricks . Votre rôle : concevoir, industrialiser et optimiser des pipelines Big Data, tout en jouant un rôle de référent technique auprès de l’équipe. Compétences indispensables Big Data : Spark, Databricks Ingestion / Streaming : Kafka, Apache NiFi Cloud : Microsoft Azure Langages : Scala ou Java + Python + SQL Orchestration : Airflow CI/CD & DevOps : Azure DevOps, Git Compétences appréciées Dataiku Ansible Connaissance Data Lake / architectures medallion Vos missions Concevoir et industrialiser des pipelines Big Data (batch & streaming). Développer des flux d’ingestion avec NiFi, Kafka, Spark. Optimiser performance, qualité et scalabilité. Participer à l’architecture et aux choix techniques. Encadrer techniquement l’équipe (guidelines, bonnes pratiques, code review). Contribuer aux automatisations et à l’orchestration (Airflow, Ansible, DevOps).

Ta mission : construire, optimiser et maintenir des pipelines data temps réel Nous recherchons un·e Data Engineer expérimenté·e pour rejoindre une équipe de 3 développeur·se·s , intégrée à un pôle Data plus large. Tu participeras à la création et l’évolution de traitements data critiques, à forte volumétrie et nécessitant de fortes exigences de performance. Tes responsabilités principales ⚙️ Développement & optimisation Concevoir, développer et améliorer des pipelines Spark (batch et streaming). Implémenter des évolutions fonctionnelles et correctifs sur les traitements existants. Développer des composants backend en Java pour la gestion et l’orchestration des flux. Travailler sur des architectures data temps réel , à haute disponibilité et haute performance. ️ Gestion et exploitation de données Manipuler des données en environnement MongoDB , optimiser les schémas et requêtes. Mettre en place les bonnes pratiques en matière de modélisation et de performance. Intégrer des données issues de multiples sources (streams, APIs, systèmes internes…). Qualité, sécurité et fiabilité Participer à la mise en place de tests unitaires , tests d’intégration et tests de performance . Contribuer à la sécurisation des flux et à la robustesse globale des traitements. Documenter les pipelines, services et composants développés. Collaboration et méthodologie Travailler en étroite relation avec les équipes Data, Infra et Développement. Participer aux cérémonies Agile/Scrum du collectif élargi. Être force de proposition sur l’amélioration continue des outils, process et architecture

Pour le besoin de mon client basé à Aix/Marseille ,je suis à la recherche d'un Data Architect SSOT / Real-Time Missions Architecture & Design Définir l’architecture globale de la Single Source of Truth et de ses trois composantes (Access, Knowledge, Trust). Concevoir et documenter les modèles de données et les cadres d’architecture alignés avec les standards du groupe. Définir les points d’interaction avec les solutions du Groupe, et recommander des fusions si nécessaire. Intégrer des capacités temps réel et streaming (event-driven architecture) dans la conception globale.Compétences Techniques Solide connaissance des architectures data et cloud (Snowflake, modélisation de données, Semarchy ou équivalent). Bonne compréhension des solutions de catalogage et de qualité de données. Expérience avec des architectures temps réel et streaming (Kafka, Spark, frameworks de streaming). Bonne compréhension du MDM (Master Data Management). Sensibilité aux standards de gouvernance, conformité et sécurité. Fonctionnelles et interpersonnelles