Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Nous recherchons un Architecte Data GCP senior pour accompagner une grande organisation française dans la structuration et l’évolution de sa Data Platform au sein d’équipes pluridisciplinaires (Data Engineers, Data Scientists, Product Owners, équipes techniques transverses…). Vos missions En tant qu’Architecte Data, vous interviendrez sur un périmètre stratégique incluant : Architecture Data Garantir la cohérence et la standardisation de la stack technique entre les différentes équipes. Auditer l’architecture existante et proposer des améliorations structurantes. Définir les contrats d’interface entre les équipes (data products / data mesh). Participer à l’introduction et aux tests de nouvelles technologies. Veille technologique continue sur les solutions Cloud & Data. Developer Experience Contribuer à la rédaction et à l’industrialisation de modules Terraform / Terragrunt. Accompagner les équipes dans la montée en compétence sur l’Infrastructure as Code. Définir les standards CI/CD applicables à l’ensemble des équipes Data. FinOps Suivi et contrôle du budget Data (multi-équipes). Mise en place d’outils de monitoring, alerting et optimisation des ressources. Identification et priorisation des optimisations de coûts Cloud.

Le Data Engineer est un développeur au sein de l’équipe Engineering Open Big Data du Département Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning. Ce déparetement est dédié au service de notre client et de ses équipes (Data office, Tribus data, Business, Transformation Office etc.), afin de fournir, en collaboration avec le Data Office, les plateformes (RPA, BI, Data, …) et les données nécessaires aux équipes chargées de délivrer les cas d’usages, puis les déployer et les maintenir en conditions opérationnelles.

Dans le cadre du renforcement de sa Data Platform , l’un de nos clients grands comptes recherche un Architecte Data confirmé à senior pour accompagner ses équipes Data et garantir la cohérence, la performance et la scalabilité de l’architecture globale. Architecte Data – Environnement Cloud GCP Votre rôle Intégré(e) aux équipes Data (Product Owners, Data Engineers, Data Scientists…), vous interviendrez en accompagnement transverse sur l’architecture de la plateforme Data et des dispositifs associés. Vos principales responsabilités : Définir et garantir la cohérence de la stack technique Data Assurer le respect des normes et standards d’architecture Mettre en place et sécuriser les contrats d’interface entre équipes Auditer l’architecture existante et proposer des axes d’amélioration Réaliser une veille technologique et contribuer à l’introduction de nouvelles solutions Participer aux tests et à l’intégration de nouvelles technologies 🛠️ Developer Experience & FinOps Contribution à l’écriture de modules Terraform / Terragrunt Accompagnement des équipes sur l’ Infrastructure as Code et la CI/CD Définition des standards de développement et de déploiement Mise en place du suivi budgétaire par équipe (FinOps) Implémentation des outils de monitoring, alertes et seuils Identification et priorisation des optimisations de coûts Compétences recherchées 3 ans minimum d’expérience en tant qu’ Architecte Data Solide expertise en architecture Data & Cloud Excellente maîtrise des bonnes pratiques d’architecture Expérience en sécurisation des applications Cloud Environnement Google Cloud Platform (GCP) Maîtrise de BigQuery , Cloud Composer (Airflow) , Dataplex Langages Python et SQL Expérience avec Spark Expérience avec dbt Maîtrise de Terraform et Terragrunt

Missions : • Collecter, analyser et formaliser sous forme de spécifications les besoins fonctionnels et/ou techniques et définir les tests d’acceptances. • Participer au découpage sous forme de ticket JIRA avec les développeurs et compléter leur rédaction (pendant les phases de préparation de PI, ou pendant le PI planning). • Tester les développements, et qualifier les releases. Dans ce cadre, définir la stratégie de tests, formaliser les cahiers de recette et réaliser les tests fonctionnels afin de garantir la bonne adéquation des solutions développées avec les exigences client d’une part et garantir la sécurité et la stabilité des solutions déployées d’autre part. Organiser et assurer la communication avec les différents partenaires (Front, Risques) • Participer à la production des livrables liées aux releases : release note, document d’homologation, documentation fonctionnelle, etc • Maitriser et faire évoluer les outils d’analyses (basés sur PowerBI, Python). • Assurer le support de production, en particulier sur les analyses fonctionnelles. Créer les tickets JIRA associé lorsque des correctifs sont nécessaires. • Participer aux différents rituels Agile.

I. Contexte : Notre client connaît une forte croissance (+1,5 million de clients en un an) et renforce l’équipe Architecture Système/Réseaux (10 personnes) pour assurer la gestion et l’évolution de son infrastructure critique. L’environnement technique est 100% Linux, avec une architecture complexe : · Réseau : 2400 VM, 5-6 Data Centers, 100 applications Open Source · Datalakes : 2 PetaOctets de données · Organisation : Pas de PO, Scrum Master ni DevOps ; 4 équipes de développement (~30 projets) · Répartition des activités : o 1/3 MCO o 1/3 Obsolescence o 1/3 Build / Industrialisation II. Missions : Objectifs de la mission · Assurer la maintenance en conditions opérationnelles (Run 40%) et contribuer à la conception et industrialisation des infrastructures. · Participer à la mise en place d’un socle commun de provisioning, avec un focus sur Data et Sécurité. · Interagir avec les équipes BI pour les besoins de reporting réglementaire et autres. Enjeux techniques · Axes de conception : o Scalabilité o Résilience (site internet = point de contact unique) o Sécurité (chiffrement avancé, PKI, certificats) · Technologies & outils : o Système : Linux o Réseaux : TCP/IP niveau 2, HTTP, SNTP, DNS, zones, reverse proxy o Sécurité : PKI, certificats, chiffrement asymétrique o Containers & IaC : Kubernetes, Ansible (usage limité), Puppet, Terraform o Big Data : Hadoop, Spark, Cassandra, Zeppeli o Autres outils : Kafka, Cognos, Docker, Elasticsearch o Machine Learning : détection de fraude en temps réel · Cloud : utilisation très marginale (Infra as Code majoritairement on-premise)

- Participer à la définition de l’architecture Data avec les architectes et la Squad - Concevoir, affiner et développer des solutions de collecte et de stockage multi-sources (batch et streaming) pour les usages métiers - Mettre en œuvre des tests unitaires et automatisés - Déployer le produit sur les différents environnements - Assurer le bon fonctionnement en production : suivi, assistance, gestion des incidents - Contribuer à l’amélioration continue et à la qualité du code //////////----------))))))))))

Dans le cadre des travaux à réaliser, nous recherchons un profil Data Engineer confirmé : Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Concevoir, Affiner et Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Lead dev python / spark à Paris Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Besoin d'une expertise en développement python / spark Intervention au sein d'une petite équipe sur une plateforme d’hypervision de services. Il s'agit d'un projet data novateur Localisation Paris IM 2 jours de TT par semaine Goals and deliverables Apporter une expertise en développement python + spark / pyspark Développer personnellement Intervenir sur des opérations exceptionnelles : Profil senior, capable par exemple d’intervenir quand une plateforme swape, d’organiser et de structurer des upgrades de versions (ex : spark 3 vers spark 4) Etre source de conseil Expected skills PYSPARK Confirmed POSTGRESQL Advanced LINUX Confirmed GIT Confirmed Programmation Python Expert ANGULAR Advanced Spark Streaming Expert

Nous recherchons un Lead Data Engineer / Data Engineer Senior pour renforcer une équipe data travaillant sur une plateforme moderne Azure / Databricks . Votre rôle : concevoir, industrialiser et optimiser des pipelines Big Data, tout en jouant un rôle de référent technique auprès de l’équipe. Compétences indispensables Big Data : Spark, Databricks Ingestion / Streaming : Kafka, Apache NiFi Cloud : Microsoft Azure Langages : Scala ou Java + Python + SQL Orchestration : Airflow CI/CD & DevOps : Azure DevOps, Git Compétences appréciées Dataiku Ansible Connaissance Data Lake / architectures medallion Vos missions Concevoir et industrialiser des pipelines Big Data (batch & streaming). Développer des flux d’ingestion avec NiFi, Kafka, Spark. Optimiser performance, qualité et scalabilité. Participer à l’architecture et aux choix techniques. Encadrer techniquement l’équipe (guidelines, bonnes pratiques, code review). Contribuer aux automatisations et à l’orchestration (Airflow, Ansible, DevOps).