Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming à Paris

Expert en systèmes distribués, votre mission est de concevoir, déployer et administrer les clusters Apache Kafka au cœur de l'échange de données en temps réel de la banque. Vous intervenez sur la configuration fine des brokers, la gestion des topics, des schémas (Schema Registry) et des partitions pour garantir une haute disponibilité et une tolérance aux pannes maximale. Vous accompagnez les équipes de développement dans l'implémentation des producteurs et consommateurs, ainsi que dans l'utilisation de Kafka Streams ou ksqlDB pour le traitement de flux. Vous assurez le monitoring proactif des performances (latence, débit), la sécurité des flux (SSL/SASL/ACLs) et le troubleshooting complexe en environnement de production critique. Vous êtes le référent sur les stratégies d'archivage et de réplication inter-sites.

TEKsystems recherche pour le compte de son client dans le secteur de l'assurance : Un data engineer Spark/ JAVA (H/F) Missions : La mission sera focalisée sur le déclaratif FICOVIE dans un premier temps puis pourra s'élargir aux autres déclaratifs. Contexte: Réalisation des projets Data et de MCO des patrimoines applicatifs Data du Groupe. Cette prestation s'inscrit dans la squad « Restitution Règlementaires » qui a en charge la constitution des déclaratifs à destination des organismes de tutelle Les principaux déclaratifs concernés sont les suivants : • FICOVIE • EAI / FATCA • IER • ECKERT •AGIRA / RNIPP Les déclaratifs sont constitués à partir de 2 sources : Décisionnel et Plateforme Data en big Data. La mission sera focalisée sur le déclaratif FICOVIE dans un premier temps puis pourra s'élargir aux autres déclaratifs.

En tant que Data Engineer, vous serez responsable de : Conception & Développement (Big Data / Java / Spark) – 40% Développer et optimiser des traitements Big Data en Java et Spark. Créer, maintenir et améliorer des pipelines de données robustes et scalables. Assurer la qualité, la performance et la fiabilité des traitements batch et streaming. Cloud Engineering – GCP (DataProc / Workflows / Cloud Run) – 30% Concevoir et maintenir des solutions data sur GCP. Déployer et orchestrer les traitements via DataProc, Workflows et Cloud Run. Optimiser les coûts, la sécurité et les performances des environnements GCP. Data Warehousing – BigQuery – 15% Modéliser, structurer et optimiser les tables BigQuery. Mettre en place des requêtes performantes et adaptées aux usages analytiques. Assurer la gouvernance et la qualité des données. Systèmes & DevOps – 5% Intervenir sur des environnements Linux. Contribuer au monitoring et à l’amélioration continue des systèmes. Outils complémentaires – 10% Participer à l'infrastructure-as-code via Terraform. Déployer et automatiser via GitHub Actions. Contribuer aux bonnes pratiques CI/CD.

Dans le cadre du plan de transformation DATA de notre Client, notre client développe des applications et plateformes DATA pour rendre nos métiers (pilotage, marketing, commerce, etc.) autonomes dans l’analyse de leurs données et KPI. Les infrastructures et projets incluent : AWS, GitLab, Terraform, DBT, Snowflake, Python, Scala, Spark, PowerBI, AI/GenAI Architectures Big Data sophistiquées pour ingérer plus de 100 par jour (Datalake, Event-Driven, Streaming, etc.) Exemples de projets : Chatbot AI Socle vidéo, navigation et calcul des audiences Recommandation de programmes via IA Feature Store et modernisation des flux financiers Plateformes CRM et partage de données partenaires Kubernetes et applications de data self-service Missions En tant que Data Engineer , vous serez en charge de : Concevoir, développer et maintenir des pipelines de données scalables et performants (ingestion, traitement et stockage de données massives). Développer des architectures Big Data sur AWS (S3, EMR, Lambda, Kinesis, Batch…), Snowflake et Spark. Développer en Scala et Python pour le traitement massif des données. Automatiser les workflows et orchestrer les pipelines avec Airflow et DBT . Concevoir et exposer des APIs customer-facing performantes. Optimiser les performances et garantir la scalabilité pour gérer un volume important d’utilisateurs. Collaborer avec les équipes Data Science, Produit et DevOps pour une intégration fluide.

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données