Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation d’un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Ingénieur de production (H/F) 🚀 💰 Votre mission est pour un client reconnu dans le secteur bancaire, implanté dans de nombreuses villes en France, il a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. 💳 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Mettre en œuvre des solutions techniques. 🔸 Réaliser des diagnostics pour identifier les causes de dysfonctionnement, proposer et mettre en œuvre des corrections et des solutions de "back-up". 🔸 Proposer des solutions pour améliorer les performances de son domaine d'activité. 🔸 Assurer, si nécessaire, l'interface des experts des autres domaines et gère les échanges avec les sous-traitants. 🔸 Définir les règles de bonne gestion des systèmes d'exploitation. 🔸 Concevoir si nécessaire les normes et les règles de bonne gestion et vérifier systématiquement leur application (sécurité informatique, qualité?). 🔸 Assurer la mise à niveau, l'assemblage, la cohérence et l'homologation des différents logiciels (progiciels, base de données, développements spécifiques) dans le respect de l'architecture retenue. 🔸 Prendre en charge l'intégration de nouvelles applications ou de progiciels (transactionnel et/ou batch) dans le respect des normes et procédures en vigueur 🔸 Effectuer la réception, la validation et le packaging des composants. 🔸 Installer et met à disposition des composants. 🔸 Réaliser la recette technique et l'homologation des composants / applications. 🔸 Participer à l'amélioration des processus et des outils d'industrialisation et de déploiement. 🔸 Travailler en relation étroite et permanente avec les équipes Etudes, Infrastructures et Sécurité. 🔸 Spécificités pour les tests techniques. 🔸 Prise de connaissance du changement et de son contexte technique. 🔸 Compléter le plan de tests proposé. 🔸 Préparer les infrastructures de tests. 🔸 Valider les documents et les procédures à destination de la production. 🔸 Réaliser les différents tests techniques. 🔸 Analyser les résultats. 🔸 Contribuer au diagnostic en cas de dysfonctionnement. 🔸 Rédiger les rapports détaillés qui aideront à la décision du GO/NOGO pour la mise en production. 🔸 Constituer ou met à jour le patrimoine de tests réutilisable pour les intégrations ultérieures. 🔸 Effectuer le reporting vers le Responsable Intégration. 🔸 Contribuer à l'amélioration continue. 🔸 Industrialiser les tests techniques récurrents (automatisation, outillage).

Responsabilités principales : Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Outils : KAFKA toolset Programmation et scripting (Java, PL/SQL, SQL, Unix, etc) Job Scheduling / Ordonnanceur (OpCon) Database (SQL Server) Gestion de la demande et service incident (JIRA / SNOW)

Notre client dans le sectuer du Retail recherche un Sycteme Architecte Kafka pour une mission freelance de Longue duree (12 mois) . Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance... Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle

Pour l'un de nos clients finaux sur Paris, nous sommes à la recherche d'un Système Architecte Kafka confluent Cloud. Démarrage dès que possible pour long terme. En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle. Maîtrise des langages de programmation tels que Java, Scala ou Python. Connaissance approfondie des pratiques de sécurité des données et des architectures microservices. Excellentes compétences en communication, en présentation et en leadership. Ce rôle implique : L'accompagnement des équipes clientes IT dans la mise en œuvre des solutions liées à Kafka L’encadrement d’équipes techniques sur les projets L’accompagnement de nos équipes sur leur montée en compétences L’écriture des spécifications techniques en amont de la réalisation La validation des chiffrage projets Gestion de back log utilisant la méthode adaptée Le travail en étroite collaboration avec l’équipe IT Métier pour délivrer les projets selon les priorités stratégiques partagée Et, surtout, et créer un cadre de travail harmonieux et valoriser le travail des équipes de développements pour fédérer les meilleurs talents

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

la Prestation consiste à contribuer à/au(x) :  Gestion de l’intégration des données dans le DataLake Azure  Analyse des données et croisement de ces dernières  Analyse des restitutions responsives et mise en avant de la valeur-ajouté des données  Support de la solution et ses composants Environnement technique Expertises : - Java - Spark - Kubernetes - MS Azure - Kafka - Microsoft PowerBI - Cosmos DB - PosgreSQL Les livrables attendus sont : - Spécifications techniques générales et détaillées - Code - PV de tests - Support aux UATs (User Acceptance Tests) - Package de livraison - Gestion des releases et documentations associées - Assistance aux utilisateurs et/ou support

Contexte Objectif global : Accompagner les équipes dans le cadre du projet Obsolescence du département Paiement Description détaillée : L'objectif est d'intégrer rapidement les équipes pour les aider/soulager dans le suivi des actions pour remédier l'obsolescence du périmètre. Il sera impératif d'établir des plannings de remédiation et les suivre, remonter les alertes et points de blocage, et d'assurer les échanges entre Spécificités pour les tests techniques : - Prise de connaissance du changement et de son contexte technique - Complète le plan de tests proposé - Prépare les infrastructures de tests - Valide les documents et les procédures à destination de la production - Réalise les différents tests techniques - Analyse les résultats - Contribue au diagnostic en cas de dysfonctionnement - Rédige les rapports détaillés qui aideront à la décision du GO/NOGO pour la mise en production - Constitue ou met à jour le patrimoine de tests réutilisable pour les intégrations ultérieures - Effectue le reporting vers le Responsable Intégration - Contribue à l'amélioration continue - Industrialise les tests techniques récurrents (automatisation, outillage?) Le livrable est : Remédier à l'obsolescence des serveurs, bases de données et briques techniques du parc du département Paiement.

Nous recherchons un ingénieur de production pour les missions suivantes : - Pilotage projet (gestions des ressources, copils, reporting) - Prise en charge de l’intégration technique des solutions existantes et nouvelles. - Exploitation des plates-formes techniques en assurant le maintien en conditions opérationnelles. - Mise en œuvre des réponses aux audits externes et aux mises en conformités internes - Applications de la politique de sécurité des SI La mission proposée peut être soumise aux horaires décalés (intervention en HPO notamment) ainsi qu’à une participation au dispositif d’astreinte hebdomadaire et week-end. Il est impératif de pouvoir travailler en anglais (oral et écrit). - Gérer des incidents critiques : communication, diagnostic, correction, coordination d’experts en cellule technique. - Contact avec des cellules supports éditeurs. - Gérer des problèmes (incident récurrent avec plan d’action sur moyen/long terme) - Analyser, Gérer, Piloter des changements. - Supervision, veille technologique - Coordonner des multi-intervenants. - Réaliser l’interface entre les experts techniques et le support Editeur dont vous êtes l’interlocuteur privilégié. - Rédiger les manuels d’exploitation : procédures, sauvegardes, supervision, …

En tant que DevOps vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vos activités principales seront : Conception, mise en place (scripts versionnés dans GIT, paramétrage, TDD et tests d'intégration) et livraison en production des applications dans les règles de l'art - Contribution aux Agile de l'entité dans le respect du framework Scrum (Daily meeting, Review, Rétrospective, Sprint Planning), - Maintien de la documentation technique et fonctionnelle - L'amélioration continue des processus et bonnes pratiques de développement (au sein de l'entité, mais aussi des entités du Socle BigData) - Support de production

Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un développeur backend SQL/clikhouse. Périmètre fonctionnel : banque d'investissement Au sein d’une équipe qui travaille sur une application d'aide à la décision pour le trading. Elle permet de gérer des données historiques sur les clients, et les données de marché, ainsi que des données intraday et des mesures de risques, il permet aussi de visualiser les axes de trading. L’application utilise Angular 15 comme front end, Java 11 et Python 2 en back end, base de donées distribuée avec un systel de cache in memory, et Mongo DB comme base de données. Pour la partie déploiement, on utilise Docker / Kubernetes et Jenkins. Les principales tâches de la missions sont les suivantes : Le but est d'développer des nouvelles fonctionnalités demandées par le trading, et aussi techniquement améliorer la stabilité et la partie calcul distribué de l'application en testant de nouvelles solutions. Le candidat sera chargé de la partie back end ainsi que de la partie devops.

Cherry Pick est à la recherche d'un Data Engineer Senior pour un client dans le secteur de l'assurance en région parisienne. Le Data Engineer va intégrer l’équipe Data & RPA du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning. Cette Guilde est dédiée au service du greoupe et de ses équipes (Data office, Tribus, Business, Transformation Office etc.), afin de fournir, en collaboration avec le Data Office, les plateformes (RPA, BI, Data, ...) et les données nécessaires aux équipes chargées de délivrer les cas d’usages, puis les déployer et les maintenir en conditions opérationnelles. Vous serez directement rattaché(e) au Responsable de l’équipe Data & RPA au sein de la Direction Technologies. Vous allez contribuer directement aux projets des directions métier (ex : Fraude santé, DSN, Pricing IARD, Optimisation du lead management, Fragilité Auto, ...) du groupe. La Direction Transformation Digital Tech et Data du groupe en quelques mots : - Une organisation agile en feature teams : tribus, guildes, squads - Des projets sur des applications innovantes à fort trafic (web, mobile...) - Des méthodologies craft (TDD, BDD, clean code, code review...) et DevOps - Une communauté de partage de bonnes pratiques (BBL, dojo, meetup, conf...) Votre rôle et vos missions : Vous aurez pour missions principales de développer les projets Big Data demandés par le métier, et notamment : • D’accompagner les développeurs plus juniors de l’équipe (coaching, code review, pair programming, ...) • Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake • Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake • Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, ...) • De travailler à la création du socle technique Big Data et industrialiser le cycle de développement de l'équipe • De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.)

Dans ce cadre la prestation consiste à contribuer à/au(x) :  Développement, Clean code,  L'intégration continue,  La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing)  Mise en place et suivi des développements en production du socle de fonctionnalités Processing / préparation de données  L'assistance à la conception technique du produit  Diverses assistances techniques (sujets techniques complexes sur le produit, etc...)  La revue de code  L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique  L'analyse de l'impact de la conception du produit sur l'architecture technique du SI  L'architecture technique aux choix d'implémentation dans le SI  La maintenabilité technique du produit  La stratégie de développement et de tests selon critères pré-définis Autres :  Support applicatif via le monitoring et résolution associée  DevOps pour les parties IAAS et CD.  Environnement anglophone Les livrables attendus sont : de solutions et d'architecture technique pour le backend 2.Développements d'alimentations et processing de données 3.Implementation pour l'exploitation des données, restitution dans des Datasets ou Datamarts adéquats et maintenance évolutive du backend 5.Mise en œuvre de méthodes d'amélioration continue : Craft & Prod CI 6.Monitoring et CI sur qualité du code

Nous sommes à la recherche d'un Expert WS02. La mission consiste à venir en renforts aux équipes en place dans le cadre de l’industrialisation de l’application. Le profil doit présenter les caractéristiques suivantes : - Intégrateur : il doit posséder une forte expérience dans des activités telles que le déploiement de produit, les outils associés (ansible), le suivi de la production avec des tâches d’administration système, point d’entrée des exploitants - Architecture : il doit avoir les compétences techniques pour comprendre voire définir une architecture - API Management : une expérience sur ce domaine (WSO2) est nécessaire pour mieux appréhender les nouveaux sujets - Gestion des identités - Il est en charge de l’adressage technique des sujets - Transfert de compétences : il doit assurer la montée en compétence de son adjoint. Environnement technique du projet : Java 8/11,Spring, CXF, log4j, JUNIT 5

Bonjour à tous, Je suis à la recherche d'un(e) talentueux(se) QA test automation en freelance pour rejoindre une mission passionnante avec un de nos clients du secteur de l'assurance basé à Paris. 🔍 Compétences recherchées : Solides compétences en automatisation des tests Expertise avancée avec Selenium Expérience en tant que QA Automaticien(ne) - Principaux outils/langage : - Jira (Obligatoire) - JAVA (Obligatoire) - Selenium (Obligatoire) . Maven (Obligatoire) - Approche BDD (Obligatoire) - Cucumber/Gherkin (Obligatoire) - Automatisation des tests API (souhaitable) - Jenkins (souhaitable) - Autres outils : Authentification (Ping, Saviynt) Anglais COURANT (équipe internationale) - Date de démarrage: 30 Avril 2024 - Lieu: Paris 2 jours par semaine et 3 jours de télétravail - Durée: 12 mois - Equipes: Cyberdéfense