Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Kafka à Paris

Je cherche un dispositif d’1 tech lead et 3 dév juniors pour la mise en oeuvre d’une Customer Data Platform Les compétences techniques demandées seront : • Apache Spark / PySpark • Apache Kafka • Apache Superset • Python • MongoDB / PyMongoDB • SQL/NoSQL Périmètre : • Instruire la conception technique détaillée • Réaliser les développements • Réaliser les tests unitaires, d’intégration et prendre part aux tests techniques en préprod (perf, cyber, etc.) • Réaliser de bout en bout (d’interopérabilité avec les autres systèmes) • Réceptionner et valider l’infrastructure nécessaire à la CDP • Préparer les livrables, les packages de production • Être garant des déploiements sur les différents environnement (CI/CD) • Participer à la rédaction du dossier d’exploitation (DEX) • Organiser la répartition des tâches • Encadrer le ou les développeur(s) junior(s) Ses qualités : • Compétences techniques solides • Familier du pilotage d’équipe et de la gestion de la relation avec l’éditeur • Capacité à fédérer • Facilité à entrer dans les sujets et les comprendre rapidement • Dynamisme, pro activité et rigueur, y compris dans les communications écrites et orales • Autonomie • Capable de challenger le métier • Connaissance du SI

Dans le cadre de sa transformation digitale, notre client utilise les technologies Big Data et a créé une plateforme depuis 2018. Elle est utilisée par les différentes directions métiers et le Laboratoire d’Innovation Digitale et son équipe de Data Science. Je cherche pour l'un de nos clients un Data Engineer Senior pour rejoindre leur factory Data d'un 15 aine de Data engineer et autant en BI (UX/UI) : Mission : Construire leur plateforme data Transformer les workflows Élaborer les modèles data pour les équipes BI Travailler sur la qualité des data Développer des outils d'industrialisation pour les data scientists

Nous cherchons pour l'un de nos client un profil Devops - Middleware (API Management) Taches : · Maintien en Condition Opérationnel – Niveau 2/3 : · Assurer le suivi de la performance de la plateforme HIP(*) qui est au cœur des échanges de données entre les applications du Groupement. · Assurer le suivi des tickets et demandes de support « ouverts » chez les éditeurs · Elaboration et suivi la RoadMAP technique HIP : Suivi des nouvelles version et Patch éditeurs, qualifications des versions et installation · Suivi et gestion de la capacité des briques HIP et MDW · Être en support des intégrateurs des applications dans la résolution des incidents afin de les rendre le plus autonome possible · Evolutions des normes et standards · Maintenir la documentation à jour (procédures, modes opératoires) Optimisation et Evolutions : · Faire évoluer les normes, les bonnes pratiques et les communiquer · Automatiser (ansible) les installations des nouvelles briques techniques et les tâches d’administration courantes · Être force de proposition Périmètre technique Middleware : · VM, Openshift, Kubernetes (Requis) · Ansible Tower / AWX, Ansible, Prometheus, grafana (Requis) · Dynatrace, Instana, Splunk (Requis) · Ticketing: ServiceNow (Requis) · iPaas Boomi et/ou MOM Solace (Requis) · API Gateway (Axway), MFT (GoAnywhere), Kafka, (Souhaité) · CICD : Terraform, Nexus, Gitlab CI, Gitlab, Nexus, Helm, (Souhaité) · Tomcat, Jboss, Websphere, MQSeries, (Souhaité) · Dynatrace (Souhaité)

Au sein d'un client du domaine bancaire, vous intervenez au sein de la DSI en qualité de Référent technique MLOps. Dans ce cadre, votre quotidien s'articule autour des missions suivantes : mettre en place l'outillage Datascience et MLOPS et identifier les patterns pour un usage global évaluer et adpoter de nouvelles technologies et méthodologie pour améliorer les processus MLOps et l'efficacité de l'équipe Diriger l'élaboration et la mise en oeuvre de pipelineSuperviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes interne Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).s / solutions MLOps pour l'entrainement, le déploiement et la surveillance des modèles ML

• Mettre en place l’outillage Datascience et MLOPS et identifier les patterns et normes pour un usage par 40 caisses régionales • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps et l'efficacité de l'équipe • Diriger l'élaboration et la mise en œuvre des pipelines / solutions MLOps pour l'entraînement, le déploiement et la surveillance des modèles ML • Superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes • Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives • Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution • Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).

💼 Poste : Bigdata Engineer Cloud 🏭 Secteurs stratégiques : Banque d’investissement 📍Localisation : Ile de France 🗓 Démarrage : ASAP Expérience souhaité : 0 - 3 ans Principales missions sont : Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket

Contexte de la mission La mission aura lieu dans de la direction Data&IA dans l’entité data réseau qui est en charge de la big data pour le réseau. La mission se déroulera autour de trois axes principaux : · Administration des clusters Kafka · Support aux clients du cluster · Mise en place d’automatisation Objectifs et livrables Le candidat aura la charge d’administrer les clusters Kafka de la data réseau. Il y a actuellement 3 clusters Kafka à administrer, représentant plus de 15 nœuds et 1 million de transactions par secondes · Mettre en place la supervision des clusters · Réagir en cas d’alarme afin de limiter les impacts clients. · Effectuer les différents mis à jour de version. · Mettre en place et administrer les outils d’automatisation (mirrror, création de topic…) · Donner du support aux utilisateurs du cluster (Dev/Devops et équipe externe) · Mettre à disposition les nouvelles fonctionnalités nécessaires aux besoins (par exemple

Nous recherchons un data engineer avec une expérience sur la construction de pipeline Spark scala dans kafka stream et dans un environnement BigData. Le profile st de base ouvert en nearshore a destination des profils marocain. Missions : Participer à la réalisation de l’ensemble des projets métiers (usages) Prendre en charge les demandes de corrections provenant d’incidents ou d’anomalies Participer à l’auto-formation et à la montée en compétences de l’équipe de développement Appliquer les bonnes pratiques et les normes de développement Mettre en pratique les méthodes devops Contribuer aux chiffrages des usages et à la constitution des releases Contribuer à l’automatisation du delivery Développer et documenter son code Livrables Travailler au sein d’une équipe SCRUM (PO, développeurs, QA, Support) Maitrise : BITBUCKET, CLOUD GCP, ELASTICSEARCH, JENKINS, KAFKA, SPARK Scala ou Java, Kubernetes, Docker, Ansible, GCS, BigQuery, GKE, Cloud Pub/Sub, Dataproc, BigTable. CI/CD (Git, Jenkins, Nexus, Docker Registry, ) Avro.

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

Description détaillée de la mission Maintien en Condition Opérationnel – Niveau 2/3 : · Assurer le suivi de la performance de la plateforme HIP(*) qui est au cœur des échanges de données entre les applications du Groupe. · Assurer le suivi des tickets et demandes de support « ouverts » chez les éditeurs · Elaboration et suivi la RoadMAP technique HIP : Suivi des nouvelles version et Patch éditeurs, qualifications des versions et installation · Suivi et gestion de la capacité des briques HIP et MDW · Être en support des intégrateurs des applications dans la résolution des incidents afin de les rendre le plus autonome possible · Evolutions des normes et standards · Maintenir la documentation à jour (procédures, modes opératoires) Optimisation et Evolutions : · Faire évoluer les normes, les bonnes pratiques et les communiquer · Automatiser (ansible) les installations des nouvelles briques techniques et les tâches d’administration courantes · Être force de proposition Projets : · Être acteur dès le démarrage des projets (réflexion à l’architecture, sécurité, etc) · Réaliser les actions de BUILD : installation, configuration, paramétrage des couches Middleware · Réaliser les tests de performances et non régression au niveau du socle Middleware · Apporter l’expertise aux projets · Être en support des intégrateurs des applications dans les actions de Build afin de les rendre le plus autonome possible Communication, Reporting et travail en équipe : · Synthèse et communication auprès du management et Incidents Manager sur les incidents et anomalies traitées/en cours · Suivi des tâches (Incidents, Problem, demandes, Kanban) et reporting clair sur l’avancement/le reste à faire · Rigueur Périmètre technique Middleware : la Plateforme HIP inclus principalement les technologies suivantes : API Gateway (Axway), MOM (Solace), IPAAS (Boomi), MFT (GoAnywhere), Kafka. - Date de début prévisionnelle : 26/02/2024 - Date de fin prévisionnelle : 31/12/2024 - Profil demandé : Tech LeadExpert Middleware - Niveau d'expertise : Expert

la Prestation consiste à contribuer à/au(x) :  Gestion de l’intégration des données dans le DataLake Azure  Analyse des données et croisement de ces dernières  Analyse des restitutions responsives et mise en avant de la valeur-ajouté des données  Support de la solution et ses composants Environnement technique Expertises : - Java - Spark - Kubernetes - MS Azure - Kafka - Microsoft PowerBI - Cosmos DB - PosgreSQL Les livrables attendus sont : - Spécifications techniques générales et détaillées - Code - PV de tests - Support aux UATs (User Acceptance Tests) - Package de livraison - Gestion des releases et documentations associées - Assistance aux utilisateurs et/ou support

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production

Nous recherchons un ingénieur de production pour les missions suivantes : - Pilotage projet (gestions des ressources, copils, reporting) - Prise en charge de l’intégration technique des solutions existantes et nouvelles. - Exploitation des plates-formes techniques en assurant le maintien en conditions opérationnelles. - Mise en œuvre des réponses aux audits externes et aux mises en conformités internes - Applications de la politique de sécurité des SI La mission proposée peut être soumise aux horaires décalés (intervention en HPO notamment) ainsi qu’à une participation au dispositif d’astreinte hebdomadaire et week-end. Il est impératif de pouvoir travailler en anglais (oral et écrit). - Gérer des incidents critiques : communication, diagnostic, correction, coordination d’experts en cellule technique. - Contact avec des cellules supports éditeurs. - Gérer des problèmes (incident récurrent avec plan d’action sur moyen/long terme) - Analyser, Gérer, Piloter des changements. - Supervision, veille technologique - Coordonner des multi-intervenants. - Réaliser l’interface entre les experts techniques et le support Editeur dont vous êtes l’interlocuteur privilégié. - Rédiger les manuels d’exploitation : procédures, sauvegardes, supervision, …

Contexte Objectif global : Accompagner les équipes dans le cadre du projet Obsolescence du département Paiement Description détaillée : L'objectif est d'intégrer rapidement les équipes pour les aider/soulager dans le suivi des actions pour remédier l'obsolescence du périmètre. Il sera impératif d'établir des plannings de remédiation et les suivre, remonter les alertes et points de blocage, et d'assurer les échanges entre Spécificités pour les tests techniques : - Prise de connaissance du changement et de son contexte technique - Complète le plan de tests proposé - Prépare les infrastructures de tests - Valide les documents et les procédures à destination de la production - Réalise les différents tests techniques - Analyse les résultats - Contribue au diagnostic en cas de dysfonctionnement - Rédige les rapports détaillés qui aideront à la décision du GO/NOGO pour la mise en production - Constitue ou met à jour le patrimoine de tests réutilisable pour les intégrations ultérieures - Effectue le reporting vers le Responsable Intégration - Contribue à l'amélioration continue - Industrialise les tests techniques récurrents (automatisation, outillage?) Le livrable est : Remédier à l'obsolescence des serveurs, bases de données et briques techniques du parc du département Paiement.

Le client a lancé un programme de mise en place d'un nouveau dispositif de management de la liquidité permettant de satisfaire les nouvelles contraintes réglementaires et de répondre aux besoins internes de pilotage. Un des projets SI en support de ce programme a pour objectif la mise en place d'une base de synthèse transversale au Groupe, contenant les indicateurs de pilotage et assurant des restitutions sous diverses formes. Le Bénéficiaire souhaite mettre en œuvre les cadrages/développements/les tests unitaires/l'homologation technique sur des composants applicatifs dans les plannings et délais demandés. Les technologies utilisées seront Java J2EE/PL-SQL/Spark/Nifi/Oozie/Openshift. Ces actions doivent être effectuées dans le cadre des normes du projet. Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Conception et développement. Dans ce cadre la prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place d'une Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. Etre effectuée dans le cadre des normes du projet. - assistance sur les développements produits jusqu'à la mise en production. - Support de production

Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un développeur backend SQL/clikhouse. Périmètre fonctionnel : banque d'investissement Au sein d’une équipe qui travaille sur une application d'aide à la décision pour le trading. Elle permet de gérer des données historiques sur les clients, et les données de marché, ainsi que des données intraday et des mesures de risques, il permet aussi de visualiser les axes de trading. L’application utilise Angular 15 comme front end, Java 11 et Python 2 en back end, base de donées distribuée avec un systel de cache in memory, et Mongo DB comme base de données. Pour la partie déploiement, on utilise Docker / Kubernetes et Jenkins. Les principales tâches de la missions sont les suivantes : Le but est d'développer des nouvelles fonctionnalités demandées par le trading, et aussi techniquement améliorer la stabilité et la partie calcul distribué de l'application en testant de nouvelles solutions. Le candidat sera chargé de la partie back end ainsi que de la partie devops.