Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Solr

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

Responsabilités principales : Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Outils : KAFKA toolset Programmation et scripting (Java, PL/SQL, SQL, Unix, etc) Job Scheduling / Ordonnanceur (OpCon) Database (SQL Server) Gestion de la demande et service incident (JIRA / SNOW)

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Notre client dans le sectuer du Retail recherche un Sycteme Architecte Kafka pour une mission freelance de Longue duree (12 mois) . Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance... Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle

Descriptif du poste Nous menons une campagne de recrutement dédiée aux profils d’ Intégrateur d’applications / Ingénieur de production (H/F) afin d’intégrer des projets ambitieux d’intégration applicative en environnement DevOps. L’ Ingénieur de Production (H/F) s’occupe principalement de l’exploitation des applications. Il peut également intervenir sur la partie Build en fonction de l’organisation des différents clients. Celui-ci participe au maintien en conditions opérationnelles des applications. Pour cela il réalise les tâches suivantes : Assurer le bon fonctionnement, la disponibilité et la continuité des services, l’administration et l’exploitation des applications Gestion : incidents, problèmes, configuration, changements (ITIL) Production des indicateurs (optimisation de services, mesure de la Qualité de Service, métriques, etc.) Arrêt / Marche des composants Continuité / Disponibilité des composants applicatifs Supervision des applications Amélioration continue Sur les différents environnements (recette, qualification, pré-production, production) : Déploiement de composants applicatifs Mise en place de nouvelles chaines d'ordonnancement Tests Préparation MEP (répétition, changements…) Rédaction de la documentation Des postes similaires sont à pourvoir sur Aix en Provence (13), Vaison la Romaine (84) et Montpellier (34).

Pour l'un de nos clients finaux sur Paris, nous sommes à la recherche d'un Système Architecte Kafka confluent Cloud. Démarrage dès que possible pour long terme. En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle. Maîtrise des langages de programmation tels que Java, Scala ou Python. Connaissance approfondie des pratiques de sécurité des données et des architectures microservices. Excellentes compétences en communication, en présentation et en leadership. Ce rôle implique : L'accompagnement des équipes clientes IT dans la mise en œuvre des solutions liées à Kafka L’encadrement d’équipes techniques sur les projets L’accompagnement de nos équipes sur leur montée en compétences L’écriture des spécifications techniques en amont de la réalisation La validation des chiffrage projets Gestion de back log utilisant la méthode adaptée Le travail en étroite collaboration avec l’équipe IT Métier pour délivrer les projets selon les priorités stratégiques partagée Et, surtout, et créer un cadre de travail harmonieux et valoriser le travail des équipes de développements pour fédérer les meilleurs talents

Expert Middleware (WAS / JBoss / Apache Tomcat / IIS) L'expert rejoindra le service qui regroupe les équipes d'ingénieries infrastructures, middlewares et bases de données. Missions: Administration courante WAS (Websphere) Administration courante JBoss / Wildfly Mise en œuvre des infrastructures serveurs Web d'applications (Apache Tomcat et IIS) Administration des outils CI/CD Automatisation (Scripting / Ansible / Rundek) Support de niveau 4 (la production est opérée à Singapour) Développement JAVA (optionnel)

Nous recherchons pour notre client un développeur full stack qui va implémenter les fonctionnalités métier dans leur intégralité et qui intervenir sur l'ensemble de la stack technique (front, back, base de données...). Activité principale : Participer aux tâches de performance et de maintenance. Développement en TDD des besoins métier (front & back) Rédaction et actualisation de documents techniques Support aux équipes fonctionnelles Réalisation de tests croisés Compétences attendues Expériences significatives en Java et React Développement en TDD Bonne connaissance sur la méthodologie BDD et l'approche DDD Environnement technique : Java, React, Spring Boot, Hibernate, Oracle Database, Kafka, Elasticsearch, ZK, Drools, MyBatis, PostgreSQL

Ingénieur système Linux (RedHat) (H/F) A PROPOS : Notre client est spécialisé dans l’asset management. L’entreprise est une société mondiale de gestion d’actifs quantitative et systématique appliquant une approche scientifique à la finance pour développer des stratégies d’investissement alternatives pour nos clients. Ils valorisent l’innovation, l’engagement, l’aboutissement et l’intelligence collective en créant un environnement d’experts passionnés et talentueux dans les domaines de la recherche, des technologies et du business pour explorer de nouvelles idées et toujours remettre en question les hypothèses. DESCRIPTION DU POSTE : En tant qu'Ingénieur Système Linux (RedHat), vous rejoindrez l'équipe System Build de l’entreprise dans le but d’intervenir sur l'optimisation, la configuration et le déploiement de serveurs physiques ou virtuels Linux (CentOS/Redhat 9) en fonction des besoins, des équipes métiers. Contexte : Vous devrez maintenir l’architecture, le déploiement, l’évolution et le maintien de leurs différents cluster Kafka mis à disposition des équipes. Vous vous occupez de la mise en place d'un workflow de gestion des topics et des ACLs de ces clusters KAFKA. Vous gérerez la partie monitoring, supervision et documentation de ces architecture. Finalement, vous ferez de l’accompagnement technique/développement des utilisateurs sur ce domaine. VOS MISSIONS : Installation, maintenance et configuration du cluster Apache Kafka pour le traitement de flux de données en temps réel. Automatisation des déploiements à l'aide de Puppet pour assurer la cohérence et l'efficacité des configurations. Kernel Linux Gestion de projets techniques liés à l'infrastructure système et au déploiement de nouvelles technologies. Évolution et maintenance des outils et services existants pour répondre aux besoins croissants de l'entreprise. Gestion et optimisation du stockage, notamment dans des environnements de calcul haute performance (HPC), en collaboration avec les équipes spécialisées. Optimisation fine des cpu Optimisation fine des accès stockage (slurm, lustre) Technologies utilisées : APACHE KAFKA, Linux (CENTOS) – Kernel, PUPPET, ANSIBLE , DOCKER, GIT, JENKINS, NAGIOS, GRAFANA, PYTHON, BASH, VMWARE, VSPHERE, NETAPP, SLURM, LUSTRE, HPC, NFS

Descriptif du poste Nous menons une campagne de recrutement dédiée aux profils d’ Intégrateur d’applications / Ingénieur de production (H/F) afin d’intégrer des projets ambitieux d’intégration applicative en environnement DevOps. L’ Ingénieur de Production (H/F) s’occupe principalement de l’exploitation des applications. Il peut également intervenir sur la partie Build en fonction de l’organisation des différents clients. Celui-ci participe au maintien en conditions opérationnelles des applications. Pour cela il réalise les tâches suivantes : Assurer le bon fonctionnement, la disponibilité et la continuité des services, l’administration et l’exploitation des applications Gestion : incidents, problèmes, configuration, changements (ITIL) Production des indicateurs (optimisation de services, mesure de la Qualité de Service, métriques, etc.) Arrêt / Marche des composants Continuité / Disponibilité des composants applicatifs Supervision des applications Amélioration continue Sur les différents environnements (recette, qualification, pré-production, production) : Déploiement de composants applicatifs Mise en place de nouvelles chaines d'ordonnancement Tests Préparation MEP (répétition, changements…) Rédaction de la documentation Des postes similaires sont à pourvoir sur Marseille (13), Aix en Provence (13) et Montpellier (34).

Nous sommes à la recherche d'un Ingénieur Big Data pour palier au besoins de nos clients. Le candidat retenu sera chargé de concevoir, développer et maintenir l'infrastructure Big Data, ainsi que de travailler sur des projets d'analyse de données complexes. Responsabilités : Concevoir, développer et déployer des solutions Big Data évolutives et robustes. Mettre en place des pipelines de données pour l'acquisition, le stockage et le traitement de grands volumes de données. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données. Optimiser les performances des systèmes et des applications Big Data. Assurer la sécurité et la confidentialité des données tout au long du processus.

Descriptif du poste Nous menons une campagne de recrutement dédiée aux profils d’ Intégrateur d’applications / Ingénieur de production (H/F) afin d’intégrer des projets ambitieux d’intégration applicative en environnement DevOps. L’ Ingénieur de Production (H/F) s’occupe principalement de l’exploitation des applications. Il peut également intervenir sur la partie Build en fonction de l’organisation des différents clients. Celui-ci participe au maintien en conditions opérationnelles des applications. Pour cela il réalise les tâches suivantes : Assurer le bon fonctionnement, la disponibilité et la continuité des services, l’administration et l’exploitation des applications Gestion : incidents, problèmes, configuration, changements (ITIL) Production des indicateurs (optimisation de services, mesure de la Qualité de Service, métriques, etc.) Arrêt / Marche des composants Continuité / Disponibilité des composants applicatifs Supervision des applications Amélioration continue Sur les différents environnements (recette, qualification, pré-production, production) : Déploiement de composants applicatifs Mise en place de nouvelles chaines d'ordonnancement Tests Préparation MEP (répétition, changements…) Rédaction de la documentation Des postes similaires sont à pourvoir sur Marseille (13), Vaison la Romaine (84) et Montpellier (34).

Dans le cadre de notre développement, nous recherchons un(e) Data Analyst en CDI sur Paris. Le socle applicatif technique : Power BI confirmé SQL confirmé Python / PySpark Hive Les principales missions sont : L'objectif sera de concevoir, développer, déployer et documenter, des tableaux de bord Power BI afin de surveiller les performances d'algorithmes de machine learning en production. Travail à partir de bases sql alimentées par les indicateurs nécessaires à restituer sous Power BI. - Participer à l'analyse détaillée des besoins fonctionnels et techniques - Participer aux ateliers de chiffrage et de raffinement des besoins - Coder la solution (logiciel, application, système...) - Réaliser la documentation associée - Implémenter la solution avec les technologies retenues - Réaliser des tests unitaires (TDD) - Dérouler les tests et valider son développement - Gérer la maintenance corrective et évolutive de l'application - Comprendre et connaitre ce qu'est l'intégration continue - Dans une équipe, il doit participer à la construction de la définition du finie. - Est amené à tester et à recetter les développements des autres membres de l'équipe. Il valide alors les développements attendus par rapport aux spécifications.

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Ingénieur de production (H/F) – ILE DE FRANCE Mission à pourvoir en régie sur l’Ie de France Présence sur site : 3 jours / semaine Compétences obligatoires : ANGLAIS COURANT ; Linux / Redhat ; Apache Tomcat ; Jboss Votre mission : - Accompagnement d’équipes délocalisées pour remédier à l’obsolescence des serveurs, bases de données et briques techniques - Etablissement de plannings de remédiation et suivi - Remontée des alertes et points de blocage REF : EFP/INGPMDQ/ODVB Plus d’offres sur :

Technodym est à la recherche d'un chef de projet / PO Middleware pous son client basé en Eysines à Bordeaux Fiche de poste: Le Chef de Projet Middleware est chargé de gérer le développement et l'intégration du middleware au sein du système d'information, en s'assurant que celui-ci répond aux besoins de communication et d'échange entre les différentes applications Il travaille en collaboration étroite avec son homologue côté Intégrateur Porter les missions décrites dans la fiche PO pour les aspects spécifiques du Middleware En complément : Porter le projet de mise en place du middleware (dont bus KAFKA) sur l'infrastructure GCP Piloter les équipes de l’intégrateur sur le domaine Middleware Coordonner les équipes techniques (dont l’architecte technique et les équipes d’exploitation) pour l'intégration et la configuration du middleware Superviser les tests et la mise en production du middleware Assurer la liaison avec les fournisseurs et les partenaires technologiques Maitriser le budget (dont TCO en mode Run), le planning et les ressources du projet middleware Si vous êtes disponible et intéressé n'hésitez pas à m'envoyer votre CV

Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage