Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Solr à Paris

Votre recherche renvoie 40 résultats.
Astuce

Astuce

Utilisez des virgules pour rechercher plusieurs termes en même temps.

Exemple : sql, php correspond à sql OU php

Suivant
Freelance

Mission freelance
Developpeur Java maitraise Elastic Search ou Solr ou Lucene OBLIGATOIRE

Nicholson SAS
Publiée le
Apache Solr
Elasticsearch
J2EE / Java EE

3 ans
500-650 €
Paris, France

MERCI DE POSTULER UNIQUEMENT SI VOUS MAITRISER L'UN DES MOTEURS DE RECHERCHES SUIVANTS: Elastic Search ou search engine Solr et/ou Lucene. Bonjour, Nous recherchons pour l'un de nos clients grand compte un Developpeur Sr Java maitrisant Elastic Search ou search engine Solr et/ou Lucene. Vos missions seront les suivantes: Ø Développer des composants, services et fonctions de notre moteur de recherche juridique et de recherche conversationnel basé sur l’intelligence artificiel (Generative AI). Ø Participer aux réunions SCRUM (daily, review…) et collaborer activement avec l’équipe au sein des sprints de 2 semaines (Scrum) Ø Participer activement avec les autres développeurs et le Techlead à la conception, l’évaluation des charges de réalisation du back-office du produit. Ø Réaliser des développements selon une stratégie de déploiement sur le CLOUD Ø Réaliser des développements dans les règles de l’art : o Participer aux réunions des équipes de développement et s’assurer que le code réalisé (backend et de l’implémentation des flux de données) est en phase avec les bonnes pratiques et les consignes en termes de choix de composants. o Faire du mentorat et promouvoir les bonnes pratiques de développement backend en partageant le savoir avec les autres développeurs de l’équipe. o S’intéresser aux contraintes d’intégration amont et aval des composants implémentés afin de réaliser un interfaçage en étroite relation avec les autres développeurs Lieu: Paris centre Dates de mission: ASAP pour 3 mois renouvelable sur du long terme Tarif: 500-650€ ht selon experiences Pas de sous traitance merci ! Nicholson

Freelance
CDI

Offre d'emploi
Développement backend SQL/clickhouse

Digistrat consulting
Publiée le
Apache
Big Data
DevOps

3 ans
40k-60k €
Paris, France

Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un développeur backend SQL/clikhouse. Périmètre fonctionnel : banque d'investissement Au sein d’une équipe qui travaille sur une application d'aide à la décision pour le trading. Elle permet de gérer des données historiques sur les clients, et les données de marché, ainsi que des données intraday et des mesures de risques, il permet aussi de visualiser les axes de trading. L’application utilise Angular 15 comme front end, Java 11 et Python 2 en back end, base de donées distribuée avec un systel de cache in memory, et Mongo DB comme base de données. Pour la partie déploiement, on utilise Docker / Kubernetes et Jenkins. Les principales tâches de la missions sont les suivantes : Le but est d'développer des nouvelles fonctionnalités demandées par le trading, et aussi techniquement améliorer la stabilité et la partie calcul distribué de l'application en testant de nouvelles solutions. Le candidat sera chargé de la partie back end ainsi que de la partie devops.

Freelance
CDI

Offre d'emploi
Data engineer scala spark

CELAD
Publiée le
Apache Spark
Scala

2 ans
50k-65k €
Paris, France

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Freelance
CDI

Offre d'emploi
Data Engineering - TALEND / SPARK / SCALA / MSBI

Digistrat consulting
Publiée le
Apache Spark
Hadoop
Microsoft Power BI

3 ans
40k-60k €
Paris, France

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

Freelance

Mission freelance
Data Engineer Expérimenté (H/F) – Paris

Espace Freelance
Publiée le
Apache Airflow
AWS Cloud
PySpark

3 mois
100-700 €
Paris, France

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Data Engineer Expérimenté (H/F) – Paris Mission à pourvoir en régie sur Paris Présence sur site : 3 jours / semaine Compétences obligatoires : Python ; AWS ; PySpark ; Airflow ; Github ; anglais courant Votre mission : - Apporter une expertise sur la constitution des datasets et KPIs - Accompagner l’équipe sur les meilleurs choix techniques - Assurer la qualité des traitements et des données - Comprendre un modèle de données et s’en servir - Maitriser et contrôler la qualité de code - Mettre en place des indicateurs de mesure de qualité sur chaque développement REF : EFP/GMCPP/ODVB Plus d’offres sur :

Freelance

Mission freelance
Consultant/Chef de projet Cloud

GROUPE ALLIANCE
Publiée le
Apache Kafka
Kali Linux
Prometheus

12 mois
410-750 €
Paris, France

Pour le compte de l' un de nos clients dans le domaine assuranciel, nous recherchons un Consultant/Chef de projet Cloud L’objectif de la mission est de définir et de mettre en place les principes de l’architecture des applications Cloud Native. - Définir les principes de conception d’une application dite Cloud Native en positionnant le rôle des API et du maillage de service - Définir les principes de mises en place des architectures de type microservices dont la granularité associée - Définir et accompagner la mise en œuvre du maillage de services via l’approche ServiceMesh o Recueillir les besoins et les critères permettant de faire le choix de la plateforme de ServiceMesh o Cadrer les principes et accompagner la mise en œuvre au sein de notre solution de gestion de conteneurs o Définir et accompagner la mise en œuvre des principes de développements de l’approche ServiceMesh - Définir les patterns de conception cible des applications comme Circuit Breaker, Canary Deployement, Blue/Green Deployement, A/B Testing, …. - Définir les patterns de conception d’architecture EDA et EventMesh ainsi que leurs déclinaisons opérationnelles o Recueillir les besoins et les critères permettant de faire le choix de la plateforme de gestion des évènements o Cadrer les principes et accompagner la mise en œuvre de la plateforme de gestion d’évènements - Cadrer les principes de recette et de validation de la nouvelle approche de développement qui sera choisie o Définir les principes de migration des anciens patterns de conception /développements vers la nouvelle approche - Former et accompagner le changement chez les parties prenantes - Conception de support de communication La prestation aura lieu principalement à Paris avec des déplacements réguliers sur le site du Mans et d’autres à prévoir de manière moins fréquente sur les sites de Niort, Levallois et Saran

Freelance
CDI

Offre d'emploi
Bigdata Engineer Cloud

Digistrat consulting
Publiée le
Apache Kafka
Big Data

3 ans
40k-60k €
Paris, France

💼 Poste : Bigdata Engineer Cloud 🏭 Secteurs stratégiques : Banque d’investissement 📍Localisation : Ile de France 🗓 Démarrage : ASAP Expérience souhaité : 0 - 3 ans Principales missions sont : Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket

Freelance
CDI

Offre d'emploi
Tech Lead MLOPS (H/F)

SCALIAN
Publiée le
Apache Kafka
AWS Cloud
Data science

12 mois
70k-80k €
Paris, France

• Mettre en place l’outillage Datascience et MLOPS et identifier les patterns et normes pour un usage par 40 caisses régionales • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps et l'efficacité de l'équipe • Diriger l'élaboration et la mise en œuvre des pipelines / solutions MLOps pour l'entraînement, le déploiement et la surveillance des modèles ML • Superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes • Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives • Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution • Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).

Freelance

Mission freelance
Architecte Cloud Native (H/F)

LeHibou
Publiée le
Apache Kafka
Cloud
Kali Linux

12 mois
470-550 €
Paris, France

Notre client dans le secteur Assurance recherche un Architecte cloud native H/F Descriptif de la mission : Nous recherchons pour notre client un architecte cloud, afin de l'accompagner dans une transformation visant à devenir un "cloud service provider" pour les métiers et les marques. Lors de cette mission, les 2 capacités essentielles sont : - Celle de maitriser les principes de conception/développement logiciel et des liens avec les composants middleware L’objectif de la mission est de définir et mettre en place les principes de l’architecture des applications Cloud Native. - Définir les principes de conception d’une application dite Cloud Native en positionnant le rôle des API et du maillage de service - Définir les principes de mises en place des architectures de type microservices dont la granularité associée - Définir et accompagner la mise en œuvre du maillage de services via l’approche ServiceMesh

Freelance
CDI

Offre d'emploi
Consultant expert Kubernetes

YGL consulting
Publiée le
Apache Tomcat
Docker
Kubernetes

6 mois
10k-50k €
Paris, France

nous recrutons un( e) consultant( e) expert kubernetes pour le compte de note client parisien Missions: - Accompagnement des équipes de développement pour Dockeriser leurs applications - Réalisation de script shell et python - Réalisation de playbooks et de rôles ansible - Réalisation de déploiements Terraform - Réalisation de pipeline groovy sur jenkins - Réalisation de chart Helm - Documentation des script d'automatisation - Assistance et support des équipes de développement - Communication avec les équipes d'infrastructure

Freelance

Mission freelance
Architect KAFKA confluent

Cherry Pick
Publiée le
Apache Kafka
Architecture

12 mois
600-650 €
Paris, France

Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud, nous recrutons un(e) Système Architecte Kafka confluent Cloud. En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Ce rôle implique : L'accompagnement des équipes clientes IT dans la mise en œuvre des solutions liées à Kafka L’encadrement d’équipes techniques sur les projets L’accompagnement de nos équipes sur leur montée en compétences L’écriture des spécifications techniques en amont de la réalisation La validation des chiffrage projets Gestion de back log utilisant la méthode adaptée Le travail en étroite collaboration avec l’équipe IT Métier pour délivrer les projets selon les priorités stratégiques partagée Et, surtout, et créer un cadre de travail harmonieux et valoriser le travail des équipes de développements pour fédérer les meilleurs talents Expérience attendue Expérience dans le développement opérationnel de flux sous KAFKA Expérience significative sur la plateforme Confluent Expérience significative dans un environnement Agile/ Hybrid Expérience de management d’équipes de développeurs et de suivi du delivery Test unitaire/Compliance /Performance Documentation & procédures afin de facilité au support le Monitoring technico fonctionnel des interfaces/Jobs Expérience SAP (ECC & S4/HANA) serait apprécié Coordination avec l’équipe de DEV afin de délivrer un support N3.

CDI
Freelance

Offre d'emploi
Data Analyst H/F

CAPEST conseils
Publiée le
Apache Airflow
Python
Snowflake

12 mois
10k-185k €
Paris, France

Afin de renforcer l’équipe DATA, nous recherchons un.e Data Analyst. Le Data Analyst travaille en étroite collaboration avec les équipes métiers et techniques, afin de leur fournir les données nécessaires à une prise de décision éclairée. Vos missions : · Répondre à des questions métiers, de façon ad hoc via des requêtes et extractions ou bien de façon plus pérenne via la création de tableaux de bord · Concevoir, développer, tester et maintenir les pipelines de transformations des données · Construire les transformations qui nous permettront de partager des données de qualité aux différentes directions/filiales · Collaborer avec les métiers afin de concevoir de nouveaux reportings · Collaborer avec l’équipe Data Science afin de les aider à la conception de leurs modules d’intelligence artificielle. · Être force de proposition pour l’amélioration continue des processus existants · Vous connaissez le SQL et vous êtes capable d’écrire des requêtes complexes. · Vous avez une appétence pour l’analyse de données et de Data Visualization · Vous avez un fort esprit analytique · Vous êtes clair et concis et vous savez vulgariser vos connaissances auprès du métier Bonus : · Vous connaissez Snowflake · Vous avez eu une expérience avec Airflow · Vous savez utiliser Git · Vous avez de l’expérience avec des langages de programmation comme Python

Freelance
CDI

Offre d'emploi
Ingénieur de production (H/F)

CITECH
Publiée le
Apache
Apache Tomcat

1 an
55k-65k €
Paris, France

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation d’un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Ingénieur de production (H/F) 🚀 💰 Votre mission est pour un client reconnu dans le secteur bancaire, implanté dans de nombreuses villes en France, il a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. 💳 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Mettre en œuvre des solutions techniques. 🔸 Réaliser des diagnostics pour identifier les causes de dysfonctionnement, proposer et mettre en œuvre des corrections et des solutions de "back-up". 🔸 Proposer des solutions pour améliorer les performances de son domaine d'activité. 🔸 Assurer, si nécessaire, l'interface des experts des autres domaines et gère les échanges avec les sous-traitants. 🔸 Définir les règles de bonne gestion des systèmes d'exploitation. 🔸 Concevoir si nécessaire les normes et les règles de bonne gestion et vérifier systématiquement leur application (sécurité informatique, qualité?). 🔸 Assurer la mise à niveau, l'assemblage, la cohérence et l'homologation des différents logiciels (progiciels, base de données, développements spécifiques) dans le respect de l'architecture retenue. 🔸 Prendre en charge l'intégration de nouvelles applications ou de progiciels (transactionnel et/ou batch) dans le respect des normes et procédures en vigueur 🔸 Effectuer la réception, la validation et le packaging des composants. 🔸 Installer et met à disposition des composants. 🔸 Réaliser la recette technique et l'homologation des composants / applications. 🔸 Participer à l'amélioration des processus et des outils d'industrialisation et de déploiement. 🔸 Travailler en relation étroite et permanente avec les équipes Etudes, Infrastructures et Sécurité. 🔸 Spécificités pour les tests techniques. 🔸 Prise de connaissance du changement et de son contexte technique. 🔸 Compléter le plan de tests proposé. 🔸 Préparer les infrastructures de tests. 🔸 Valider les documents et les procédures à destination de la production. 🔸 Réaliser les différents tests techniques. 🔸 Analyser les résultats. 🔸 Contribuer au diagnostic en cas de dysfonctionnement. 🔸 Rédiger les rapports détaillés qui aideront à la décision du GO/NOGO pour la mise en production. 🔸 Constituer ou met à jour le patrimoine de tests réutilisable pour les intégrations ultérieures. 🔸 Effectuer le reporting vers le Responsable Intégration. 🔸 Contribuer à l'amélioration continue. 🔸 Industrialiser les tests techniques récurrents (automatisation, outillage).

Freelance
CDD
CDI

Offre d'emploi
DATA ANALYSIS - BA H/F

SMARTPOINT
Publiée le
Agile Scrum
Apache Hive
PL/SQL

1 an
10k-60k €
Paris, France

la prestation consiste à contribuer à/au-x- :  La documentation des spécifications fonctionnelles sur la base d'une expression de besoins validée et priorisée par le PO  Analyses et documentation des mappings entre les applications sources et le modèle d’entreprise tel que défini dans le projet  Analyses et documentation des mappings entre le modèle local et le model central.  L'évaluation des impacts et définition des moyens les plus pertinentes, leurs coûts et les risques/contraintes associées  Spécifications en user stories détaillées intégrant des critères d’acceptance et des cas de tests  L'assistance aux divers changements (analyse d'impact, remontées et support conduite de changement des utilisations, démarrage, déploiement)  La consolidation et la centratlsation des documentations techniques et fonctionnelles  La remontée des alertes  L'analyse des impacts des changements sur les niveaux de services (SLA /OLA)  La définition des scenarios BDD en assistance avec les différents Utilisateurs et/ou Bénéficiaires  La stratégie et L'assistance/support aux divers tests fonctionnels  L'intégration du produit dans l’architecture globale telle que définie par les différents Utilisateurs et/ou Bénéficiaires  La pérennité des pratiques Agiles au sein de la Feature / Agile Entity  Cérémonies de la Feature Entity FT / Entity Agile en étant axé sur les objectifs de l'itération, sa prévisibilité, sa vélocité…  L'atteinte des objectifs de l’entité tant sur le delivery qu'en production  L'assistance et résolution des problèmes Expertises :  Monde Bancaire et du fonctionnement des grandes organisations  Analyses Métier  Data Mapping et transformation complexe  Environnement anglophone  Outils potentiellement utilisés dans le cadre de la prestation: Business intelligence (Microsoft Power BI), SQL  Méthodologie : Agile Les livrables attendus sont :  Un produit fonctionnel en ligne avec les spécifications définies et validées  Un backlog Produit maintenu dans JIRA avec des user stories  documentées avec les critères d acceptances  estimées en terme d’étude ou de dev ( story points)  Des users stories liées à l’amélioration continue définie lors de rétrospection ou d’évaluation des pratiques agiles  Des documentations d’études présentant les moyens pertinents répondant aux spécifications métiers  Une documentation d'architecture fonctionnelle (et technique en s’appuyant sur l’entité) des uses cases, des collectes et traitements  Une documentation centralisée permettant de retrouver facilement les règles métiers implémentées  Une roadmap à court/moyen terme maintenue et documentée  Suivi et gestion des cérémonies agiles pour chaque Sprints( Sprint Planning , Back log refinement , Sprint Review, Démo, rétrospection , 3 Amigos) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Agile Scrum  Hive  PL SQL  PostGreSQL

Freelance

Mission freelance
Architecte Système Kafka Confluent Cloud

Montash
Publiée le
Apache Kafka
Java
JIRA

6 mois
100-3k €
Paris, France

Responsabilités principales : Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Outils : KAFKA toolset Programmation et scripting (Java, PL/SQL, SQL, Unix, etc) Job Scheduling / Ordonnanceur (OpCon) Database (SQL Server) Gestion de la demande et service incident (JIRA / SNOW)

Freelance

Mission freelance
Data Engineer (H/F) - Paris

Mindquest
Publiée le
Apache Kafka
Apache Spark
Cassandra

6 mois
700 €
Paris, France

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Suivant

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2024 © Free-Work / AGSI SAS
Suivez-nous