Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Hive à Paris

Devops Kafka (H/F) A PROPOS : Notre client est spécialisé dans l’asset management. L’entreprise est une société mondiale de gestion d’actifs quantitative et systématique appliquant une approche scientifique à la finance pour développer des stratégies d’investissement alternatives pour nos clients. Ils valorisent l’innovation, l’engagement, l’aboutissement et l’intelligence collective en créant un environnement d’experts passionnés et talentueux dans les domaines de la recherche, des technologies et du business pour explorer de nouvelles idées et toujours remettre en question les hypothèses. DESCRIPTION DU POSTE : En tant que Devops Kafka, vous rejoindrez l'équipe System Build de l’entreprise dans le but d’intervenir sur l'optimisation, la configuration et le déploiement de serveurs physiques ou virtuels Linux (CentOS/Redhat 9) en fonction des besoins, des équipes métiers. Mais surtout dans le but de travailler sur les clusters kafka. Contexte : Vous devrez maintenir l’architecture, le déploiement, l’évolution et le maintien de leurs différents cluster Kafka mis à disposition des équipes. Vous vous occupez de la mise en place d'un workflow de gestion des topics et des ACLs (liste des contrôles d’accès) de ces clusters KAFKA. Vous gérerez la partie monitoring, supervision et documentation de ces architecture. Finalement, vous ferez de l’accompagnement technique/développement des utilisateurs sur ce domaine. VOS MISSIONS : · Installation, maintenance et configuration du cluster Apache Kafka pour le traitement de flux de données en temps réel. Automatisation des déploiements à l'aide de Puppet pour assurer la cohérence et l'efficacité des configurations. Kernel Linux Gestion de projets techniques liés à l'infrastructure système et au déploiement de nouvelles technologies. Évolution et maintenance des outils et services existants pour répondre aux besoins croissants de l'entreprise. Gestion et optimisation du stockage, notamment dans des environnements de calcul haute performance (HPC), en collaboration avec les équipes spécialisées. Optimisation fine des cpu Optimisation fine des accès stockage (slurm, lustre) Technologies utilisées : APACHE KAFKA, Linux (CENTOS), PUPPET, ANSIBLE , DOCKER, GIT, JENKINS, NAGIOS, GRAFANA, PYTHON, BASH, VMWARE, VSPHERE, NETAPP, SLURM, LUSTRE, HPC, NFS

SI LA GESTION DES DONNEES EST TON DADA, TU PEUX GAGNER LA COURSE EN LISANT CETTE ANNONCE … Ce que tu recherches : • Evoluer au sein d’une équipe dynamique • Participer à des projets innovants d’envergure • Relever des défis • Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi ! Au sein d’acteurs majeurs du secteur Bancaire et assurantiel, tu participeras à des projets d’envergure : • Analyse des besoins, tu feras • Spécifications techniques, tu rédigeras • L’architecture et/ou socle technique, tu définiras • Bonnes pratiques, tu instaureras • De nouvelles fonctionnalités, tu développeras • Zéro bug, tu laisseras • Ton équipe, tu accompagneras • Aux instances de pilotage, tu participeras

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Data Engineer Expérimenté (H/F) – Paris Mission à pourvoir en régie sur Paris Présence sur site : 3 jours / semaine Compétences obligatoires : Python ; AWS ; PySpark ; Airflow ; Github ; anglais courant Votre mission : - Apporter une expertise sur la constitution des datasets et KPIs - Accompagner l’équipe sur les meilleurs choix techniques - Assurer la qualité des traitements et des données - Comprendre un modèle de données et s’en servir - Maitriser et contrôler la qualité de code - Mettre en place des indicateurs de mesure de qualité sur chaque développement REF : EFP/GMCPP/ODVB Plus d’offres sur :

💼 Poste : Bigdata Engineer Cloud 🏭 Secteurs stratégiques : Banque d’investissement 📍Localisation : Ile de France 🗓 Démarrage : ASAP Expérience souhaité : 0 - 3 ans Principales missions sont : Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

nous recrutons un( e) consultant( e) expert kubernetes pour le compte de note client parisien Missions: - Accompagnement des équipes de développement pour Dockeriser leurs applications - Réalisation de script shell et python - Réalisation de playbooks et de rôles ansible - Réalisation de déploiements Terraform - Réalisation de pipeline groovy sur jenkins - Réalisation de chart Helm - Documentation des script d'automatisation - Assistance et support des équipes de développement - Communication avec les équipes d'infrastructure

Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud, nous recrutons un(e) Système Architecte Kafka confluent Cloud. En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Ce rôle implique : L'accompagnement des équipes clientes IT dans la mise en œuvre des solutions liées à Kafka L’encadrement d’équipes techniques sur les projets L’accompagnement de nos équipes sur leur montée en compétences L’écriture des spécifications techniques en amont de la réalisation La validation des chiffrage projets Gestion de back log utilisant la méthode adaptée Le travail en étroite collaboration avec l’équipe IT Métier pour délivrer les projets selon les priorités stratégiques partagée Et, surtout, et créer un cadre de travail harmonieux et valoriser le travail des équipes de développements pour fédérer les meilleurs talents Expérience attendue Expérience dans le développement opérationnel de flux sous KAFKA Expérience significative sur la plateforme Confluent Expérience significative dans un environnement Agile/ Hybrid Expérience de management d’équipes de développeurs et de suivi du delivery Test unitaire/Compliance /Performance Documentation & procédures afin de facilité au support le Monitoring technico fonctionnel des interfaces/Jobs Expérience SAP (ECC & S4/HANA) serait apprécié Coordination avec l’équipe de DEV afin de délivrer un support N3.

Afin de renforcer l’équipe DATA, nous recherchons un.e Data Analyst. Le Data Analyst travaille en étroite collaboration avec les équipes métiers et techniques, afin de leur fournir les données nécessaires à une prise de décision éclairée. Vos missions : · Répondre à des questions métiers, de façon ad hoc via des requêtes et extractions ou bien de façon plus pérenne via la création de tableaux de bord · Concevoir, développer, tester et maintenir les pipelines de transformations des données · Construire les transformations qui nous permettront de partager des données de qualité aux différentes directions/filiales · Collaborer avec les métiers afin de concevoir de nouveaux reportings · Collaborer avec l’équipe Data Science afin de les aider à la conception de leurs modules d’intelligence artificielle. · Être force de proposition pour l’amélioration continue des processus existants · Vous connaissez le SQL et vous êtes capable d’écrire des requêtes complexes. · Vous avez une appétence pour l’analyse de données et de Data Visualization · Vous avez un fort esprit analytique · Vous êtes clair et concis et vous savez vulgariser vos connaissances auprès du métier Bonus : · Vous connaissez Snowflake · Vous avez eu une expérience avec Airflow · Vous savez utiliser Git · Vous avez de l’expérience avec des langages de programmation comme Python

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation d’un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Ingénieur de production (H/F) 🚀 💰 Votre mission est pour un client reconnu dans le secteur bancaire, implanté dans de nombreuses villes en France, il a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. 💳 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Mettre en œuvre des solutions techniques. 🔸 Réaliser des diagnostics pour identifier les causes de dysfonctionnement, proposer et mettre en œuvre des corrections et des solutions de "back-up". 🔸 Proposer des solutions pour améliorer les performances de son domaine d'activité. 🔸 Assurer, si nécessaire, l'interface des experts des autres domaines et gère les échanges avec les sous-traitants. 🔸 Définir les règles de bonne gestion des systèmes d'exploitation. 🔸 Concevoir si nécessaire les normes et les règles de bonne gestion et vérifier systématiquement leur application (sécurité informatique, qualité?). 🔸 Assurer la mise à niveau, l'assemblage, la cohérence et l'homologation des différents logiciels (progiciels, base de données, développements spécifiques) dans le respect de l'architecture retenue. 🔸 Prendre en charge l'intégration de nouvelles applications ou de progiciels (transactionnel et/ou batch) dans le respect des normes et procédures en vigueur 🔸 Effectuer la réception, la validation et le packaging des composants. 🔸 Installer et met à disposition des composants. 🔸 Réaliser la recette technique et l'homologation des composants / applications. 🔸 Participer à l'amélioration des processus et des outils d'industrialisation et de déploiement. 🔸 Travailler en relation étroite et permanente avec les équipes Etudes, Infrastructures et Sécurité. 🔸 Spécificités pour les tests techniques. 🔸 Prise de connaissance du changement et de son contexte technique. 🔸 Compléter le plan de tests proposé. 🔸 Préparer les infrastructures de tests. 🔸 Valider les documents et les procédures à destination de la production. 🔸 Réaliser les différents tests techniques. 🔸 Analyser les résultats. 🔸 Contribuer au diagnostic en cas de dysfonctionnement. 🔸 Rédiger les rapports détaillés qui aideront à la décision du GO/NOGO pour la mise en production. 🔸 Constituer ou met à jour le patrimoine de tests réutilisable pour les intégrations ultérieures. 🔸 Effectuer le reporting vers le Responsable Intégration. 🔸 Contribuer à l'amélioration continue. 🔸 Industrialiser les tests techniques récurrents (automatisation, outillage).

Responsabilités principales : Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Outils : KAFKA toolset Programmation et scripting (Java, PL/SQL, SQL, Unix, etc) Job Scheduling / Ordonnanceur (OpCon) Database (SQL Server) Gestion de la demande et service incident (JIRA / SNOW)

Notre client dans le sectuer du Retail recherche un Sycteme Architecte Kafka pour une mission freelance de Longue duree (12 mois) . Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance... Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle

Pour l'un de nos clients finaux sur Paris, nous sommes à la recherche d'un Système Architecte Kafka confluent Cloud. Démarrage dès que possible pour long terme. En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle. Maîtrise des langages de programmation tels que Java, Scala ou Python. Connaissance approfondie des pratiques de sécurité des données et des architectures microservices. Excellentes compétences en communication, en présentation et en leadership. Ce rôle implique : L'accompagnement des équipes clientes IT dans la mise en œuvre des solutions liées à Kafka L’encadrement d’équipes techniques sur les projets L’accompagnement de nos équipes sur leur montée en compétences L’écriture des spécifications techniques en amont de la réalisation La validation des chiffrage projets Gestion de back log utilisant la méthode adaptée Le travail en étroite collaboration avec l’équipe IT Métier pour délivrer les projets selon les priorités stratégiques partagée Et, surtout, et créer un cadre de travail harmonieux et valoriser le travail des équipes de développements pour fédérer les meilleurs talents

Contexte du poste : Nous sommes une entreprise innovante dans le secteur des technologies appliquées à l'assurance, basée dans la région parisienne. Notre mission est d'accompagner les assureurs dans la gestion et l'analyse de leurs risques, en utilisant des solutions SaaS avancées. Nous travaillons sur des projets variés visant à optimiser la souscription d'assurances et la gestion de portefeuille grâce à l'intelligence artificielle. Afin de soutenir notre croissance rapide et nos projets d'expansion internationale, nous recherchons un(e)Data Scientist orienté Engineering pour renforcer notre département Insights. Missions : - Concevoir et implémenter des modèles de Machine Learning pour répondre aux besoins business complexes. - Gérer le cycle de vie complet des modèles, de la conceptualisation à la mise en production. - Être le garant de la qualité du code au sein du département Insights, mettre en place des bonnes pratiques de développement. - Conduire des analyses ad hoc pour éclairer les décisions stratégiques. - Participer à des projets d'innovation et d'expérimentation de nouvelles technologies.

Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json