Trouvez votre prochaine offre d’emploi ou de mission freelance Jenkins à Paris

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

💼 Poste : Bigdata Engineer Cloud 🏭 Secteurs stratégiques : Banque d’investissement 📍Localisation : Ile de France 🗓 Démarrage : ASAP Expérience souhaité : 0 - 3 ans Principales missions sont : Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket

Notre client dans le secteur Banque et finance recherche un Cloud Engineer H/F Cet Ingénieur Cloud doit être : • avec des compétences et des connaissances générales en Infrastructure/Cloud, notamment dans la construction d'infrastructures de calcul et de services associés à grande échelle (ELB, Pare-feu, VPC, Compute, clusters Kubernetes, etc...) exploités via les principes gitops (Gitlab CI, ArgoCD), dans un environnement basé sur K8S • DevOps / GitOps / Automatisation (Gitlab CI, ArgoCD) • AWS/Terraform • Kubernetes / Helm / Docker • Systèmes transactionnels hautement disponibles (base de données répliquée de manière synchrone pour les systèmes financiers) LIVRABLES : • Diriger l'architecture et l'automatisation des technologies cloud natives, déployer des applications et provisionner l'infrastructure de base. • Créez l'architecture cloud qui prendra en charge la couche d'orchestration et l'essaim de microservices et d'applications distribuées, telles que les conteneurs, Kubernetes et les opérateurs. • Construire la plateforme « As a service » pour que les développeurs puissent l'utiliser et la consommer avec l'abstraction adéquate requise. • Jouer un rôle clé dans le provisionnement de l'automatisation de l'infrastructure IAC (Infrastructure as code). • Créer des tableaux de bord et des mesures sur les performances de l'infrastructure pour fournir une visibilité aux parties prenantes • Définir le cadre de test de l'infrastructure - Garantir que l'infrastructure est résiliente lors de la phase de construction et tout au long du cycle de vie de la promotion. • Réaliser des builds/déploiements de conteneurs à l'aide de fichiers Docker multi-étapes, Docker Compose et Kubernetes. • Exécuter des déploiements automatisés et la promotion de codes/environnements. • Promouvoir l'approche DevOps et œuvrer en faveur de l'autonomie des développeurs. Besoin non fonctionnels : Assurer la sécurité, la performance, l'évolutivité, l'opérabilité, le suivi de l'infrastructure

Nous recherchons actuellement un QA automation Cypress pour un de nos clients grand compte dans le secteur des médias. Au sein d’une équipe de 5 développeurs et en liaison avec l’équipe de recetteurs manuels, vous mettrez en place et maintiendrez à jour les tests automatisés frontend avec l’outil Cypress. Définition de la stratégie de test, identification des tests manuels à automatiser, tenue du référentiel de test (outil Squash), dashboard d’exécution des tests, création des fiches d’anomalies (outil Jira). Reporter à un lead QA. Design et automatisation des cas de tests définis sur Squash avec Cypress en Typescript. Refonte complète du framework d’automatisation en mettant en place les best practices. CI/CD : Gestion du versionning du projet d’automatisation sur Gitlab et Run des tests automatisés via Jenkins Objectif : Automatisation Recette API et applications Web de publicité en méthodologie Agile Activités : Installation des outils de tests Rédaction des cas de tests Rédaction de manuels utilisateurs et installations Concevoir et rédiger les stratégies de tests Automatisation des tests Web Communiquer l’avancement des tests aux PO Suivi des incidents Tenue des Dailys, Sprint Review, Sprint Retro, Refinement, Demo Resultats : Applications testées et mises en production Validation de projets. Environnement technique : Cypress, Postman, Testcafe, Git, Servers, VM, Linux, Unix, Confluence, Slack, Scrum, Jira, Qwesto, Cucumber, Browserstack, Pipeline, Miro, Debuggex.

Cherry Pick est à la recherche d'un "Security Engineer Cloud" pour un client dans le secteur du Retail à Paris Contexte de la mission Le client a besoin de construire des fondations solides pour ses services. La Cloud Platform Engineering (CPE), initiative collaborative lancée en 2020, a pour but de répondre à cela. La CPE est transverse à l’ensemble des domaines et pays. Elle est constituée d’équipes centrées sur l’Expérience du Développeur, la mise à disposition de solutions techniques pour accélérer le développement et la stabilité/scalabilité de nos applications, les Réseaux, l’Observabilité, le FinOps. Ses objectifs principaux sont de rationaliser le catalogue de produits techniques référencés au sein du groupe ET de fournir des services “clé en main” pour les équipes applicatives, qui pourront ainsi se concentrer sur le développement de features à valeur ajoutée. Le fait d’avoir moins d’outils va permettre de mettre plus de monde sur chacun et d’approfondir l’usage de ceux-ci. Il sera aussi plus simple de basculer d’équipe en équipe grâce à des compétences communes. Objectifs et livrables En lien avec le Security Officer du domaine CPE, l’équipe Sécurité United mais également les équipes de la CPE portant la responsabilité sur les différents périmètres, vous : Définissez une vision et une stratégie à moyen et long terme de la sécurité du Réseau à Decathlon; Participer aux différents comités d’architecture pour co-construire les solutions avec les architectes afin de s’assurer de la bonne prise en comptes des exigences de sécurité Animez la définition et la communication des politiques de sécurité à Decathlon; Identifiez les risques sur vos périmètres et suivez leurs traitements avec toutes les parties prenantes; Donnez de la visibilité globale par la définition, la mise en œuvre et le pilotage des indicateurs de sécurité sur votre périmètre; Contribuez à l’écriture des roadmaps portées par les responsables produit du périmètre pour y intégrer, les actions liées à la sécurité; Accompagnez les équipes dans l’application des actions de sécurisation nécessaires sur votre périmètre; Garantissez par vos actions la résilience des produits réseaux en ayant toujours à l’esprit les enjeux métiers de votre activité; Analysez et animez la résolution des incidents de sécurité sur le périmètre en collaboration avec l’ensemble des acteurs impliqués, identifiez les plans d’action suite à ces incidents et en animez le suivi; Portez la sensibilisation sécurité, risque et conformité au sein de votre périmètre, et favorisez les bonnes pratiques au sein du collectif sécurité de votre BU; Restez en veille technologique permanente afin d’identifier rapidement les vulnérabilités et menaces de votre périmètre et de proposer des solutions technologiques innovantes.

Ingénieur Cloud Azure | Paris | Hybride 2x par semaine sur place | Compagnie d'assurance Glocomms assiste une compagnie d'assurance multinationale dans la recherche d'un personnel hautement qualifié et a motivé Azure Cloud Engineer à rejoindre leur équipe technologique dynamique. Vous serez travailler avec l'une de leurs plus grandes entités internes, les aidant à migrer Azure en tant que service ainsi que le PAAS. Le client a plus de 100 ans d'excellence sur le marché et est à la pointe de son domaine, atteindre à travers le monde. Vous travaillerez quotidiennement avec des équipes situées en Europe et aux États-Unis. Tâches spécifiques : • Aider l'équipe à migrer Azure en tant que service vers son infrastructure. • Aider l'équipe à migrer Azure PAAS vers son infrastructure. • Soutenir le propriétaire de l'entreprise pour tout ce qui concerne l'infrastructure Azure. • Résoudre tout problème au sein de l'infrastructure Azure en cours et modifier tout problème détecté. • Pour aider à la maintenance de toute l'infrastructure Azure. • Soutenir l'organisation avec tout ce qui concerne l'infrastructure Azure sous-jacente. Expérience: • Vaste expérience technique de Microsoft Azure. Le client recherche une expérience pratique en ingénierie plutôt qu’une compréhension théorique et apprise. • 7 à 10 ans d'expérience dans un environnement d'ingénierie cloud Azure • Expérience des migrations Microsoft Azure dans des environnements internationaux à grande échelle. • Expérience avec OpenShift et Terraform (de préférence)

Jeune entreprise innovante, Digital Partners a pour ambition de devenir un acteur incontournable du digital, et ce dans l'ensemble de ses marchés. Digital Partners intervient en transformation digitale, efficience opérationnelle et data analytics auprès de sociétés de tous secteurs d'activité. Dans le cadre de notre développement nous recherchons un.e Consultant(e) Data Engineer Senior (H/F). 2 Data Engineers Seniors Expérience : Entre 8 et 15 ans Localisation : Noisy le Grand Démarrage : 01/06/2024 Contexte de la mission : - Développer de nouvelles fonctionnalités et corriger les anomalies sur l'application hébergée par la plateforme data groupe : - Respecter la qualité attendue par le Client - Utiliser les technologies autorisées par le Client - Participer activement aux cérémonies agile organisées par la Squad : - Daily meeting - Sprint planning - Sprint review (démonstration du développement réalisé) - Sprint rétrospective Livrables attendus : - Code développé dans le respect du cadre contractuel et de la qualité attendue - Compte-rendu d'activité mensuel Compétences demandées : Techniques : - Développement Scala/Spark - Maîtrise de l'environnement technique (AWS Databricks, AWS S3) - Expériences sur la qualité logicielle (revue de code, conformité aux critères de qualité SONAR, tests automatisés) - Connaissance de Power BI (Azure) est un plus Fonctionnelles : - Méthode Agile - Expérience sur des projets de technologies similaires - Connaissance du domaine Data - Expérience de travail sur des projets en équipe, avec la capacité de solliciter son écosystème au bon moment Profil recherché : Nous recherchons des professionnels autonomes, méthodiques et rigoureux avec une bonne aptitude relationnelle. Les candidats doivent savoir s'organiser, anticiper, prioriser et respecter les délais. Ils doivent également avoir une capacité d'analyse, de propositions et de conseils, tout en prenant des initiatives et en étant capables d'identifier les difficultés pour remonter les bonnes alertes.

Almatek recherche pour l'un de ses clients, un expert Java Spark sur Paris Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch. Compétences techniques : Java Spark Hive, Hbase, MongoDB ou S3 Evènementiel : Kafka, Kafka Connect, KStream

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements. Le consultant devra travailler en étroite collaboration avec le Chef de Projet, responsable du lot et l'équipe de développement du Programme. Une connaissance d'Oracle est nécessaire Une expérience >5 ans sur des technologies SPARK & SCALA est nécessaire Une connaissance de contexte technologique similaire est un plus

Notre client, un groupe bancaire, recherche un consultant techino-fonctionnel, Data engineer risque de crédit (H/F). Renforcement de l'équipe pour le projet Surveillance Crédit, axé sur la production de POC, l'analyse métier, et le développement de solutions tactiques. Tâches et activités de la mission - Contribution à la production de POC (Proof of Concept). - Réalisation d'analyses métier spécifiques au risque de crédit. - Développement de solutions tactiques pour la gestion et l'analyse de données. Livrables - POCs fonctionnels pour nouvelles initiatives. - Rapports d'analyses métier détaillés. - Solutions tactiques développées et implémentées.

Notre client bancaire recherche un Data engineer - GCP BigQuery Spark Scala (H/F) pour renforcer l'équipe au sein de laquelle preste déjà un consultant de NEXORIS. Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données. Tâches et activités de la mission - Récupérer les données issues de sources externes - Utiliser la puissance du datalake pour le traitement des données - Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels - Mettre en œuvre la chaîne d'ingestion, validation, croisement et déversement des données dans le datalake - Développer en respectant les règles d’architecture définies - Développer et documenter les user stories avec l’assistance du Product Owner - Produire les scripts de déploiement - Prioriser les corrections des anomalies - Assister les équipes d’exploitation - Participer à la mise en œuvre de la chaîne de delivery continue - Automatiser les tests fonctionnels Livrables - Agrégats de données journaliers, hebdomadaires et mensuels - Scripts de déploiement - Documentation des user stories

Nous recherchons actuellement un développeur Backend AEM (Adobe Experience Manager) pour une mission chez un de nos clients grand compte. Au sein d’une équipe engagée dans une dynamique d’amélioration continue, vos principales missions seront : • Développements back-end sur un projet de migration d’un magazine éditoriale • Effectuer une veille technologique constante • Participer aux cérémonies Agile, et les animer si besoin • Participer à la co-conception des évolutions du produit, main dans la main avec le PO et le designer. • Identifier les impacts et adhérences (risques techniques, dette technique…) • Mise en place de solutions autour de la chaîne de CI/CD et des tests fonctionnels automatisés. • Gérer la dette technique au moyen d’un backlog technique dédié • Assurer le suivi de la production (performance, incidents) • Gérer les bugs en production (investigation et correction) • Gérer l’amélioration continue de l’application (Performances / QoS / Qualité de code) • Participer au développement et à l’enrichissement des librairies internes • Participer à la mise en place d’outillage et garantir l’usage des bonnes pratiques de développement dans l’équipe

Secteur: Banque d'investissement Localisation: IDF Contexte: (non exhaustif) Mise en place des métriques pour assurer la fiabilité de l'écosystème Lire le code, le comprendre Suggérer les patchs pour les développeurs, pas d'un point de vue fonctionnel mais stabilité Suggérer des améliorations et les mettre en œuvre La personne déchargera entre autre les tâches d'administration et de production que le manager assume aujourd'hui Pas de connaissance obligée en finance (souhaitable qu'il n'en ait pas) Pas d'exigence sur l'environnement de départ

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Data Engineer Expérimenté (H/F) – Paris Mission à pourvoir en régie sur Paris Présence sur site : 3 jours / semaine Compétences obligatoires : Python ; AWS ; PySpark ; Airflow ; Github ; anglais courant Votre mission : - Apporter une expertise sur la constitution des datasets et KPIs - Accompagner l’équipe sur les meilleurs choix techniques - Assurer la qualité des traitements et des données - Comprendre un modèle de données et s’en servir - Maitriser et contrôler la qualité de code - Mettre en place des indicateurs de mesure de qualité sur chaque développement REF : EFP/GMCPP/ODVB Plus d’offres sur :

Contexte du poste : Nous recherchons un Devops Engineer Automation pour notre client Grand-Compte du Luxe. Description du poste : 1) Contexte de la mission : L’ingénieur DevOps aura pour mission principale de maintenir et d'optimiser les outils constitutifs de la Software Factory en assurant la fiabilité et l'efficacité de ces outils, il/elle jouera un rôle crucial dans l'automatisation des processus de développement, d'intégration et de déploiement, contribuant ainsi directement à l'amélioration de la qualité des logiciels, à la réduction des délais de mise sur le marché et à l'efficacité de la collaboration inter-équipes. Cette mission s'inscrit dans un objectif plus large de consolidation d'une culture DevOps au sein de l'organisation, visant à soutenir l'innovation continue et l'excellence opérationnelle. Il/elle sera garant de la haute disponibilité des services et devra intervenir dans un environnement technique hétérogène, nécessitant une forte adaptabilité et une veille technologique continue. 2) Principales responsabilités : Configurer les outils pour assurer leur bon fonctionnement, leur intégration et leur optimisation. Automatiser les gestes liés à l’exploitation et à la maintenance des outils. Accompagner les équipes de développement dans l’utilisation des outils et les conseiller sur les best-practices CI/CD. Former les développeurs à l’usage des outils en animant des sessions de formation. Documenter la Software Factory : les outils, les best-practices, les erreurs courantes. Sécuriser les outils et les templates afin de respecter les normes et les standards de l’entreprise. 3) Tâches à réaliser : Installer et configurer les outils de la Software Factory. Automatiser les taches d’exploitation et de maintenance des outils. Concevoir et développer les templates et accélérateurs à utiliser par les équipes de développement. Concevoir et développer des services sous forme d’API pour enrichir les fonctionnalités des outils de la Software Factory. Automatiser les tests unitaires et préparer des scenarios de tests d’intégrations. Gérer les incidents et fournir le support L2/L3 aux utilisateurs. Corriger les anomalies. Recette des composants et livraison en production. Maintenir en conditions opérationnelles les outils de la Software Factory et des services associés. Réviser et maintenir la documentation (Runbook, Guide Utilisateurs, …). 4) Livrables attendus : Ouverture de RHAAP. Ouverture d’Artifactory. Ouverture de SonarQube. Software Factory APIs. Documentation (Runbook, Guide utilisateur, …).