Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Pig à Paris

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation d’un projet important, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Ingénieur de production (H/F) 🚀 💰 Votre mission est pour un client reconnu dans le secteur bancaire, implanté dans de nombreuses villes en France, il a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. 💳 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Mettre en œuvre des solutions techniques. 🔸 Réaliser des diagnostics pour identifier les causes de dysfonctionnement, proposer et mettre en œuvre des corrections et des solutions de "back-up". 🔸 Proposer des solutions pour améliorer les performances de son domaine d'activité. 🔸 Assurer, si nécessaire, l'interface des experts des autres domaines et gère les échanges avec les sous-traitants. 🔸 Définir les règles de bonne gestion des systèmes d'exploitation. 🔸 Concevoir si nécessaire les normes et les règles de bonne gestion et vérifier systématiquement leur application (sécurité informatique, qualité?). 🔸 Assurer la mise à niveau, l'assemblage, la cohérence et l'homologation des différents logiciels (progiciels, base de données, développements spécifiques) dans le respect de l'architecture retenue. 🔸 Prendre en charge l'intégration de nouvelles applications ou de progiciels (transactionnel et/ou batch) dans le respect des normes et procédures en vigueur 🔸 Effectuer la réception, la validation et le packaging des composants. 🔸 Installer et met à disposition des composants. 🔸 Réaliser la recette technique et l'homologation des composants / applications. 🔸 Participer à l'amélioration des processus et des outils d'industrialisation et de déploiement. 🔸 Travailler en relation étroite et permanente avec les équipes Etudes, Infrastructures et Sécurité. 🔸 Spécificités pour les tests techniques. 🔸 Prise de connaissance du changement et de son contexte technique. 🔸 Compléter le plan de tests proposé. 🔸 Préparer les infrastructures de tests. 🔸 Valider les documents et les procédures à destination de la production. 🔸 Réaliser les différents tests techniques. 🔸 Analyser les résultats. 🔸 Contribuer au diagnostic en cas de dysfonctionnement. 🔸 Rédiger les rapports détaillés qui aideront à la décision du GO/NOGO pour la mise en production. 🔸 Constituer ou met à jour le patrimoine de tests réutilisable pour les intégrations ultérieures. 🔸 Effectuer le reporting vers le Responsable Intégration. 🔸 Contribuer à l'amélioration continue. 🔸 Industrialiser les tests techniques récurrents (automatisation, outillage).

la prestation consiste à contribuer à/au-x- :  La documentation des spécifications fonctionnelles sur la base d'une expression de besoins validée et priorisée par le PO  Analyses et documentation des mappings entre les applications sources et le modèle d’entreprise tel que défini dans le projet  Analyses et documentation des mappings entre le modèle local et le model central.  L'évaluation des impacts et définition des moyens les plus pertinentes, leurs coûts et les risques/contraintes associées  Spécifications en user stories détaillées intégrant des critères d’acceptance et des cas de tests  L'assistance aux divers changements (analyse d'impact, remontées et support conduite de changement des utilisations, démarrage, déploiement)  La consolidation et la centratlsation des documentations techniques et fonctionnelles  La remontée des alertes  L'analyse des impacts des changements sur les niveaux de services (SLA /OLA)  La définition des scenarios BDD en assistance avec les différents Utilisateurs et/ou Bénéficiaires  La stratégie et L'assistance/support aux divers tests fonctionnels  L'intégration du produit dans l’architecture globale telle que définie par les différents Utilisateurs et/ou Bénéficiaires  La pérennité des pratiques Agiles au sein de la Feature / Agile Entity  Cérémonies de la Feature Entity FT / Entity Agile en étant axé sur les objectifs de l'itération, sa prévisibilité, sa vélocité…  L'atteinte des objectifs de l’entité tant sur le delivery qu'en production  L'assistance et résolution des problèmes Expertises :  Monde Bancaire et du fonctionnement des grandes organisations  Analyses Métier  Data Mapping et transformation complexe  Environnement anglophone  Outils potentiellement utilisés dans le cadre de la prestation: Business intelligence (Microsoft Power BI), SQL  Méthodologie : Agile Les livrables attendus sont :  Un produit fonctionnel en ligne avec les spécifications définies et validées  Un backlog Produit maintenu dans JIRA avec des user stories  documentées avec les critères d acceptances  estimées en terme d’étude ou de dev ( story points)  Des users stories liées à l’amélioration continue définie lors de rétrospection ou d’évaluation des pratiques agiles  Des documentations d’études présentant les moyens pertinents répondant aux spécifications métiers  Une documentation d'architecture fonctionnelle (et technique en s’appuyant sur l’entité) des uses cases, des collectes et traitements  Une documentation centralisée permettant de retrouver facilement les règles métiers implémentées  Une roadmap à court/moyen terme maintenue et documentée  Suivi et gestion des cérémonies agiles pour chaque Sprints( Sprint Planning , Back log refinement , Sprint Review, Démo, rétrospection , 3 Amigos) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Agile Scrum  Hive  PL SQL  PostGreSQL

Responsabilités principales : Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Outils : KAFKA toolset Programmation et scripting (Java, PL/SQL, SQL, Unix, etc) Job Scheduling / Ordonnanceur (OpCon) Database (SQL Server) Gestion de la demande et service incident (JIRA / SNOW)

Notre client dans le sectuer du Retail recherche un Sycteme Architecte Kafka pour une mission freelance de Longue duree (12 mois) . Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance... Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle

Pour l'un de nos clients finaux sur Paris, nous sommes à la recherche d'un Système Architecte Kafka confluent Cloud. Démarrage dès que possible pour long terme. En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle. Maîtrise des langages de programmation tels que Java, Scala ou Python. Connaissance approfondie des pratiques de sécurité des données et des architectures microservices. Excellentes compétences en communication, en présentation et en leadership. Ce rôle implique : L'accompagnement des équipes clientes IT dans la mise en œuvre des solutions liées à Kafka L’encadrement d’équipes techniques sur les projets L’accompagnement de nos équipes sur leur montée en compétences L’écriture des spécifications techniques en amont de la réalisation La validation des chiffrage projets Gestion de back log utilisant la méthode adaptée Le travail en étroite collaboration avec l’équipe IT Métier pour délivrer les projets selon les priorités stratégiques partagée Et, surtout, et créer un cadre de travail harmonieux et valoriser le travail des équipes de développements pour fédérer les meilleurs talents

Contexte du poste : Nous sommes une entreprise innovante dans le secteur des technologies appliquées à l'assurance, basée dans la région parisienne. Notre mission est d'accompagner les assureurs dans la gestion et l'analyse de leurs risques, en utilisant des solutions SaaS avancées. Nous travaillons sur des projets variés visant à optimiser la souscription d'assurances et la gestion de portefeuille grâce à l'intelligence artificielle. Afin de soutenir notre croissance rapide et nos projets d'expansion internationale, nous recherchons un(e)Data Scientist orienté Engineering pour renforcer notre département Insights. Missions : - Concevoir et implémenter des modèles de Machine Learning pour répondre aux besoins business complexes. - Gérer le cycle de vie complet des modèles, de la conceptualisation à la mise en production. - Être le garant de la qualité du code au sein du département Insights, mettre en place des bonnes pratiques de développement. - Conduire des analyses ad hoc pour éclairer les décisions stratégiques. - Participer à des projets d'innovation et d'expérimentation de nouvelles technologies.

Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Contexte Objectif global : Accompagner les équipes dans le cadre du projet Obsolescence du département Paiement Description détaillée : L'objectif est d'intégrer rapidement les équipes pour les aider/soulager dans le suivi des actions pour remédier l'obsolescence du périmètre. Il sera impératif d'établir des plannings de remédiation et les suivre, remonter les alertes et points de blocage, et d'assurer les échanges entre Spécificités pour les tests techniques : - Prise de connaissance du changement et de son contexte technique - Complète le plan de tests proposé - Prépare les infrastructures de tests - Valide les documents et les procédures à destination de la production - Réalise les différents tests techniques - Analyse les résultats - Contribue au diagnostic en cas de dysfonctionnement - Rédige les rapports détaillés qui aideront à la décision du GO/NOGO pour la mise en production - Constitue ou met à jour le patrimoine de tests réutilisable pour les intégrations ultérieures - Effectue le reporting vers le Responsable Intégration - Contribue à l'amélioration continue - Industrialise les tests techniques récurrents (automatisation, outillage?) Le livrable est : Remédier à l'obsolescence des serveurs, bases de données et briques techniques du parc du département Paiement.

Nous recherchons un ingénieur de production pour les missions suivantes : - Pilotage projet (gestions des ressources, copils, reporting) - Prise en charge de l’intégration technique des solutions existantes et nouvelles. - Exploitation des plates-formes techniques en assurant le maintien en conditions opérationnelles. - Mise en œuvre des réponses aux audits externes et aux mises en conformités internes - Applications de la politique de sécurité des SI La mission proposée peut être soumise aux horaires décalés (intervention en HPO notamment) ainsi qu’à une participation au dispositif d’astreinte hebdomadaire et week-end. Il est impératif de pouvoir travailler en anglais (oral et écrit). - Gérer des incidents critiques : communication, diagnostic, correction, coordination d’experts en cellule technique. - Contact avec des cellules supports éditeurs. - Gérer des problèmes (incident récurrent avec plan d’action sur moyen/long terme) - Analyser, Gérer, Piloter des changements. - Supervision, veille technologique - Coordonner des multi-intervenants. - Réaliser l’interface entre les experts techniques et le support Editeur dont vous êtes l’interlocuteur privilégié. - Rédiger les manuels d’exploitation : procédures, sauvegardes, supervision, …

Nous sommes à la recherche d'un Expert WS02. La mission consiste à venir en renforts aux équipes en place dans le cadre de l’industrialisation de l’application. Le profil doit présenter les caractéristiques suivantes : - Intégrateur : il doit posséder une forte expérience dans des activités telles que le déploiement de produit, les outils associés (ansible), le suivi de la production avec des tâches d’administration système, point d’entrée des exploitants - Architecture : il doit avoir les compétences techniques pour comprendre voire définir une architecture - API Management : une expérience sur ce domaine (WSO2) est nécessaire pour mieux appréhender les nouveaux sujets - Gestion des identités - Il est en charge de l’adressage technique des sujets - Transfert de compétences : il doit assurer la montée en compétence de son adjoint. Environnement technique du projet : Java 8/11,Spring, CXF, log4j, JUNIT 5

En tant que DevOps vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vos activités principales seront : Conception, mise en place (scripts versionnés dans GIT, paramétrage, TDD et tests d'intégration) et livraison en production des applications dans les règles de l'art - Contribution aux Agile de l'entité dans le respect du framework Scrum (Daily meeting, Review, Rétrospective, Sprint Planning), - Maintien de la documentation technique et fonctionnelle - L'amélioration continue des processus et bonnes pratiques de développement (au sein de l'entité, mais aussi des entités du Socle BigData) - Support de production

Bonjour à tous, Je suis à la recherche d'un(e) talentueux(se) QA test automation en freelance pour rejoindre une mission passionnante avec un de nos clients du secteur de l'assurance basé à Paris. 🔍 Compétences recherchées : Solides compétences en automatisation des tests Expertise avancée avec Selenium Expérience en tant que QA Automaticien(ne) - Principaux outils/langage : - Jira (Obligatoire) - JAVA (Obligatoire) - Selenium (Obligatoire) . Maven (Obligatoire) - Approche BDD (Obligatoire) - Cucumber/Gherkin (Obligatoire) - Automatisation des tests API (souhaitable) - Jenkins (souhaitable) - Autres outils : Authentification (Ping, Saviynt) Anglais COURANT (équipe internationale) - Date de démarrage: 30 Avril 2024 - Lieu: Paris 2 jours par semaine et 3 jours de télétravail - Durée: 12 mois - Equipes: Cyberdéfense

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Nous cherchons pour l'un de nos client un profil Devops - Middleware (API Management) Taches : · Maintien en Condition Opérationnel – Niveau 2/3 : · Assurer le suivi de la performance de la plateforme HIP(*) qui est au cœur des échanges de données entre les applications du Groupement. · Assurer le suivi des tickets et demandes de support « ouverts » chez les éditeurs · Elaboration et suivi la RoadMAP technique HIP : Suivi des nouvelles version et Patch éditeurs, qualifications des versions et installation · Suivi et gestion de la capacité des briques HIP et MDW · Être en support des intégrateurs des applications dans la résolution des incidents afin de les rendre le plus autonome possible · Evolutions des normes et standards · Maintenir la documentation à jour (procédures, modes opératoires) Optimisation et Evolutions : · Faire évoluer les normes, les bonnes pratiques et les communiquer · Automatiser (ansible) les installations des nouvelles briques techniques et les tâches d’administration courantes · Être force de proposition Périmètre technique Middleware : · VM, Openshift, Kubernetes (Requis) · Ansible Tower / AWX, Ansible, Prometheus, grafana (Requis) · Dynatrace, Instana, Splunk (Requis) · Ticketing: ServiceNow (Requis) · iPaas Boomi et/ou MOM Solace (Requis) · API Gateway (Axway), MFT (GoAnywhere), Kafka, (Souhaité) · CICD : Terraform, Nexus, Gitlab CI, Gitlab, Nexus, Helm, (Souhaité) · Tomcat, Jboss, Websphere, MQSeries, (Souhaité) · Dynatrace (Souhaité)