Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous sommes à la recherche d'un(e) Data Ingénieur / Développeur Flux passionné(e) par les technologies de flux de données et le développement de solutions ETL/ESB. Rejoignez-nous pour faire partie d'une équipe dynamique et contribuer à la conception et à l'implémentation de projets data de haute qualité pour nos clients. Description de la mission : En tant que Data Ingénieur / Développeur Flux, vous serez intégré(e) à un plateau agile et vous aurez pour mission la conception et l'implémentation de solutions ETL/ESB pour nos clients. Vous travaillerez sur des projets data transverses, en étroite collaboration avec les équipes métier et business, et vous contribuerez à faire évoluer et à challenger les process de l'entreprise. Responsabilités : Concevoir et développer des programmes et applications ETL/ESB en fonction des spécifications fonctionnelles et des besoins client. Réaliser les procédures de tests techniques, d'intégration et de recette des développements. Analyser les problèmes techniques et fonctionnels et proposer des correctifs et des mises en conformité techniques. Élaborer et rédiger des documentations techniques à destination du service informatique client. Automatiser l'acquisition, la collecte et l'agrégation des données provenant de différentes sources. Gérer les bases de données de stockage et nettoyer, consolider et structurer les données à l'aide d'outils et d'algorithmes. Travailler en étroite collaboration avec les autres membres de l'équipe technique pour assurer la pertinence et la qualité des solutions développées.

Dans le cadre de son activité, l’équipe E-commerce France souhaite améliorer les expériences de nos clients sur l’ensemble des sujets autour de l’aspect relationnel (chatbot, faq, gestion de la communauté, animation de la fidélité, mise en avant de l’application mobile etc …). La mission consiste donc à venir contribuer en Innersource sur les différents produits de ces parcours, dont la responsabilité reste aux équipes Core. Nous recherchons donc une personne pouvant renforcer un collectif de personnes travaillant sur différents sujets d'Inner source de Produits digitaux pour aider le métier à améliorer les expériences des clients.. Vos responsabilités : - Collaboration avec les différentes parties prenantes métiers côté afin d’identifier les fonctionnalités à implémenter ; - Collaboration avec les équipes “core” en charge des produits qui devront être inner sourcés afin de mettre en place les bonnes pratiques de ce type de collaboration ; - Développement front sur des environnements qui pourront être différents d’un produit à un autre, mais qui respecteront pour autant le Tech Radar (Vue.JS, React.JS principalement) ; - Développement back potentiel dans un environnement NodeJS ; - Étude et spécification fonctionnelle en amont du développement pour intégrer au mieux le développement dans le contexte du produit ; - Participer et intervenir dans des ateliers techniques de conception et architecture ; - Garant de la qualité du code produit, vous interviendrez autant en build qu’en run dans un esprit : you build it, you run it !

Responsabilités principales • Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. • Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. • Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. • Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. • Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. • Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. • Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. • Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent.

engIT recrute un ingénieur devOps (Kafka) pour intégrer les équipes transverses et middleware de notre partenaire leader mondial dans son secteur. Vous participerez à des projets où une infrastructure haute performance capable de supporter des volumes de données massif en temps réel est nécessaire. Principales responsabilités : Faire évoluer et concevoir des infrastructures Cloud (Kubernetes) Azure Utiliser les processus CI/CD Appréhender et concevoir une infrastructure répondant à des problématiques de haute disponibilité et architectures distribuées (Kafka) Monitorer la plateforme (Prometheus) Utiliser les outils d’infrastructure (Terraform, Ansible, etc.)

Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud, nous recrutons un(e) Système Architecte Kafka confluent Cloud. En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Ce rôle implique : L'accompagnement des équipes clientes IT dans la mise en œuvre des solutions liées à Kafka L’encadrement d’équipes techniques sur les projets L’accompagnement de nos équipes sur leur montée en compétences L’écriture des spécifications techniques en amont de la réalisation La validation des chiffrage projets Gestion de back log utilisant la méthode adaptée Le travail en étroite collaboration avec l’équipe IT Métier pour délivrer les projets selon les priorités stratégiques partagée Et, surtout, et créer un cadre de travail harmonieux et valoriser le travail des équipes de développements pour fédérer les meilleurs talents Expérience attendue Expérience dans le développement opérationnel de flux sous KAFKA Expérience significative sur la plateforme Confluent Expérience significative dans un environnement Agile/ Hybrid Expérience de management d’équipes de développeurs et de suivi du delivery Test unitaire/Compliance /Performance Documentation & procédures afin de facilité au support le Monitoring technico fonctionnel des interfaces/Jobs Expérience SAP (ECC & S4/HANA) serait apprécié Coordination avec l’équipe de DEV afin de délivrer un support N3.

Responsabilités principales : Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Outils : KAFKA toolset Programmation et scripting (Java, PL/SQL, SQL, Unix, etc) Job Scheduling / Ordonnanceur (OpCon) Database (SQL Server) Gestion de la demande et service incident (JIRA / SNOW)

Expert Middleware (WAS / JBoss / Apache Tomcat / IIS) L'expert rejoindra le service qui regroupe les équipes d'ingénieries infrastructures, middlewares et bases de données. Missions: Administration courante WAS (Websphere) Administration courante JBoss / Wildfly Mise en œuvre des infrastructures serveurs Web d'applications (Apache Tomcat et IIS) Administration des outils CI/CD Automatisation (Scripting / Ansible / Rundek) Support de niveau 4 (la production est opérée à Singapour) Développement JAVA (optionnel)

Notre client dans le sectuer du Retail recherche un Sycteme Architecte Kafka pour une mission freelance de Longue duree (12 mois) . Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance... Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle

Descriptif du poste Nous menons une campagne de recrutement dédiée aux profils d’ Intégrateur d’applications / Ingénieur de production (H/F) afin d’intégrer des projets ambitieux d’intégration applicative en environnement DevOps. L’ Ingénieur de Production (H/F) s’occupe principalement de l’exploitation des applications. Il peut également intervenir sur la partie Build en fonction de l’organisation des différents clients. Celui-ci participe au maintien en conditions opérationnelles des applications. Pour cela il réalise les tâches suivantes : Assurer le bon fonctionnement, la disponibilité et la continuité des services, l’administration et l’exploitation des applications Gestion : incidents, problèmes, configuration, changements (ITIL) Production des indicateurs (optimisation de services, mesure de la Qualité de Service, métriques, etc.) Arrêt / Marche des composants Continuité / Disponibilité des composants applicatifs Supervision des applications Amélioration continue Sur les différents environnements (recette, qualification, pré-production, production) : Déploiement de composants applicatifs Mise en place de nouvelles chaines d'ordonnancement Tests Préparation MEP (répétition, changements…) Rédaction de la documentation Des postes similaires sont à pourvoir sur Aix en Provence (13), Vaison la Romaine (84) et Montpellier (34).

Pour l'un de nos clients finaux sur Paris, nous sommes à la recherche d'un Système Architecte Kafka confluent Cloud. Démarrage dès que possible pour long terme. En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Compétences et qualifications Diplôme en informatique, ingénierie ou domaine connexe. Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle. Maîtrise des langages de programmation tels que Java, Scala ou Python. Connaissance approfondie des pratiques de sécurité des données et des architectures microservices. Excellentes compétences en communication, en présentation et en leadership. Ce rôle implique : L'accompagnement des équipes clientes IT dans la mise en œuvre des solutions liées à Kafka L’encadrement d’équipes techniques sur les projets L’accompagnement de nos équipes sur leur montée en compétences L’écriture des spécifications techniques en amont de la réalisation La validation des chiffrage projets Gestion de back log utilisant la méthode adaptée Le travail en étroite collaboration avec l’équipe IT Métier pour délivrer les projets selon les priorités stratégiques partagée Et, surtout, et créer un cadre de travail harmonieux et valoriser le travail des équipes de développements pour fédérer les meilleurs talents

Descriptif du poste Nous menons une campagne de recrutement dédiée aux profils d’ Intégrateur d’applications / Ingénieur de production (H/F) afin d’intégrer des projets ambitieux d’intégration applicative en environnement DevOps. L’ Ingénieur de Production (H/F) s’occupe principalement de l’exploitation des applications. Il peut également intervenir sur la partie Build en fonction de l’organisation des différents clients. Celui-ci participe au maintien en conditions opérationnelles des applications. Pour cela il réalise les tâches suivantes : Assurer le bon fonctionnement, la disponibilité et la continuité des services, l’administration et l’exploitation des applications Gestion : incidents, problèmes, configuration, changements (ITIL) Production des indicateurs (optimisation de services, mesure de la Qualité de Service, métriques, etc.) Arrêt / Marche des composants Continuité / Disponibilité des composants applicatifs Supervision des applications Amélioration continue Sur les différents environnements (recette, qualification, pré-production, production) : Déploiement de composants applicatifs Mise en place de nouvelles chaines d'ordonnancement Tests Préparation MEP (répétition, changements…) Rédaction de la documentation Des postes similaires sont à pourvoir sur Marseille (13), Vaison la Romaine (84) et Montpellier (34).

Descriptif du poste Nous menons une campagne de recrutement dédiée aux profils d’ Intégrateur d’applications / Ingénieur de production (H/F) afin d’intégrer des projets ambitieux d’intégration applicative en environnement DevOps. L’ Ingénieur de Production (H/F) s’occupe principalement de l’exploitation des applications. Il peut également intervenir sur la partie Build en fonction de l’organisation des différents clients. Celui-ci participe au maintien en conditions opérationnelles des applications. Pour cela il réalise les tâches suivantes : Assurer le bon fonctionnement, la disponibilité et la continuité des services, l’administration et l’exploitation des applications Gestion : incidents, problèmes, configuration, changements (ITIL) Production des indicateurs (optimisation de services, mesure de la Qualité de Service, métriques, etc.) Arrêt / Marche des composants Continuité / Disponibilité des composants applicatifs Supervision des applications Amélioration continue Sur les différents environnements (recette, qualification, pré-production, production) : Déploiement de composants applicatifs Mise en place de nouvelles chaines d'ordonnancement Tests Préparation MEP (répétition, changements…) Rédaction de la documentation Des postes similaires sont à pourvoir sur Marseille (13), Aix en Provence (13) et Montpellier (34).

Nous recherchons pour notre client un développeur full stack qui va implémenter les fonctionnalités métier dans leur intégralité et qui intervenir sur l'ensemble de la stack technique (front, back, base de données...). Activité principale : Participer aux tâches de performance et de maintenance. Développement en TDD des besoins métier (front & back) Rédaction et actualisation de documents techniques Support aux équipes fonctionnelles Réalisation de tests croisés Compétences attendues Expériences significatives en Java et React Développement en TDD Bonne connaissance sur la méthodologie BDD et l'approche DDD Environnement technique : Java, React, Spring Boot, Hibernate, Oracle Database, Kafka, Elasticsearch, ZK, Drools, MyBatis, PostgreSQL

Ingénieur système Linux (RedHat) (H/F) A PROPOS : Notre client est spécialisé dans l’asset management. L’entreprise est une société mondiale de gestion d’actifs quantitative et systématique appliquant une approche scientifique à la finance pour développer des stratégies d’investissement alternatives pour nos clients. Ils valorisent l’innovation, l’engagement, l’aboutissement et l’intelligence collective en créant un environnement d’experts passionnés et talentueux dans les domaines de la recherche, des technologies et du business pour explorer de nouvelles idées et toujours remettre en question les hypothèses. DESCRIPTION DU POSTE : En tant qu'Ingénieur Système Linux (RedHat), vous rejoindrez l'équipe System Build de l’entreprise dans le but d’intervenir sur l'optimisation, la configuration et le déploiement de serveurs physiques ou virtuels Linux (CentOS/Redhat 9) en fonction des besoins, des équipes métiers. Contexte : Vous devrez maintenir l’architecture, le déploiement, l’évolution et le maintien de leurs différents cluster Kafka mis à disposition des équipes. Vous vous occupez de la mise en place d'un workflow de gestion des topics et des ACLs de ces clusters KAFKA. Vous gérerez la partie monitoring, supervision et documentation de ces architecture. Finalement, vous ferez de l’accompagnement technique/développement des utilisateurs sur ce domaine. VOS MISSIONS : Installation, maintenance et configuration du cluster Apache Kafka pour le traitement de flux de données en temps réel. Automatisation des déploiements à l'aide de Puppet pour assurer la cohérence et l'efficacité des configurations. Kernel Linux Gestion de projets techniques liés à l'infrastructure système et au déploiement de nouvelles technologies. Évolution et maintenance des outils et services existants pour répondre aux besoins croissants de l'entreprise. Gestion et optimisation du stockage, notamment dans des environnements de calcul haute performance (HPC), en collaboration avec les équipes spécialisées. Optimisation fine des cpu Optimisation fine des accès stockage (slurm, lustre) Technologies utilisées : APACHE KAFKA, Linux (CENTOS) – Kernel, PUPPET, ANSIBLE , DOCKER, GIT, JENKINS, NAGIOS, GRAFANA, PYTHON, BASH, VMWARE, VSPHERE, NETAPP, SLURM, LUSTRE, HPC, NFS

Dans le cadre de notre développement, nous recherchons un(e) Data Analyst en CDI sur Paris. Le socle applicatif technique : Power BI confirmé SQL confirmé Python / PySpark Hive Les principales missions sont : L'objectif sera de concevoir, développer, déployer et documenter, des tableaux de bord Power BI afin de surveiller les performances d'algorithmes de machine learning en production. Travail à partir de bases sql alimentées par les indicateurs nécessaires à restituer sous Power BI. - Participer à l'analyse détaillée des besoins fonctionnels et techniques - Participer aux ateliers de chiffrage et de raffinement des besoins - Coder la solution (logiciel, application, système...) - Réaliser la documentation associée - Implémenter la solution avec les technologies retenues - Réaliser des tests unitaires (TDD) - Dérouler les tests et valider son développement - Gérer la maintenance corrective et évolutive de l'application - Comprendre et connaitre ce qu'est l'intégration continue - Dans une équipe, il doit participer à la construction de la définition du finie. - Est amené à tester et à recetter les développements des autres membres de l'équipe. Il valide alors les développements attendus par rapport aux spécifications.

PAS DE SOUS-TRAITANCE // MERCI Pour une mission longue durée nous recherchons un développeur dev back en Java avec des compétences sur micronaut / spring boot/ Apache Solr avec des connaissances sur les moteurs de recherche Responsabilités: Concevoir, développer et déployer des applications robustes en utilisant Java, Micronaut et Spring Boot. Collaborer avec une équipe multidisciplinaire pour concevoir et implémenter des fonctionnalités innovantes. Optimiser les performances des applications et assurer la qualité du code. Intégrer des moteurs de recherche avancés pour améliorer la convivialité et la pertinence des résultats.