Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Contexte de la mission Améliorer l'industrialisation, la sécurisation et la supervision des plateformes d'échanges : KAFKA, APIGEE, Bucket GCP, SFTP. Travailler sur la résilience d'APIGEE/KAFKA/SFTP ainsi que les sujets de migration KAFKA (Move 2Paris) et sur les sujets autour de l'IA avec APIGEE (MCP Server), autre plateforme Google Kafka. Un nouveau périmètre à intégrer dans l'équipe Scripts, code Terraform pour ci/cd, Procédures explicatives Astreintes et Intervention à prevoir Objectifs et livrables lCoud Provider Public (idéalement GCP) Scripting (Shell, Python) Terraform, Git , Argo, Kubernetes, Ansible KAFKA, APIGEE, Bucket GCP, SFTP, Cloudflare

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Expérience Expérience approfondie dans l'optimisation et l'industrialisation de plateformes d'échange telles que KAFKA, APIGEE, Bucket GCP et SFTP, avec un souci constant de sécurisation et de supervision. Capacité à anticiper et intervenir rapidement pour renforcer la résilience de solutions telles qu'APIGEE, KAFKA et SFTP, garantissant leur disponibilité et leur performance optimale. Participation active à des projets de migration, notamment la transition de KAFKA dans le cadre du projet Move 2Paris, afin d'assurer une continuité de service et une modernisation des infrastructures. Implication dans des initiatives liées à l'intelligence artificielle, en utilisant APIGEE (notamment le MCP Server) et d'autres plateformes Google Kafka pour le développement et l'intégration de solutions innovantes. Expérience confirmée en gestion d'incidents et en astreinte, garantissant une prise en charge efficace et rapide des problématiques techniques sur ces plateformes critiques.

Dans le cadre du développement et de l'industrialisation d'une plateforme de streaming de données, nous recherchons pour notre client, un(e) Expert Kafka capable d'accompagner les équipes techniques dans la mise en place, l'automatisation et l'optimisation de la plateforme. Le consultant interviendra au sein d'une squad en collaboration étroite avec les équipes internes afin d'améliorer les pratiques d'exploitation, d'industrialisation et de supervision de l'environnement. A ce titre, vos principales missions seront les suivantes : -Accompagner les équipes dans le choix et l'utilisation des solutions techniques -Participer à l'industrialisation et l'automatisation de la plateforme Kafka -Contribuer aux études techniques et développements -Définir et faire appliquer les normes, méthodes et outils -Assurer une veille technologique et informer sur les évolutions Livrables attendus -Production de dossiers d'expertise -Mise à jour des dossiers d'architecture -Mise à jour des éléments de suivi dans JIRA -Production de livrables techniques et référentiels d'expertise

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Big Data pour définir et piloter l’évolution des plateformes de données à grande échelle. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures distribuées en intégrant des technologies telles que Hadoop, Spark, Kafka, Iceberg/Delta Lake ou équivalents, ainsi que des principes modernes de lakehouse et de data mesh lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance et de sécurité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques Big Data et data engineering.

Notre client, basé à Cagnes sur Mer (06) est à la recherche d’un Développeur Python Senior (H/F) freelance pour travailler sur un projet en binôme avec un autre expert. MISSIONS · Refondre les pipelines de données en environnement strictement on-premise · Développer des flux d’ingestion et des mécanismes d’alimentation des données · Contribuer aux choix techniques et à la stratégie d’implémentation, sur la base des conceptions définies en amont · Optimiser et fiabiliser les traitements de données (performance, qualité, robustesse) · Participer à la mise en place et à l’amélioration des chaînes CI/CD ENVIRONNEMENT TECHNIQUE · Python, Spark, Airflow · Environnement 100% on-premise · Méthode Agile

🌟 Quel sera ton poste ? 🌟 📍Lieu : Niort 🏠 Télétravail : 3J et 2 jours présentiels 📝Contrat : CDI ou Freelance 👉 Contexte client : Dans le cadre de l’évolution de son système d’information, le client souhaite renforcer sa plateforme de streaming en s’appuyant sur une expertise Kafka . La mission consiste à développer, industrialiser et automatiser la plateforme Kafka, et idéalement son écosystème Elastic , en collaboration étroite avec les équipes internes , dans un environnement technique moderne et structuré. Tu auras pour missions de : Contribuer à l’ évolution et à l’industrialisation de la plateforme Kafka Automatiser les déploiements et l’exploitation via des pratiques Infrastructure as Code Participer à la supervision et à l’observabilité des solutions Travailler en collaboration avec la squad interne , dans un cadre Agile

Au sein de la Direction des Etudes, vous rejoindrez une équipe à forte expertise delivery de WebServices/APIs java, EventHub avec Kafka et socle CICD (Jenkins / Sonarqube...) au service des équipes de développement et des partenaires externes. Technophile doté(e) d’une grande capacité d’adaptation à des nouvelles technologies, vous possédez idéalement une connaissance des logiciels Cloud AWS, API, Kafka, CICD, Java, UNIX. Vous avez acquis une expertise technique en étude et développement dans différentes technologies et êtes en capacité développer le socle d'évènement Kafka et notre socle d'intégration et déploiement continu. Kafka - Confirmé - Impératif Cloud AWS (cloudformation, packer…) - Confirmé - Impératif Ansible - Confirmé - Impératif Java/J2EE, API Swagger - Confirmé - Important

Objectifs de la mission Le bénéficiaire souhaite une prestation d’accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters, Prestations demandées Les missions sont: Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Data engineer Spark Nantes La Squad Socles-Data a pour missions : • Le MCO de la plateforme Data Hub actuelle (DH V1). • La co-construction des nouvelles offres Data managées du nouveau Data Hub (DH V2) avec l’IT Groupe : o Prototypes, o Bêta-tests, o Pilotes, o Instanciation, o Homologation…etc. • La définition des normes, bonnes pratiques, guidelines pour simplifier/accélérer les futurs portages applicatifs sur Data-Hub V2. • Gouvernance opérationnelle. • La migration des Uses-Cases existants vers le Data-Hub V2 dans le Cloud privé BNPParibas. • Facilitage de l’usage des services Data. • Assurance du support et l’accompagnement des usagers des socles-Data. • Fournissement de l’expertise. Objectifs et livrables Les tâches sont: Data ingénieur : • Codage et testage des composants logiciels. • Formalisation des cas d’usages. • Conception et mise en œuvre des flux d’intégration de données. • Optimisation de la performance et la qualité logicielle. • Apport du support technique. • Bonne maitrise de l’écosystème Data / Java / SQL / Cloud. • Notions dans d’autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL). Technologie Langage Niveau Starburst (Trino) SQL Moyen Astronomer Airflow Python Moyen Spark 3 Java (Scala selon vos applications) Avancé Cloud (Kubernetes, COS(S3), Vault) Bas DevOps (Gitlab, Jenkins, ArgoCD, Ansible) Go, Yaml Bas Log As a Service (elk) Moyen Java Moyen SQL Moyen Python Moyen Scala (selon vos applications) Moyen Compétences demandées Compétences Niveau de compétence SCALA Confirmé Apache Airflow Confirmé APACHE Confirmé

Vous accompagnerez les équipes sur les plateformes Confluent Cloud Kakfa SaaS, Kakfa Connect GCP & OnPremise. Vos missions consisteront à contribuer: Administration Kafka et Mise en oeuvre du socle autour de Kafka Faire évoluer et maintenir la plateforme technologique autour Confluent KAFKA Mise en place et Support aux équipes de développements sur les configurations & bonnes pratiques Confluent Kafka (topics..) Participer à l’administration et les optimisations des flux Assurer la conformité avec les standards réseaux de sécurité Participer à la mise en oeuvre du plan DRP (Disaster Recovery Plan) Contribuer à la migration vers une architecture PSC unifiée Mettre en place et améliorer les solutions de monitoring de la plateforme Confluent Cloud (métriques, alertes, dashboards) Participer à la Supervision des flux Kafka Participer à la surveillance des machines On-Premise participant à l'écosystème Kafka Participer à la Configuration et l’optimisation de la remontée des logs et traces dans Dynatrace Contribuer à Garantir la conformité des accès selon les standards de sécurité Contribuer à Superviser les mécanismes d'authentification (Service Accounts, API Keys, OIDC) Contribuer à l'audit et à la gouvernance des ressources Confluent Mettre en oeuvre les bonnes pratiques de sécurité réseau Participer aux revues de sécurité périodiques Automatisation & IaC Développer des modules Terraform pour la gestion de la plateforme Automatiser les tâches récurrentes Optimiser les processus de déploiement et de rollback

Dévelopeur C#.Net, Openshift, Kafka, SQL, API, Angular Dans le cadre de notre plan stratégique et de la transformation de notre architecture Pre Trade, mission de Développeur C#. Cette équipe a pour ambition de repenser nos processus et notre architecture, en collaborant étroitement avec les métiers pour répondre à leurs exigences en matière de robustesse, de performance et de scalabilité. Le consultant travaillera en étroite collaboration avec d'autres membres de l'équipe ainsi qu'avec les parties prenantes, y compris les architectes et les utilisateurs finaux. Objectifs et livrables Compétences techniques/fonctionnelles • C# et architecture applicative: Maîtrise du langage C# pour le développement d’applications robustes, avec une forte orientation objet, structures de données et modèles de conception. • SQL: Expérience avec les bases de données relationnelles, écriture et optimisation de requêtes, gestion des performances et des index. • API et intégration: Connaissance des principes RESTful et capacité à consommer/créer des services web pour faciliter la communication entre applications et systèmes. • Angular: Développement d’interfaces front-end réactives et robustes. • Kafka: Compréhension des principes de streaming et expérience avec l’intégration de données via Apache Kafka (producteurs, consommateurs, topics, schémas, gestion des offsets). • OpenShift: Connaissance des environnements containerisés et orchestrés sur OpenShift (déploiement, scaling, pipelines CI/CD, sécurité et gestion des projets). • Systèmes financiers: Développement d’applications C# pour des plateformes financières (trading, tenue de positions), en tenant compte des contraintes de résilience et de performance. • Produits financiers: Compréhension des instruments (actions, obligations, dérivés, etc.) et des marchés, avec capacité à développer des solutions logicielles adaptées. • Tendances du marché: Veille technologique dans les services financiers et intégration des innovations pertinentes dans les projets. Compétences analytiques • Analyse des besoins: Recueil et analyse des besoins techniques des utilisateurs et parties prenantes, en veillant à l’alignement avec les objectifs du projet. • Gestion des exigences: Rédaction de spécifications techniques claires et détaillées, avec traçabilité tout au long du cycle de vie du produit. • Évaluation des solutions: Analyse et évaluation des solutions proposées pour assurer leur adéquation avec les besoins métier et les contraintes techniques. Compétences demandées Compétences Niveau de compétence OPENSHIFT Avancé API Confirmé SQL Confirmé KAFKA Avancé ANGULAR Confirmé C# Expert Langues Niveau de langue Anglais Courant

Nous cherchons un profil technico fonctionnel qui puisse nous aider à la mise en place / évolution / durcissement d’un bastion d’administration basé sur Keeper Connection Manager (Guacamole). • Maîtrise technique de KCM / Apache Guacamole : architecture, protocoles (RDP/SSH…), configuration avancée. • Pilotage & change management : gestion des évolutions, mise en production, conduite du changement, documentation et formation. • Modèle de rôles (RBAC avancé) : conception, structuration et mapping des rôles/groupes (AD) vers les permissions KCM, gestion du moindre privilège et des politiques d’accès granulaires.

Dans le cadre du développement de nos activités, nous recherchons un(e) Data Engineer pour renforcer l'équipe technique de notre client et intervenir sur des projets à forte valeur ajoutée autour de la data. En tant que Data Engineer, vous serez amené(e) à : Assurer le suivi technique des projets : suivi des développements, réalisation de revues de code et respect des bonnes pratiques Gérer les incidents techniques : analyse, résolution et mise en production des correctifs Proposer des améliorations techniques : identification des axes d’évolution et optimisation des performances et de la stabilité des applications Garantir la qualité du code : mise en place de tests unitaires et gestion de l’intégration continue Assurer la documentation technique : maintien à jour de l’architecture et de la documentation