Trouvez votre prochaine offre d’emploi ou de mission freelance Apache à Paris

Dans le cadre d’un programme d’industrialisation data, nous recherchons un DataOps Kafka pour fiabiliser, automatiser et exploiter des plateformes de streaming en production. Vous analyserez les pipelines existants, identifierez les points de fragilité et proposerez des améliorations en matière de résilience, de monitoring et de gouvernance des flux. Vous guiderez la mise en place de pratiques DataOps autour de Kafka : automatisation des créations de topics, gestion des schémas, versioning, tests de compatibilité et mise en place de contrôles qualité sur les événements. Vous serez responsable de l’intégration de Kafka dans les chaînes CI/CD, de la mise en place de mécanismes d’observabilité (métriques, alerting, tracing) et de la gestion proactive des incidents. Vous travaillerez main dans la main avec les équipes Data Engineering, DevOps et SRE pour optimiser les performances, la disponibilité et la traçabilité des flux. Vous participerez également à l’amélioration continue des pratiques d’exploitation et à la diffusion d’une culture DataOps autour du streaming.

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

Dans le cadre d’un programme de structuration des usages Fast Data, nous recherchons un Expert Kafka pour accompagner les équipes projets et promouvoir les bonnes pratiques autour du streaming événementiel. Vous interviendrez sur l’accompagnement des équipes applicatives dans l’adoption de Kafka, depuis la conception des flux jusqu’à la mise en production, en adressant des problématiques variées (design des topics, schémas, sécurité, performance). Vous participerez à la mise en place de mécanismes avancés tels que l’authentification OAuth pour les clients Confluent Cloud et à la définition de stratégies de gouvernance des flux. Vous contribuerez à la livraison de plans de continuité d’activité et de reprise après sinistre garantissant l’intégrité des données. Vous animerez une communauté technique autour du Fast Data, en partageant les retours d’expérience, en organisant des sessions de présentation et en contribuant à la montée en compétence collective sur les technologies de streaming.

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Contexte Dans le cadre du renforcement de ses équipes data, un acteur du secteur digital recherche un Data Engineer pour intervenir sur des problématiques de traitement et d’exploitation de données à grande échelle. Missions Concevoir et maintenir des pipelines de données (batch & streaming) Gérer l’ingestion, la transformation et la qualité des données Développer sur des environnements Big Data (Spark, Kafka) Mettre en place et optimiser les workflows (Airflow) Participer à l’industrialisation des traitements (CI/CD) Collaborer avec les équipes Data, DevOps et métiers Stack technique • Scala / Python / SQL avancé Spark / PySpark, Kafka Airflow (ETL / orchestration) Cloud : Azure et/ou AWS Git, CI/CD

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Dans le cadre d’un programme de transformation data, nous recherchons un Architecte Big Data pour définir et piloter l’évolution des plateformes de données à grande échelle. Vous analyserez les architectures existantes, identifierez les limites techniques et proposerez des trajectoires cibles adaptées aux enjeux métiers, techniques et opérationnels. Vous guiderez la conception de nouvelles architectures distribuées en intégrant des technologies telles que Hadoop, Spark, Kafka, Iceberg/Delta Lake ou équivalents, ainsi que des principes modernes de lakehouse et de data mesh lorsque pertinent. Vous serez responsable des choix structurants en matière de stockage, de traitement, de gouvernance et de sécurité des données, en veillant à la performance, à la scalabilité et à la résilience des plateformes. Vous travaillerez étroitement avec les équipes Data Engineering, Cloud et DevOps pour garantir une mise en œuvre industrialisée, alignée avec les standards d’entreprise et les contraintes d’exploitation. Vous aurez également un rôle clé dans l’animation d’ateliers techniques, la formalisation de patterns d’architecture et l’accompagnement des équipes dans l’adoption des meilleures pratiques Big Data et data engineering.

Vous accompagnerez les équipes sur les plateformes Confluent Cloud Kakfa SaaS, Kakfa Connect GCP & OnPremise. Vos missions consisteront à contribuer: Administration Kafka et Mise en oeuvre du socle autour de Kafka Faire évoluer et maintenir la plateforme technologique autour Confluent KAFKA Mise en place et Support aux équipes de développements sur les configurations & bonnes pratiques Confluent Kafka (topics..) Participer à l’administration et les optimisations des flux Assurer la conformité avec les standards réseaux de sécurité Participer à la mise en oeuvre du plan DRP (Disaster Recovery Plan) Contribuer à la migration vers une architecture PSC unifiée Mettre en place et améliorer les solutions de monitoring de la plateforme Confluent Cloud (métriques, alertes, dashboards) Participer à la Supervision des flux Kafka Participer à la surveillance des machines On-Premise participant à l'écosystème Kafka Participer à la Configuration et l’optimisation de la remontée des logs et traces dans Dynatrace Contribuer à Garantir la conformité des accès selon les standards de sécurité Contribuer à Superviser les mécanismes d'authentification (Service Accounts, API Keys, OIDC) Contribuer à l'audit et à la gouvernance des ressources Confluent Mettre en oeuvre les bonnes pratiques de sécurité réseau Participer aux revues de sécurité périodiques Automatisation & IaC Développer des modules Terraform pour la gestion de la plateforme Automatiser les tâches récurrentes Optimiser les processus de déploiement et de rollback

Dévelopeur C#.Net, Openshift, Kafka, SQL, API, Angular Dans le cadre de notre plan stratégique et de la transformation de notre architecture Pre Trade, mission de Développeur C#. Cette équipe a pour ambition de repenser nos processus et notre architecture, en collaborant étroitement avec les métiers pour répondre à leurs exigences en matière de robustesse, de performance et de scalabilité. Le consultant travaillera en étroite collaboration avec d'autres membres de l'équipe ainsi qu'avec les parties prenantes, y compris les architectes et les utilisateurs finaux. Objectifs et livrables Compétences techniques/fonctionnelles • C# et architecture applicative: Maîtrise du langage C# pour le développement d’applications robustes, avec une forte orientation objet, structures de données et modèles de conception. • SQL: Expérience avec les bases de données relationnelles, écriture et optimisation de requêtes, gestion des performances et des index. • API et intégration: Connaissance des principes RESTful et capacité à consommer/créer des services web pour faciliter la communication entre applications et systèmes. • Angular: Développement d’interfaces front-end réactives et robustes. • Kafka: Compréhension des principes de streaming et expérience avec l’intégration de données via Apache Kafka (producteurs, consommateurs, topics, schémas, gestion des offsets). • OpenShift: Connaissance des environnements containerisés et orchestrés sur OpenShift (déploiement, scaling, pipelines CI/CD, sécurité et gestion des projets). • Systèmes financiers: Développement d’applications C# pour des plateformes financières (trading, tenue de positions), en tenant compte des contraintes de résilience et de performance. • Produits financiers: Compréhension des instruments (actions, obligations, dérivés, etc.) et des marchés, avec capacité à développer des solutions logicielles adaptées. • Tendances du marché: Veille technologique dans les services financiers et intégration des innovations pertinentes dans les projets. Compétences analytiques • Analyse des besoins: Recueil et analyse des besoins techniques des utilisateurs et parties prenantes, en veillant à l’alignement avec les objectifs du projet. • Gestion des exigences: Rédaction de spécifications techniques claires et détaillées, avec traçabilité tout au long du cycle de vie du produit. • Évaluation des solutions: Analyse et évaluation des solutions proposées pour assurer leur adéquation avec les besoins métier et les contraintes techniques. Compétences demandées Compétences Niveau de compétence OPENSHIFT Avancé API Confirmé SQL Confirmé KAFKA Avancé ANGULAR Confirmé C# Expert Langues Niveau de langue Anglais Courant

Vous rejoindrez notre équipe en charge de l’administration et du maintien en condition opérationnel de la plateforme MongoDB Atlas ainsi qu’à la mise en production et à l’industrialisation des projets. Vos missions consisteront à contribuer: Accompagner les équipes projet dans la mise en place des bases Gérer les installations, montées de version, paramétrage et optimisation des bases Amélioration des performances (tuning des requêtes SQL, configuration des services) Assurer le support en interne en cas de bug ou d’anomalies Assurer la relation avec les fournisseurs externes (MongoDB) Gérer les configurations Private Service Connect (PSC) pour les clusters Confluent Cloud Assurer la conformité avec les standards réseaux de sécurité Participer à la mise en oeuvre du plan DRP (Disaster Recovery Plan) Contribuer à la migration vers une architecture PSC unifiée Assurer le monitoring et Observabilité Mettre en place et améliorer les solutions de monitoring de la plateforme Superviser les clusters et les noeuds sur MongoDB Atlas Assurer la surveillance des services (Sharding, Archive Online, …) Configurer et optimiser la remontée des logs et traces dans Dynatrace Développer des tableaux de bord pertinents pour le suivi opérationnel Mettre en place des alertes proactives sur les métriques critiques Garantir la conformité des accès selon les standards de sécurité Contribuer à l'audit et à la gouvernance des ressources MongoDB Atlas Mettre en oeuvre les bonnes pratiques de sécurité réseau Participer aux revues de sécurité périodiques (interface avec KMS Google et FortaniX, gestion des rôles, cryptage, interface avec notre solution SoC ) Maintenir et enrichir les pipelines CI/CD pour le déploiement de l'infrastructure Contribuer au développement des modules Terraform pour la gestion de la plateforme Automatiser les tâches opérationnelles récurrentes Optimiser les processus de déploiement

L’Expert Talend / Business Intelligence intervient dans le cadre d’une mission stratégique au sein d’une institution financière publique de premier plan. Il contribue à la conception, au développement et à l’évolution de la chaîne BI, en prenant en charge les développements Talend Data Integration et Talend ESB, l’administration TAC, la sécurisation des flux, les montées de version techniques, le suivi de production ainsi que la rédaction des livrables techniques. Il participe également au pilotage opérationnel, au reporting, aux échanges avec la MOA et à l’amélioration continue des environnements applicatifs.

Description : Dans le cadre de la modernisation de notre plateforme et de l’adoption d’une culture You Build It, You Run It, nous recherchons un profil hybride : un lead développeur confirmé (Java / Angular) et un sens de l’exploitation. Ce rôle va au-delà du développement classique : il s’agit de construire, déployer et opérer les applications en production, d’assurer leur performance et de contribuer à l’automatisation de notre chaîne logicielle. Missions principales • Développer les services backend en Java / Spring Boot et les interfaces en Angular, dans une démarche craft (tests, clean code, revues). • Concevoir, industrialiser et maintenir les pipelines CI/CD pour automatiser les déploiements (GitLab CI). • Contribuer au monitoring et à l’observabilité (Prometheus, Grafana, ELK, OpenTelemetry). • Optimiser les performances du code, des requêtes, des API, ainsi que le dimensionnement des ressources cloud. • Assurer la continuité de service : disponibilité, résilience, gestion des incidents, analyse post-mortem. • Participer activement à la vie du produit : architecture, conception, revues de code, amélioration continue. • Apporter un regard Ops au sein de l’équipe : logging, alerting, observabilité, bonnes pratiques de run. • Veille et recommandation sur les bonnes pratiques DevOps et outils d’industrialisation.

Au sein du pôle technologique en charge des plateformes as a service , vous rejoignez la Squad Streaming qui est responsable du build et du run d’une plateforme Kafka (Confluent) de grande envergure, utilisée par de nombreuses entités du groupe. La plateforme compte plus de 30 clusters Kafka et constitue un socle critique pour les flux de données temps réel. Build & Architecture Déployer de nouveaux clusters Kafka (Confluent) Participer à la définition des architectures futures de la plateforme Concevoir et tester des prototypes liés aux nouveaux cas d’usage Industrialisation & Automatisation Automatiser les déploiements et opérations via Ansible Standardiser et fiabiliser les configurations Améliorer en continu les processus d’installation, d’upgrade et de scaling Run & Exploitation Assurer la mise en production et le maintien en condition opérationnelle des clusters Mettre à l’échelle les clusters existants (scaling horizontal et vertical) Participer aux astreintes techniques Diagnostiquer et résoudre les incidents complexes liés à la plateforme Support & Expertise Accompagner les équipes utilisatrices dans l’usage de la plateforme Kafka Fournir un support technique avancé Documenter les offres proposées par la plateforme Animer des formations, démonstrations et WebTech Rôle au sein de la Squad Prendre en charge des éléments du backlog Participer aux rituels agiles (daily, rétrospectives, démos, PI Planning) Co-construire la roadmap avec le Product Owner et le Squad Lead Endosser le rôle de lead technique sur un produit de la plateforme Compétences techniques requises Expertise solide Kafka (idéalement Confluent) Expérience d’exploitation de plateformes en production critique Automatisation avec Ansible Systèmes Linux Connaissance des architectures distribuées et résilientes Compétences appréciées Kubernetes Observabilité / monitoring Réseaux & sécurité Scripting (Python, Bash)