Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Data Engineer Senior afin d’accompagner la conception, l’industrialisation et l’évolution de ses solutions data. Le prestataire interviendra sur les sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise. Missions principales Concevoir, développer et optimiser des pipelines de données à grande échelle. Mettre en œuvre des flux batch , streaming et ingestion via API . Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold). Développer et industrialiser les pipelines via DBT , Spark et Iceberg . Contribuer à l’évolution de l’architecture Lakehouse de l’entreprise. Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent). Orchestrer les workflows ETL/ELT via Airflow . Mettre en œuvre l’ Infrastructure as Code ( Terraform ). Exécuter les traitements dans des environnements conteneurisés ( Docker , Kubernetes ). Garantir la disponibilité, la supervision et l’observabilité des traitements. Participer à la gestion des incidents et à l’amélioration continue. Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés). Documenter les architectures, pipelines et règles métier. Garantir la conformité des flux, notamment dans le cadre RGPD .

Almatek recherche pour l'un de ses clients, Un IED Java / Spark / Scala / SIG sur Ecully Profil recherché : IED Sénior Java / Spark / Scala / SIG Une expérience >5 ans sur des technologies SPARK & JAVA est nécessaire. Une connaissance des librairies géographiques dans Spark est un plus. Une connaissance d'une solution similaire (exemple Apache Beam) est un plus. Contexte client : Dans le cadre de la mise en place d'un socle SIG (Système d'Information Géographique) permettant la gestion des risques climatiques, notre client souhaite s'appuyer sur des expertises de développement en Spark Java, si possible avec une connaissance des librairies Géographiques, dans un environnement Google Cloud platform. Le projet consiste à industrialiser des modèles définis par la direction actuariale, afin d'intégrer des données géographiques, topographiques, satellites, des données métier, pour définir les scores de risque des différents risques climatiques (inondation, sécheresse, tempête, etc. Sur le périmètre confié, en coordination avec l'équipe projet de développement de notre client et l'intégrateur, les objectifs sont les suivants : • Comprendre et analyser les modèles de calculs définis par les actuaires • Participer avec l'intégrateur aux phases de conception de la solution • Réaliser le développement en Spark Java, en utilisant des librairies géospatiales • Accompagner la montée en compétence des équipes sur la mise en œuvre de traitements en Spark / Java • Déployer les développements dans un environnement Google Cloud Platform • Créer la documentation et la communiquer aux équipes concernées • Anticiper les phases d'exploitation en relation avec les équipes du client • Rendre compte à son chef de projet Livrables • Solution applicative développée et testée • Mises à jour de la documentation • Mise à jour du suivi interne de l'équipe Compétences Fonctionnelles: IARD : notion Compétences Techniques: JAVA / SCALA / SPARK : Expert Oracle / ITIL : Avancé Agile : avancé

Nous recherchons pour un de nos clients un ingénieur VTOM H/F: Intégrer et déployer en méthode AGILE les évolutions de la ligne de Service Ordonnancement (VTOM). Préparer la mise en exploitation des évolutions ou d’une évolution d’application dans un système d’information tout en s’attachant à vérifier que les applications insérées dans le système d’information fonctionnent conformément aux attentes techniques et métiers, et que les procédures d’exploitation sont conformes aux standards établis. Gérer la relation avec les Clients et Projets Applicatifs en vue de garantir et améliorer la qualité des services de production et d’améliorer globalement les services de la ligne de Service ordonnancement Assure la maintenance et l’évolution des plateformes VTOM. •Créer/maintenir les scripts nécessaires pour l’ordonnancement. •Créer et encapsuler des scripts fonctionnelles •Paramétrer les jobs VTOM •Préparer la télédistribution en production •Maintenir en condition opérationnelle des chaines d’ordonnancements et des plateformes. •Accompagner les solutions métiers pour la rédaction de leur plan d’ordonnancement. •Assister et conseiller les équipes projets sur les différentes solutions pour leur ordonnancement applicatif. •Participer à la définition des architectures techniques •Définir / supprimer / modifier les plans d’ordonnancement •Maintenir les documentations •Participer à la conception des feuilles de route techniques des plateformes Environnement fonctionnel et technique : Environnement : Hébergement Datacenter et cloud (Aws, Azure) SGBD Oracle, Micrososft Sql Server, Postgresql, Ingres 9.2 sur Solaris , NoSQL Couchbase, Redis, MONGODB, PAAS SGBD (AWS et Azure) Serveurs Unix Solaris / AIX, Linux Suse / Red Hat / Centos / Ubuntu, Windows Server Middlewares Apache, Tomcat, Weblogic, CFT, MQ Server, SFTP, JMS, VTOM, suite logicielle TIBCO, Networker, Oracle Tuxedo Plateformes/ logiciels / Outils Teraform, Jenkins, Ansible, squash TM, Postman, Docker, Kubernetes, Databricks, Script Shell, Python Supervision Nagios, Datadog, SpluNK

Nitrolabz est une société de conseil et de services en ingénierie informatique, spécialisée dans la mise à disposition d’experts technique, le développement de solutions digitales, et l’intégration de technologies de pointe. Nous sommes aussi une marque du , fondé en 2017 en Suisse, dont la vocation première est de fournir des services et des solutions informatiques. Au fil des années le groupe s’est agrandi avec des rachats ou des prises de participations successives de structures innovantes en plein essor. Aujourd’hui, le propose ses services à travers 4 marques distinctes ( Nitrolabz, Supply Indus, SYNC Digitals, Sync solution). Dans le cadre du renforcement et structuration de nos services, nous recherchons un developpeur JAVA /JEE (H/F) pour rejoindre nos équipes. Télétravail : 40% (2 jours télétravail / 3 jours sur site) Date de démarrage : 1er janvier 2026 Missions principales : • Développer les nouvelles fonctionnalités des sites internet de bourse en ligne, des applications mobiles Bourse et des postes agences titres. • Assurer la maintenance et l’évolution des applications existantes.

Nous recherchons un(e) Ingénieur DevOps Senior. Véritable pivot technique, vous serez le point de contact privilégié pour les sujets opérationnels de déploiement, de gestion d'infrastructure et d'automatisation. Vous évoluerez dans un écosystème complexe (grands comptes) et collaborerez étroitement avec les Product Owners, les Architectes, les Tech Leads et les équipes d'exploitation pour garantir la stabilité et la performance de nos plateformes Pilotage de l’Infrastructure & Déploiement Gestion Cloud (AWS) : commissionnement et décommissionnement des ressources (EC2, RDS, ELB/ALB, S3). CI/CD & automatisation : maintenir et faire évoluer la chaîne Jenkins (jobs, pipelines). Piloter la migration vers GitLab CI. Gestion applicative : installation des composants (JRE, PHP, Apache, PostgreSQL) et déploiement des applications (configuration Zuul). Infrastructure as Code (IaC) : préparation des playbooks Ansible et des Helm Charts pour l'orchestration Kubernetes. Maintien en Condition Opérationnelle (MCO) Analyse & résolution : diagnostic d'incidents de production et optimisation des performances (RAM, CPU, FS, transactions). Garant des process : veiller au respect des bonnes pratiques (Git flow, Nexus) et gérer les ouvertures de flux inter-plateformes. Sécurité & documentation : maintenir à jour les dossiers de configuration, d’exploitation et les images Docker. Collaboration & Conseil Alerter les équipes projets sur les risques de configuration ou de performance. Assurer l'interface avec les équipes d'infrastructure centrales lors des phases critiques de mise en production. Environnement Technique Cloud & Orchestration : AWS (S3, RDS, API Gateway), Docker, Kubernetes (EKS). CI/CD & Qualité : Jenkins, GitLab CI, Maven/NPM, Git, Sonar, Nexus. Observabilité : ELK Stack. Data & Middleware : Kafka (Event-Driven), PostgreSQL 16, Apache, Nginx, Tomcat. Langages & Scripts : Groovy (pipelines), Java (8/17), Helm, Liquibase, Flyway, REST. Sécurité : SSL, OAuth2, SSO, PingID/PingAM.

Contexte de la mission Dans le cadre du développement et de l’évolution d’une plateforme de data analytics , nous recherchons un Data Engineer afin de participer à la conception, au développement et à la maintenance des solutions data. Au sein d’une équipe agile, vous contribuerez à la mise en place et à l’amélioration des pipelines de données, à la structuration des modèles analytiques et à l’optimisation des solutions existantes. Vous participerez également à la construction et à l’évolution de la plateforme data sur un environnement cloud moderne. Présence sur site requise 3 jours par semaine . Vos missions Participer aux rituels agiles de l’équipe (daily, sprint planning, rétrospectives). Analyser les besoins métiers et proposer des solutions data adaptées et innovantes . Concevoir et développer les pipelines de données : ingestion, transformation, stockage et restitution. Modéliser les données et contribuer à la construction des modèles analytiques . Assurer la qualité et la fiabilité des développements data . Maintenir et faire évoluer les solutions existantes (run et optimisation). Participer à la construction et à l’amélioration de la plateforme data sur Google Cloud . Contribuer à la diffusion des bonnes pratiques d’exploitation et de valorisation de la data auprès des équipes métiers. Compétences techniques requises SQL et ETL (expert – impératif). Outils et pratiques CI/CD . GitHub, Terraform, Kafka (confirmé – important). Outils de data visualisation : Power BI, Looker (confirmé – important). Environnement Google Cloud Platform (GCS, BigQuery) – souhaitable.

On cherche un(e) Data Engineer pour renforcer une équipe qui fait tourner la plateforme data au quotidien. Le sujet est très concret : ramener des données qui viennent de partout , les centraliser proprement , les rendre fiables , et garder une plateforme qui tient la charge (et qui ne casse pas en prod au premier pic). Vous travaillerez avec un Product Owner, un Data Steward et d’autres data engineers. On est sur une logique : ingestion, standardisation, stockage, et tout ce qui va avec côté run (monitoring, reprise, sécurité, doc). Vos missions : Collecter et centraliser des sources hétérogènes (API, fichiers, bases, événements). Construire des pipelines robustes : gestion des erreurs, reprises, backfills, alerting, qualité. Développer les traitements en Python / SQL / Spark (volumes en hausse, donc on fait attention à la perf et aux coûts). Orchestrer les flux avec Airflow . Structurer le stockage sur Cloud Storage avec une approche Delta Lake (évolution de schémas, merge/upsert, partitionnement, rétention). Industrialiser l’ensemble : Terraform / Terragrunt , GitLab CI/CD , environnements propres (dev/staging/prod). Contribuer à la gouvernance et à la conformité : catalogage et métadonnées via Dataplex + documentation utile (pas un wiki fantôme). Environnement technique : Python, SQL, Spark Airflow (orchestration) GCP : BigQuery, Dataproc, Pub/Sub, Cloud Storage Delta Lake Terraform + Terragrunt GitLab + GitLab CI/CD Méthodes : Agile (Scrum/Kanban)

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Développeur Python/MLOPS Tâches: Développer et optimiser des API (REST) en Python (FastAPI). Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes. Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD). Intégrer des tests automatisés (pytest) et participer aux revues de code. Contribuer à l’amélioration continue de l’architecture back-end. Assurer la maintenance de la stack d’outils de l’équipe et notamment : Participer à rendre les algorithme IA compatible d’architecture GPU blackwell Mettre à jour les dépendances de note codebase (python, CUDA) Participer au développement de nos outils de MLOps en général

Vous rejoindrez un projet stratégique de plateforme unifiée d’intégration et de traitement des données , centralisant plus de 20 sources de données hétérogènes pour répondre aux besoins analytiques des équipes produit et décisionnel. La solution est développée selon les principes d’un lakehouse avec architecture en médaillon (Bronze, Silver, Gold). Environnement technique : Azure Data Factory Azure Databricks Spark Scala & SQL Azure DevOps (Git) Datadog (monitoring) Missions principales : Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory Développer et optimiser des flux de transformation de données en Scala sur Databricks Maintenir et créer de nouveaux indicateurs de qualité de données Garantir la qualité du code et le respect des normes de développement Implémenter des tests unitaires et assurer la fiabilité des solutions Maintenir les dashboards de monitoring sur Datadog Participer au refactoring du code existant pour améliorer performance et maintenabilité (Spark Declarative Pipeline et DBT)

Dans le cadre de la modernisation de notre système de gestion d’entrepôt, nous engageons un programme d’implémentation du Warehouse Management System (WMS) MAWM (Manhattan WMS SAAS). L’objectif est de construire un core model et de le déployer progressivement dans 50 entrepôts sur 7 ans. Dans ce contexte, nous lançons un appel d’offres afin de trouver un QA Engineer pour intégrer nos équipes. Objectif de la mission En tant que QA Engineer, vous serez au cœur de la validation technique du projet. Vous travaillerez en étroite collaboration avec l'équipe produit et les développeurs pour assurer la qualité des livrables et la fiabilité des flux de données. Vos responsabilités Concevoir des plans de tests et des scénarios de tests détaillés fonctionnels et techniques à l’aide de JIRA et Xray Préparer les jeux de données nécessaires pour simuler des flux réalistes. Exécuter des campagnes de tests des flux d'intégration (Kafka et Google Pub/Sub) Réaliser les tests métier et valider les processus entrepôt (Réception, stockage, préparation, expédition…) Qualifier précisément les anomalies, suivre leur résolution avec les équipes de développement et l’éditeur, et valider les correctifs. Être force de proposition sur les processus métier : vous ne vous contentez pas de vérifier si "ça marche", vous challengez la solution pour qu'elle soit robuste et utilisable sur le terrain. Participer aux cérémonies agiles de l’équipe

Vous interviendrez au sein de l’équipe en charge du maintien en conditions opérationnelles, de l’évolution et des mises en production (implémentation, automatisation, documentation) d’une quinzaine d’applications métiers. Missions Projet (Développement et Business Analyste) 80% Automatisation et industrialisation · Automatiser les tâches récurrentes grâce aux outils d'ordonnancement ($Universe et Autosys) · Développer des scripts (shell, batch, perl et python) pour fiabiliser l’exploitation · Mettre en place des outils pour faciliter le support et l’évolution des applications Architecture et évolution applicative · Contribuer à l'évolution de l'architecture applicative afin d'améliorer la qualité de service rendue aux utilisateurs. · Analyser les impacts techniques des changements applicatifs et infrastructure · Gérer le risque opérationnel lié aux mises en production et évolutions techniques · Participer aux opérations exceptionnelles le weekend (test DRP, mise en production applicative et migration infrastructure) · Contribuer à la rotation des astreintes 24/7 Monitoring et qualité de service · Mettre en place ou améliorer le monitoring applicatif sous Geneos (migration vers Nagios/Prometheus et Dynatrace) · Définir et ajuster les indicateurs · Documenter les processus applicatifs · Rédiger et maintenir des procédures d'exploitation Support (20%) Support applicatif · Assurer le maintien en condition opérationnelle des applications du périmètre (niveau 2) · Traiter les incidents et problèmes en escalade Gestion des incidents et amélioration continue · Analyser les causes racines · Mettre en place et suivre les plans d’actions correctifs et préventifs · Contribuer à la gestion des changements

Au sein d'un centre d'expertise technologique majeur opérant des plateformes « as a service », vous rejoignez le pôle Interfaces. Ce pôle conçoit des architectures modernes, distribuées et hautement résilientes pour un grand groupe de services financiers. En tant que DataOps Engineer, vous intégrerez une squad responsable du "Build" et du "Run" d'une plateforme d'envergure composée de plus de 30 clusters Kafka dédiés. Vous évoluerez dans un écosystème complexe, sécurisé et à très haute disponibilité. 1. Expertise technique & opérationnelle : Industrialisation : automatiser et industrialiser les déploiements de la plateforme via Ansible. Scalabilité : gérer la mise en production et le passage à l'échelle (horizontal et vertical) des clusters existants. Conception : participer à la définition des architectures cibles et aux futures briques de la plateforme de streaming. Prototypage : développer des prototypes basés sur les cas d’usages concrets des entités clientes. Documentation : rédiger et maintenir la documentation technique et les offres de service. 2. Animation & agilité : Rituels agiles : participer activement à la vie de la Squad (Daily, Rétros, Démos, PI Planning). Roadmap : collaborer avec le Product Owner et le Squad Lead sur la co-construction et la mise en œuvre de la feuille de route technique. Lead technique : prendre le lead sur un produit spécifique au sein de la Squad et porter la responsabilité de ses éléments de backlog. Accompagnement : apporter votre expertise aux utilisateurs et former les référents via des sessions de formation. 3. Maintien en condition opérationnelle : Assurer le support de niveau expertise sur la plateforme. Participer aux astreintes techniques de la Squad pour garantir la continuité de service des flux de messaging.

Environnement : JAVA EE (EJB - pas de Spring Boot), Angular, Eclipse, SVN... -- 1. Traduire les besoins techniques en besoins fonctionnels o Participer à l’analyse fonctionnelle des besoins utilisateurs o Etudier les opportunités et les faisabilités technologiques de l’application o Rédiger les spécifications techniques détaillées, à partir du cahier des charges 2. Concevoir et développer o Concevoir une architecture logicielle et proposer le framework adapté au projet o Analyser et développer les composants en utilisant les langages appropriés o Assurer le développement et la réalisation des applications (prototypes et modules) o Adapter et paramétrer les progiciels retenus pour l’architecture logicielle o Harmoniser l’ensemble des composants et applications o Documenter les applications pour les développements ultérieurs et la mise en production 3. Tester et écrire les corrections nécessaires

Contexte Dans le cadre de l’exploitation et de l’évolution d’une plateforme Big Data à grande échelle, un acteur majeur recherche un expert technique orienté Data Engineering / DataOps. La mission s’inscrit au sein d’un centre d’expertise dédié aux plateformes data, dans un environnement hybride combinant infrastructures on-premise et cloud public. L’objectif principal est d’assurer la disponibilité, la fiabilité et l’automatisation des environnements Datalake, tout en accompagnant les équipes projets dans leurs usages data. Missions Assurer le maintien en conditions opérationnelles des plateformes Datalake Gérer les incidents, demandes d’exploitation et support aux utilisateurs Participer aux déploiements sur les différents environnements (intégration, pré-production, production) Contribuer à l’automatisation et à l’industrialisation des processus Mettre en œuvre des solutions d’orchestration et de déploiement Participer à l’amélioration continue des outils et pratiques d’exploitation Collaborer avec les équipes techniques et les parties prenantes métiers Assurer le reporting et la communication opérationnelle Livrables attendus Exploitation et supervision opérationnelle des plateformes Documentation technique et procédures d’exploitation Scripts et automatisations de déploiement Améliorations continues des processus DataOps Support technique aux équipes projets Environnement technique Cloud & Infrastructure AWS · Microsoft Azure · Environnements hybrides on-prem / cloud Big Data & Data Engineering Kafka · Kafka Connect · Spark · Starburst · Dataiku Orchestration & Automatisation Kubernetes · Helm · Terraform · Ansible · Airflow CI/CD & DevOps GitLab CI/CD · Jenkins · Pipelines d’intégration continue Systèmes & Langages Linux · Python Profil recherché Expérience confirmée en exploitation de plateformes Big Data / Datalake Solides compétences en environnements Linux et scripting Python Maîtrise des outils d’orchestration et d’automatisation Bonne connaissance des architectures cloud et conteneurisées Expérience en CI/CD et industrialisation des déploiements Capacité à gérer des environnements critiques en production Bon relationnel et esprit d’équipe Informations complémentaires Mission orientée RUN avec contribution aux évolutions Environnement technique complexe et à forte volumétrie de données Collaboration avec équipes Data, DevOps et métiers Contexte nécessitant rigueur, autonomie et réactivité

Descriptif du poste Le prestataire devra cadrer et spécifier les travaux "data" permettant d'alimenter le socle Data Monétique. Le prestataire sera chargé en priorité sur les sujets des Flux entrant et sortant du Socle data monétique liées au programme eStreem. Les usages pourront être des sujets Acquisition ou Emission. Ce socle est déjà alimentée par certaines applications en streaming via des messages Kafka et en batch via des fichiers plats par CFT. En terme d'infrastructure, le périmètre applicatif est basé sur un socle IBM COS (Raw Layer) et MongoDB (Organized Layer). Le socle data va être la pierre angulaire et la source de nombreux uses cases aval. La mise à disposition des données se fera soit au travers d'API pour des Front-End soit via des demi-interfaces pour d'autres applications. L'activité se déroule en projet Agile.