Find your next tech and IT Job or contract Apache Kafka

La mission consiste à : - Exposer les données utiles à l'entreprise pour les analyser et les utiliser afin d'améliorer l'expérience utilisateur et la productivité - Transformer des données issues du DataLake afin de les normaliser - Modéliser la sphère de données - Développer les flux - Exposer des données brutes et/ou agrégées au bon niveau de granularité aux différents métiers de l'entreprise - Travailler en lien avec des Data Scientists sur les données qu'il aura exposées - Mettre en place des rapports de Dataviz - Mission basée en métropole lilloise avec présence sur site 3j/semaine obligatoire Compétences demandées : - Formation supérieure en école d'ingénieur, école d'informatique ou Master spécialisé dans la Data Science - Première expérience en Data Engineering indispensable - Snowflake, GCP, BigQuery, DBT, SQL, Semarchy, Airflow, Python ... - Excellents savoir-être : rigueur, esprit analytique et de synthèse, communication... - Méthode Agile - Anglais

CONTEXTE DE LA MISSION Le client est une co-entreprise spécialisée dans les paiements et la gestion de systèmes transactionnels temps réel à forte volumétrie, adossée à deux grands groupes bancaires français. La Direction Technique assure la continuité, la sécurité, la performance et l'innovation des services transactionnels, dans un environnement critique soumis à des exigences SLA strictes. Au sein de l'équipe Platform Engineering, le Platform Architect est responsable de la vision technique globale et de la cohérence des socles transverses qui supportent l'ensemble des équipes delivery, exploitation et production. Le périmètre couvre l'architecture end-to-end : IAM, Data, CI/CD, Kubernetes, réseaux, middleware, observabilité, sécurité et industrialisation — en environnement on-premise et cloud privé/hybride. Des interventions en heures non ouvrées (HNO) et des astreintes sont prévues conformément aux besoins opérationnels. RÔLE ET RESPONSABILITÉS PRINCIPALES Définir et maintenir les référentiels d'architecture plateforme (standards, patterns, technologies) et garantir la cohérence technique de bout en bout. Concevoir les socles techniques transverses : IAM, Data stores, Kafka, CI/CD, Kubernetes/Docker/ArgoCD, observabilité et middlewares. Définir et appliquer les standards de sécurité (Zero Trust, DevSecOps, gestion des certificats et secrets, durcissement SI). Piloter la gouvernance technique : roadmaps socles, gestion des obsolescences, participation aux comités d'architecture et arbitrages techniques. Challenger les architectures applicatives des tribes et contribuer aux dossiers d'architecture des projets métiers. Concevoir les modèles d'Infrastructure as Code (Terraform, Ansible, Helm) et normaliser les pratiques GitOps/CI/CD. Apporter un support expert de niveau N3 lors d'incidents complexes. Définir la vision long terme de la plateforme et construire les trajectoires d'évolution (cloud hybride, API management, IAM modernisé, AIOps). LIVRABLES ATTENDUS Référentiels d'architecture plateforme (standards, patterns, guidelines techniques) Roadmaps socles : patching, migrations, gestion des versions en fin de support Modèles d'Infrastructure as Code (Terraform, Ansible, Helm) Pipelines CI/CD génériques et patterns ArgoCD/GitOps normalisés Dossiers d'architecture pour les projets métiers Rapports de conformité, résultats d'audits et plans de remédiation Vision stratégique long terme et trajectoires d'évolution de la plateforme

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s'imposer comme une référence en matière de freelancing par son expertise dans l'IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Business Analyst Power BI (H/F) à Lyon, France. Contexte : Au sein du pôle, le département et le projet rassemble des briques applicatives et data essentielles à la supervision, la résilience, l'intelligence du réseau. En intégrant des outils de visualisation de crise, des capteurs IoT, des dataproducts, un socle devOps mutualisé, le projet incarne une approche unifiée et opérationnelle de la donnée réseau. Une application critique nécessitant un haut niveau de service et une nouvelle application avec une forte composante dataproduct (mise à disposition des données). Les missions attendues par le Business Analyst Power BI (H/F) : Activité principale o Prépare et anime des ateliers avec le métier et les SI partenaires o Conçoit et maquette des solutions o Rédige les expressions de besoins, les user-stories, les spécifications o Alimente, priorise et maintien du backlog produit o Suit des prérequis aux développement afin de répondre aux questions et de compléter, au besoin, les user-stories. o Modélisation du processus des données o Participe à la définition de la stratégie data o Conçoit les modèles de données nécessaires aux usages analytiques o Conçoit des tableaux de bord et rapports PowerBI o Construit des modèles sémantiques robustes o Documente les flux, référentiels et règles métier o Garantit la performance, la maintenabilité et l'évolutivité des modèles o Recette des livrables o Participe à la formation des utilisateurs Activité secondaire o Participe aux choix d'architecture technique o Accompagne les métiers dans l'adoption des solutions BI Stack technique de l'équipe PowerBI desktop et Service, SQL, Tableau, Java, Spark 3, Spring 4 (Core, boot, data, batch), postgreSQL, kubernetes, apache kafka, airflow 2 & 3, typeScript, powerBI, Git, Maven, Jenkins, Linux, Windows, Hibernate, Angular, Sonar, Liquibase, ElasticSearch

Vous rejoindrez un grand groupe du secteur audiovisuel et médias pour concevoir et développer le MVP d'une plateforme Data On-Premise innovante. Ce projet stratégique vise à moderniser l'infrastructure data existante en intégrant une stack Open Source performante (Kafka, NiFi, Spark, Iceberg, Trino) et à faciliter la transition vers le traitement temps réel tout en validant l'interopérabilité avec les services cloud publics. Au sein de la Direction IT Transverse, vous piloterez l'architecture et la mise en œuvre d'une plateforme data scalable et robuste, intégrée au socle technique existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry). Vous travaillerez en collaboration étroite avec les équipes métiers et techniques du groupe pour transformer des flux ETL existants, démontrer la faisabilité de migration depuis les systèmes actuels, et établir les bonnes pratiques de la nouvelle plateforme. Ce rôle combine architecture data, ingénierie de plateforme et mentorat technique dans un environnement moderne et exigeant, avec un fort impact sur la modernisation de l'écosystème data du groupe. Responsabilités : - Architecturer une plateforme Data On-Premise scalable, robuste et intégrée à l'infrastructure existante (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) - Sélectionner, configurer et déployer les composants Open Source clés : Apache Kafka (streaming), Apache NiFi (ingestion et orchestration), Apache Spark (traitement distribué), Apache Iceberg (gestion de tables analytiques) et Trino (requêtage SQL distribué) - Implémenter des cas d'usage concrets en transformant des flux ETL existants et en mettant en place des pipelines de données en streaming (Kafka + Spark Structured Streaming) - Alimenter et optimiser un datalake On-Premise basé sur Iceberg, avec requêtage via Trino - Valider l'interopérabilité et les patterns d'intégration avec les services Big Data en environnement cloud public (GCP) - Collaborer avec l'équipe Data et IA pour aligner les besoins métiers et techniques, et avec les équipes DevOps/Infrastructure pour l'intégration du socle - Documenter les choix architecturaux, les décisions techniques et établir les bonnes pratiques de la plateforme - Former et accompagner les équipes internes sur les nouveaux outils, processus et méthodologies Télétravail : 2/3 jours par semaine Localisation : Paris / Rennes