Trouvez votre prochaine offre d’emploi ou de mission freelance Apache à Paris

La compétence TECH LEAD JAVA KAFKA sera intégrée à l’équipe 3PO qui comprendra principalement : 1 chef de projet, 1 Responsable MOE, développeurs, des architectes et des AMOA. Les prestations, objet de ce cahier des charges, se dérouleront au sein du Cellule Maintenance Omega et auront pour objectif (liste non exhaustive), sous pilotage du Responsable MOE 3PO : La maitrise sur la technologie Java ; La participation à l’analyse des besoins et aux travaux préparatoires au développement ; La contribution à la conception technique des applications backend, des interfaces, modèles de données, diagrammes de séquence, gestion des modes dégradés, gestion des logs, ... en appui du MOE ; Le développement de l’application back-end & les tests associés La correction des anomalies de recette détectées par l’équipe AMOA ainsi que lors des tests métiers La revue de code de ces pairs La contribution à la rédaction de la documentation technique (spécifications techniques détaillées, PTI, PTE, Dossier de MEP...) en appui du MOE ; L’apport de son expertise sur les bonnes pratiques / outillage ; La proposition de pistes d’amélioration ; De maitriser les enjeux métiers autour de l’application ; Compétences techniques : Contribution (relecture/MAJ) aux spécifications techniques, contrats d’interfaces, MCD, MPD, flux, et à la gestion de modes dégradés - Spécialiste Architecture Hexagonale - Spécialiste Intégration : • Connaissance de la gestion de l’intégration d’une application au sein d’un SI (gestion des interfaces interapplicatives, format pivots, Kafka, web services, API …) - Maîtrise Expertise Langage de programmation web et frameworks : Java 17+ - Spécialiste Spring, Springboot 3 - Spécialiste Spring JPA, Spring Kafka, Spring Batch, Spring Web, Spring Security - Spécialiste Connaissance et mise en place de micro-services - Spécialiste Bus d’échange : Apache kafka - Spécialiste Usine logicielle (Git,GitLab, GitLabCI, SonarQube) - Maîtrise Base de données : PostGreSql, langage SQL, hibernate - Spécialiste Base de données : ElasticSearch - Notion REST / JSON - Spécialiste Sécurité applicative - Spécialiste Connaissances méthodologiques / certifications Méthodologie projet itératif / agile - Maîtrise Gestion de tests unitaires et d’intégration - Maîtrise

Pour l'un de nos grands comptes, nous recherchons un Data Engineer pour travailler dans une équipe composée de 1 Product Owner et de 2 Data Engineer : Participer aux phases de conception, de planification et de réalisation des tâches Construire et maintenir des pipelines Data robustes et scalables Produire des modèles DBT pour la transformation sur un environnement GCP (Bigquery) Expérience en méthodologie Agile (scrum ou kanban) Maîtriser la Stack technique : DBT, Python, SQL, GCP, Bigquery, Terraform, Airflow, Ci/cd.

Description Pour le compte de notre client grand compte, nous recherchons un Expert Data Engineer Spécialisé sur Google Cloud afin de rejoindre la Squad data pour le pilotage commercial Tâches principales Développement de pipeline de données sur Cloud Composer / Airflow Optimisation des performances et coûts des traitements sur GCP Participation aux choix d'outils et des solutions techniques sur GCP et développement de nouvelles application Modélisation des données sur BigQuery Maintenir l'existant en condition opérationnelle Préparer et mettre en œuvre l’interopérabilité avec de nouveaux systèmes opérationnels Proposer des simplifications et/ou optimisations selon les normes internes Compétences demandées GCP : Confirmé Big Query : Expert Base de donnée : Confirmé Python : confirmé Lieu : Paris

Bonjour à tous, Nous recherchons pour le compte d'un de nos clients un Ingénieur Cloud Senior Missions : Concevoir, construire et maintenir des pipelines de données de niveau production qui alimentent les indicateurs et modèles Industrialiser les prototypes de recherche en systèmes de production fiables et évolutifs. Construire et maintenir des services backend exposant des indicateurs et des produits de données. Assumer la responsabilité du cycle de vie des systèmes que vous construisez, y compris l'infrastructure, le déploiement et la surveillance, en collaboration avec les Ingénieurs Ops. Exploiter et maintenir les pipelines et les services en production, y compris le débogage, la résolution d'incidents et les améliorations de performances. Participer à la migration de GCP vers AWS et contribuer au démantèlement progressif des anciens pipelines et de l'infrastructure.

Le data engineer/Tech Lead intègre une équipe en charge du lakehouse pour le client. De nombreuses challenges techniques sont attendus. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer)

Dans le cadre du renforcement d’une équipe projet Data, nous recherchons un chef de projet Data senior pour notre client engagé dans une mise en place d’une Data Platform . L’objectif est de reprendre la maîtrise technique en interne en constituant une équipe d’experts, avec un appui initial de prestataires externes. Dans ce cadre, un projet stratégique autour de la connaissance des usages et de la mobilité est en cours de refonte de réalisation "mode agile" et en lien avec plusieurs équipes techniques et métiers. Missions principales : Pilotage de projet en méthodologie Agile Gestion du backlog et animation des sprints (JIRA) Coordination d’équipes pluridisciplinaires : Data Engineer, Data Viz, UX/UI, OPS/métiers. Animation des rituels Agile (daily, comités, ateliers) Suivi des charges, priorités et budgets Contribution aux choix stratégiques Supervision des tests et du delivery Maintien en condition opérationnelle (MCO) Environnement technique: Cloud & Data : Azure Data Factory, Data Lake Traitement Data : Spark, Databricks Langages : Python, Scala, SQL Data Viz : Power BI CI/CD & outils : Jenkins, Git, Maven, Ansible Gouvernance & communication : Remonter les informations clés aux équipes de pilotage et sponsors Participer aux instances de gouvernance (comités projet, tribu, etc.) Contribuer aux orientations et choix stratégiques Organisation agile : Animer l’ensemble des cérémonies Agile (daily, sprint planning, review, retrospective) Piloter le backlog : priorisation, chiffrage et réestimation du reste à faire Garantir la bonne application des pratiques Agile

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

En tant qu'Applied Scientist, vous êtes la force motrice de la phase de recherche et de développement des modèles d'IA, en assurant l'alignement entre les avancées technologiques et les objectifs stratégiques de l'entreprise. Responsabilités clés 1. Recherche et développement de modèles IA/ML (Phase de recherche) : Mener la recherche, l'évaluation et l'expérimentation de modèles d'IA et d'apprentissage automatique (par exemple, Deep Learning pour la recommandation, Gen-AI, NLP/Vision pour la recherche) afin de résoudre des problèmes commerciaux complexes. Sélectionner les sources de données appropriées et déterminer les indicateurs clés à suivre et à optimiser Développer des prototypes et prouver la faisabilité ainsi que l'impact attendu des concepts avant leur industrialisation. 2. Collaboration et industrialisation (Phase de déploiement) : Travailler en étroite collaboration avec les ingénieurs en apprentissage automatique (MLE) pour garantir que les modèles développés sont robustes, évolutifs et prêts pour le déploiement en production. Contribuer activement à la phase de déploiement et d'intégration des modèles dans l'architecture technique (Snowflake, AWS). 3. Suivi et amélioration continue : Participer au suivi des modèles en production, en se concentrant sur la détection des dérives (drift) et la dégradation des performances. Concevoir et proposer des itérations (tests A/B) pour optimiser en continu les performances des produits d'IA. 4. Expertise et transmission des connaissances : Assurer une veille technologique constante sur les avancées en IA/ML. Documenter et partager les connaissances et les meilleures pratiques au sein de l'équipe et avec les autres parties prenantes (Chefs de produit, Métier).

Le rôle du Data Engineer dans ce projet consistera à : • Concevoir et implémenter les composants/pipelines d’ingestion de données en scala spark (glue jobs, sans utilisation de solutions managées type Databricks) • Traiter et normaliser les données • Refactoriser des imports existants pour être compliant avec l'architecture medaillon (silver + gold layers) et notre modèle uniformisé/harmonisé à toutes les plateformes (aggrégateurs, market exchanges) • Appliquer/challenger les règles métier pour générer la couche gold tout en garantissant les performances, la scalabilité et les coûts cloud • Distribuer les données aux différents consommateurs/Métiers • Implémenter les règles de Data Quality (DataQuality framework : great expectation) et gérer le data calatog • Développer et améliorer les frameworks communs (monitoring, CI/CD, tests, performance, résilience, standards de développement, qualité du code) • Rédiger et maintenir la documentation technique des développements réalisés : schéma d'architecture, Infra, Flux, … • Garantir le respect des standards du Groupe en matière de qualité, sécurité, partage, usage et architecture des données • Participer au développement et à la maintenance du calculateur en Scala Spark avec l'objectif : - d'optimiser le temps de calculs, - d'optimiser les performances, - de garantir la scalabilité au regard d'un accroissement annuel important du volume des market operations, - de maîtriser et d'optimiser les coûts cloud. • Être force de proposition pour améliorer les processus et les performances des systèmes.

Responsabilités Développer et optimiser des API (REST) en Python (FastAPI) Concevoir et maintenir des bases de données (PostgreSQL principalement) pour des requêtes performantes Collaborer avec les équipes DevOps pour automatiser les déploiements (Docker, CI/CD) Intégrer des tests automatisés (pytest) et participer aux revues de code Contribuer à l'amélioration continue de l'architecture back-end Compétences clés attendues Forte capacité de collaboration Autonomie pour définir et structurer les fondations d'un système d'envergure Expérience en modélisation et optimisation de bases de données fortement appréciée Capacité à concevoir une architecture robuste et évolutive

Vous êtes un "bricoleur" du code, passionné par l'infrastructure et capable de naviguer dans des environnements techniques denses ? Nous recherchons un Geo Data Engineer (H/F) pour rejoindre un acteur majeur de la Tech. Ici, on ne cherche pas forcément un titre, mais un tempérament : quelqu'un qui n'a pas peur de mettre le nez dans le code, de comprendre l'infra et de proposer des solutions concrètes. 📋 Détails de la mission Secteur d’activité : Plateformes Digitales / Data Localisation : Paris (Télétravail flexible) Durée : Mission longue (Freelance, Indépendant ou Portage) Démarrage : ASAP Votre challenge Au sein d'un environnement riche et techniquement challengeant, vous serez le garant de la qualité et de la fluidité des flux de données géographiques. Votre autonomie et votre capacité à communiquer seront vos meilleurs atouts pour vous onboarder efficacement. Vos missions principales : Développer et maintenir des pipelines de données robustes. Intervenir sur l'infrastructure et le code pour optimiser les performances. Collaborer avec les équipes transverses pour intégrer des solutions Data innovantes. Apporter votre vision de "touche-à-tout" pour résoudre des problématiques complexes.

Descriptif du poste Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur IKS (Kubernetes IBM) et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) Dans le cadre du renforcement de notre capacité de support sur la nouvelle offre "DATAHUB V2", nous recherchons des prestataires spécialisés dans l'exploitation et le support de ces plateformes. Missions La prestation visera à : Assurer le maintien en condition opérationnelle en production des plateformes (Airflow, Spark, Starburst) Intervenir dans la gestion des incidents, l'analyse des root causes et la résolution Participer à l'optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst Accompagner les équipes métiers dans l'utilisation efficace et sécurisée des plateformes Contribuer à la documentation et à l'amélioration continue de l'écosystème d'exploitation

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Ilest composé de 300 experts passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre Mission : En tant que Développeur(se) Fullstack Java AWS, vous interviendrez sur des projets innovants, au cœur des enjeux de transformation de nos clients. Vous participerez à la conception, au développement et à l’industrialisation de solutions modernes, robustes et évolutives. Concrètement vous allez : Concevoir et développer des applications Java / Spring Boot performantes. Contribuer au développement front (Angular, React ou Vue.js selon les projets). Participer à la définition des architectures techniques. Travailler en méthodologie agile au sein d’équipes pluridisciplinaires. Collaborer avec nos experts DevOps, Cloud et Data pour industrialiser et optimiser les solutions. Contribuer à l’amélioration de la qualité du code (tests automatisés, revues, bonnes pratiques). Développer en respectant les bonnes pratiques de production logicielle et de CraftsManship. Votre futur environnement technique : Back-end : Java 21, Spring Boot, API REST, microservices Front-end : Angular / React / Vue.js DevOps : CI/CD (GitLab, Jenkins, Azure DevOps…), Docker, Kubernetes Cloud : Azure, AWS ou GCP Modélisation de données : Kafka Qualité : tests unitaires, tests d’intégration, Sonar, automatisation

Nous sommes à la recherche d'un(e) : Développeur Backend - Développement d’applications APPS (Dashboard ou Selfservice) - Administration et développement : gestion des catalogues, création/modification de workflow, de questionnaires, de groupes, de sujets, de filtres, de vue, écrans conditionnels, erreurs de saisie, brouillon, reportings et indicateurs, etc … - Gestion des Assets - Administration avancée de EasyVista (modules Self Service et Service Manager). -Capacité à gérer et personnaliser l'outil, notamment les catalogues, workflows, questionnaires, groupes, filtres, vues, écrans conditionnels, et reporting.

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters. Les consultants retenus auront pour mission : Administration et optimisation de clusters HDP/CDP Installation, configuration et maintenance des clusters Gestion des mises à jour et des patchs de sécurité Surveillance des performances et optimisation des ressources Gestion/administration de clusters Kubernetes Automatisation des déploiements avec Operators Sécurisation et monitoring des environnements conteneurisés Orchestration des workflows avec Apache Airflow Développement et optimisation des DAGs pour la gestion des pipelines de données Gestion des dépendances et optimisation des temps d'exécution Intégration avec les autres outils de l'écosystème Traitement et analyse des données avec Apache Spark Développement et optimisation des jobs Spark (batch et streaming) Gestion des performances et tuning des jobs Intégration avec les systèmes de stockage distribués Optimisation des requêtes et accès aux données avec Starburst Configuration et administration de Starburst Optimisation des requêtes SQL distribuées Sécurisation et gestion des accès aux différentes sources de données

Dans le cadre du renforcement de sa Data Factory, un grand groupe international accélère la structuration de sa plateforme data sur Microsoft Azure avec un usage central de Databricks pour le traitement, la transformation et la valorisation des données. L’environnement s’inscrit dans une logique Data Lake , organisation Bronze / Silver / Gold et montée en maturité data à l’échelle groupe. Mission L’Architecte Data interviendra sur la conception et l’industrialisation de la plateforme data Azure. Ses responsabilités principales : Concevoir et faire évoluer l’architecture data sur Azure Structurer et optimiser les pipelines data via Databricks (Spark) Mettre en place les traitements de transformation et d’agrégation Modéliser les données pour les usages analytiques Garantir performance, scalabilité et qualité des flux Participer aux ateliers de cadrage technique avec les équipes métiers et IT Contribuer aux standards d’architecture et aux bonnes pratiques data Compétences clés (Must Have) Databricks (obligatoire) Azure (Data Lake, Synapse, Data Factory) Spark / PySpark SQL avancé Architectures Data Lake – Bronze / Silver / Gold Conception de pipelines data industrialisés Modélisation Data Warehouse Compétences appréciées (Nice to Have) Power BI DAX MDM (Master Data Management) Data Quality / Gouvernance Data Mesh Azure DevOps / Git ERP (SAP) Profil recherché 5 à 10 ans d’expérience en Data Engineering / Architecture Data Expérience confirmée sur des environnements Azure + Databricks Capacité à intervenir sur des environnements data complexes Autonomie technique et posture structurante Bon relationnel et capacité à challenger les choix d’architecture Environnement de travail Cloud : Microsoft Azure Traitement data : Databricks, Spark Stockage : Azure Data Lake Gen2 Orchestration : Azure Data Factory BI (selon besoins) : Power BI Gouvernance (selon périmètre) : MDM / Data Quality Conditions de la mission Lieu de la mision : Paris Mission longue : 6 à 12 mois renouvelables Temps plein Télétravail partiel possible Démarrage rapide TJM : 450-550€