Trouvez votre prochaine offre d’emploi ou de mission freelance Apache à Paris

Un client migre sa dataplateforme legacy vers un socle full GCP. L'architecture et le plan sont validés. On recherche un experts polyvalents, moteurs de la migration, pas des exécutants. Vous portez plus spécifiquement l'orchestration du projet. Contexte : Vous rejoignez le pôle plateforme data (5 pôles au total) en binôme avec un autre Data Engineer GCP expert. Vous êtes tous les deux capables de tout couvrir, vous tirez l'équipe, vous posez les standards. Missions - Piloter la migration de l'orchestration vers Cloud Composer 2. - Nettoyer, rationaliser, porter les DAG existants, industrialiser les standards (CI/CD, tests, observabilité). - Orchestrer le cut-over legacy → cible sans double run. - Contribuer à la migration des pipelines BigQuery et à l'IaC Terraform du socle. - Transmettre à l'équipe interne au fil de l'eau. Stack (maîtrise attendue sur l'ensemble) Airflow 2.x, Cloud Composer 2, Python, BigQuery, Terraform, GCS, IAM GCP, Git, CI/CD. Exposure Dataplex, Mulesoft, Fivetran, dbt.

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Contexte Dans le cadre du renforcement de ses équipes data, un acteur du secteur digital recherche un Data Engineer pour intervenir sur des problématiques de traitement et d’exploitation de données à grande échelle. Missions Concevoir et maintenir des pipelines de données (batch & streaming) Gérer l’ingestion, la transformation et la qualité des données Développer sur des environnements Big Data (Spark, Kafka) Mettre en place et optimiser les workflows (Airflow) Participer à l’industrialisation des traitements (CI/CD) Collaborer avec les équipes Data, DevOps et métiers Stack technique • Scala / Python / SQL avancé Spark / PySpark, Kafka Airflow (ETL / orchestration) Cloud : Azure et/ou AWS Git, CI/CD

Data Engineer Big Data / BI – Scala, Spark, SQL, Hive, Cloudera (H/F) 💼 Contrat : CDI 🏢 Entreprise : ADBI – Expert en Data Management et transformation digitaleContexte du poste Dans le cadre de l’évolution de ses plateformes Big Data et décisionnelles, ADBI recherche un(e) Data Engineer pour intervenir sur des projets d’intégration, de transformation et d’industrialisation de données. Vous participerez à la migration et à l’optimisation d’environnements Big Data (Cloudera, Spark, Hive, Scala) et contribuerez à la mise en place de solutions BI performantes et scalables.

Notre client dans le secteur Banque et finance recherche un/une Expert technique JavaH/F Description de la mission: Expert technique Java Contexte et objectif de la mission L'entreprise souhaite développer une brique applicative permettant d'unifier l'envoi de communications à des contacts pour les applications de son système d'information. Ces communications pourront être diffusées sur différents médias, dans un contexte de très forts pics de charge liés aux besoins métiers. Cette brique comprend : • Des traitements via des conteneurs applicatifs • Une IHM d'administration d'exploitation Dans ce contexte, une équipe est mise en place au sein du pôle centre de contacts afin de construire cette application conformément à l'étude réalisée et aux bonnes pratiques internes. L'équipe sera constituée d'un expert technique Java, d'un développeur senior Java, associés à un développeur junior apprenti. Un pilote projet et un architecte internes complèteront le dispositif à temps partiel. Les projets seront gérés en méthode agile, avec un pilotage interne. Les outils utilisés sont Jira, Confluence et GitLab. Missions principales L'expert technique sera garant de la bonne réalisation technique de la solution et du respect des principes d'architecture définis. Il aura pour responsabilités : • Assurer l'animation technique de l'équipe • Assister les coéquipiers sur les sujets techniques • Travailler en lien avec le chef de projet et l'architecte • Prendre en charge une partie des développements • Consacrer environ 75 % de son temps à la réalisation et 25 % au support des membres de l'équipe Attendus organisationnels Le candidat devra : • Comprendre les attendus techniques et fonctionnels en lien avec l'architecte et le product owner • Faire preuve de savoir-faire et de savoir-être dans l'animation technique de l'équipe : cadrage, diffusion des bonnes pratiques, relecture de code • Structurer et organiser les développements et les tests • Contribuer à la rédaction des user stories • Apporter un support technique aux autres développeurs de l'équipe L'entreprise recherche un profil ouvert, volontaire, favorisant la coopération et la collaboration, souhaitant contribuer activement à la construction d'un collectif.

Contexte : Dans le cadre de l’évolution et de la maintenance de notre plateforme 3DEXPERIENCE de Dassault Systèmes, nous recherchons un consultant expert pour intervenir sur la migration de données et l’optimisation du module DBDI . La mission vise à sécuriser et fiabiliser les flux de données tout en garantissant l’intégration avec les architectures existantes.Missions principales : Réaliser la migration de données au sein de l’environnement 3DEXPERIENCE. Exploiter et configurer le module DBDI pour automatiser les transferts et transformations de données. Intervenir sur le module TFT pour le suivi et la traçabilité des flux. Participer à la conception et à l’optimisation de l’architecture technique (Apache, Tomcat, Webservices REST). Collaborer avec les équipes fonctionnelles et techniques pour assurer la qualité et la cohérence des données migrées. Produire une documentation technique et fonctionnelle sur les processus mis en place.

Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data Déploiement automatisé de clusters via des pipelines CI/CD Utilisation d’outils d’automatisation pour l’installation et la configuration des composants Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance) Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code) Déploiement et configuration d’outils de gestion de plateforme Installation et configuration d’interfaces utilisateurs pour les environnements analytiques 2. Stack Big Data administrée Administration et intégration des composants suivants : Service d’annuaire : gestion des identités Service d’authentification : sécurisation des accès Système de fichiers distribué : gestion du stockage Framework de traitement distribué : gestion des ressources et exécution Outil de gestion des accès : politiques de sécurité Moteur de calcul distribué Moteur SQL pour l’accès aux données Base de données relationnelle associée aux services Service de coordination distribué Responsabilités associées : Installation, configuration et paramétrage avancé Gestion des dépendances inter-services Maintien de la cohérence des versions Optimisation des performances et de la stabilité 3. Provisionnement et préparation des environnements Provisionnement des machines virtuelles Préparation des prérequis systèmes (OS, stockage, réseau) Automatisation des installations via scripts et outils d’orchestration Gestion des environnements (développement, test, production) 4. Observabilité et supervision Mise en place et maintien de la supervision : Collecte des métriques Gestion et routage des alertes Centralisation et exploitation des logs Visualisation via tableaux de bord Définition et amélioration des indicateurs de supervision Analyse proactive des alertes Diagnostic et résolution d’incidents 5. Maintien en Condition Opérationnelle (MCO) Administration quotidienne des plateformes Big Data Support technique aux équipes projets et utilisateurs Gestion des incidents et demandes d’évolution Montées de version et correctifs Suivi de la capacité (CPU, RAM, stockage) Documentation technique et mise à jour des procédures Rituels et interactions Participation aux rituels d’équipe Coordination avec : Équipes infrastructure et exploitation Équipes projets data / métiers Référents sécurité Accompagnement des équipes dans l’usage de la plateforme Environnement technique global CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité Automatisation : outils d’orchestration et scripting Infrastructure : virtualisation, conteneurisation Big Data : écosystème de traitement distribué Observabilité : outils de monitoring, logs et visualisation Points de vigilance Forte interdépendance des composants de la plateforme Sensibilité aux problématiques de capacité et de performance Importance de l’anticipation via la supervision Respect strict des standards de sécurité et des procédures internes Coordination transverse nécessaire pour les déploiements et évolutions majeures Charge estimative Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet MCO : charge récurrente hebdomadaire Incidents critiques : charge ponctuelle selon criticité

Astrelya est un cabinet de conseil franco‑suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l’excellence opérationnelle et l’innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l’ensemble du cycle de transformation, depuis la phase de cadrage jusqu’à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Votre Mission : En tant que Data Analytics Engineer Senior, vous interviendrez au cœur des enjeux de modélisation analytique, de structuration de data products et de valorisation des données dans un contexte Risques (liquidité). Vous jouerez un rôle clé dans la transformation des données transactionnelles en modèles analytiques robustes, performants et exploitables par les équipes Risques, Finance et Data. Concrètement, vous allez : · Dé‑normaliser les transactions et les transformer en modèle en étoile adapté aux usages analytiques. · Concevoir et structurer un data product permettant le partitionnement et le clustering selon les axes d’analyse métiers. · Collaborer étroitement avec les équipes Risques pour comprendre les enjeux de liquidité, les indicateurs clés et les contraintes réglementaires. · Mettre en place des pipelines de transformation fiables, documentés et industrialisés. · Garantir la qualité, la performance et la gouvernance des données exposées. · Contribuer à l’amélioration continue des workflows DataOps et des bonnes pratiques d’ingénierie analytique. · Participer à la définition des standards de modélisation et d’architecture analytique au sein de l’équipe. Votre futur environnement technique : • Google Cloud Platform • BigQuery – entrepôt de données & moteur analytique • DBT – transformation & modélisation analytique • Airflow – orchestration • DataProc – traitements distribués • Cloud SQL – stockage & bases relationnelles • DataOps, CI/CD, bonnes pratiques d’ingénierie analytique

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Streaming / Real-Time pour concevoir, optimiser et industrialiser des plateformes de traitement de données en temps réel. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines événementiels, optimisation des traitements stream, passage vers des architectures plus scalables et résilientes) et guiderez leur mise en œuvre avec Kafka, Flink, Spark Streaming ou équivalents. Vous serez responsable de la conception et de la fiabilisation des pipelines d’ingestion et de transformation en temps réel, de l’amélioration des performances et de l’intégration de mécanismes de tolérance aux pannes et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour intégrer les traitements dans des pipelines CI/CD robustes et adaptés aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de streaming et d’event-driven architecture. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions scalables et pérennes.

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

Almatek recherche pour l'un de ses clients Un Data Engineer Sénior / Big Data / Spark / Cloudera sur Paris. Contexte de la mission Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on-premise. Missions principales • Participer à la définition de l’architecture Data en lien avec les architectes et la squad • Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données • Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming) • Mettre en œuvre les tests unitaires et automatisés • Déployer le produit dans les différents environnements (CI/CD) • Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation • Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code Environnement technique Catégorie Technologies Framework Big Data Hadoop Cloudera (requis) Traitement Spark, PySpark, Spark Streaming (requis) — Scala (apprécié) Messaging Kafka, Kafka Connect, Kafka Streams (apprécié) Langages SQL (requis), Scala, Java, Shell, Python Bases de données SQL : Hive, Phoenix — NoSQL : HBase, MongoDB DevOps / CI-CD Git, Jenkins, Artifactory, XL Deploy, XL Release Monitoring ELK Stack (Elasticsearch, Logstash, Kibana), Grafana Gouvernance RGPD, Data Lineage, Catalogage

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big data/Teradata Vous contribuerez à la construction des solutions Datalab et Datamart sous technologie Teradata, en étroite collaboration avec les autres membres de la Tribu • vous aurez en charge le développement des solutions de collecte des données, de leur stockage et traitement (constitution d’agrégats ou scores), et de leur mise à disposition des DataScientists : une expérience des environnements Unix, du sql et des SGDB relationnels est indispensable ainsi que des bonnes pratiques de développement et modélisation sous technologie Teradata BTEQ. • vous serez amenés à développer sur notre plateforme Big Data. Une forte connaissance de Spark, HDFS, Python, Hadoop est demandée. Les compétences suivantes devront être maîtrisées : • Mode de chargement dans l’entrepôt (ETL) : BTEQ Teradata CONTROL-M Environnement UNIX ( répertoires principaux, Usage & Entrepôt ) SQL sur SGBD relationel (Teradata) TPT Outils collaboratifs et documentaires : GIT, Jira, Confluence, MEGA, Zeenea Spark HDFS Python Hadoop

nous sommes à la recherche d'un Expert Intégration ETL / Data Streaming pour piloter et faire évoluer les services d’intégration autour de Talend Cloud / Hybride et Kafka Confluent Cloud . Vos missions : Assurer le support, la maintenance et le suivi des projets existants (CRM, annuaire, PIM…) Accompagner la création de nouveaux projets : recueil du besoin, challenge métier, cadrage technique, définition d’architecture et conception des flux Piloter une équipe offshore (développement, tests, déploiement) Gérer le plan de charge et les plannings Administrer et superviser la plateforme Talend ainsi que les composants On-Premise (upgrade, monitoring, résolution d’incidents) Assurer l’administration et le suivi opérationnel de Kafka Confluent Cloud Suivre la facturation des deux plateformes Définir et diffuser les bonnes pratiques techniques et de développement

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers. L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake : Gestion de la production Gestion de la dette technique Revoir l'architecture actuelle et proposer des évolutions Développements liés aux projets Description : Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : Acheminement de la donnée Mise à disposition de la donnée aux équipes utilisatrices Mise en production de modèles statistiques Suivi de projet de développement Développement job spark Traitement et ingestion de plusieurs formats des données Développement des scripts Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données Développement des moyens de restitution via génération de fichier et ou API & Dashboarding Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP Participer à la conception, mise en place et administration de solutions Big Data Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka Normalisation et agrégation des données afin de produire les rapports sous forme de Business View