Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Développeur Python / GCP Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe. Contexte / Objectifs : Mise en place du projet "Risques Climatiques & Physiques" une solution visant à ingérer, agréger et exposer des données de sources multiples afin de produire les rapports Métier sur le scope de la surveillance du risque de crédit. La mission consiste à participer à la réalisation du projet basée sur Google Cloud Platform, à forts enjeux au sein d'une équipe engagée et experte sur le sujet. Une expérience dans le domaine du Risques de crédit est appréciée. Le projet étant stratégique et à forte visibilité, les critères d'expertises techniques décrites dans cet Appel d'Offre sont à respecter impérativement. Objectifs et livrables Expertises spécifiques : Développement et Intégration de solutions Python Spark avec les services data et compute de Google Cloud Platform Excellente maitrise : BigQuery, Dataproc, Composer, Cloud Functions, Cloud Run Jobs, et GCS. - Bonne maitrise de la partie DevOps : XLD, Terraforme, jenkins - Bonne communication, autonomie et fluidité du travail en équipe.

Almatek recherche pour l'un de ses clients Un Lead Technique / Consultant Digital Factory SENIOR sur Velizy. Objectifs de la mission Le consultant interviendra sur deux volets complémentaires : Volet 1 – Leadership technique transversal & coaching • Définir et maintenir le référentiel d’architecture et les standards techniques • Concevoir des composants transverses (librairies, SDK, templates, exemples de référence) • Assurer un coaching technique hands-on (pair programming, ateliers, refactoring) • Animer des peer reviews transverses (code, design, architecture) • Rédiger des guides opérationnels, checklists qualité et bonnes pratiques Volet 2 – Delivery & industrialisation de solutions digitales • Analyser les besoins projets et rédiger les spécifications techniques détaillées • Développer des solutions : o Back-end : services, APIs, microservices, traitements o Front-end : interfaces web et écrans métiers • Intégrer les solutions dans le SI existant (IAM, référentiels, bus d’échanges) • Mettre en place et maintenir les pipelines CI/CD • Contribuer à l’industrialisation et à l’exploitation o tests automatisés o monitoring, logs, métriques o procédures de run et gestion d’incidents Environnement technique • Langages o Python o JavaScript / NodeJS o .NET • Data & Big Data o Apache Spark o Conception et développement de plateformes Data / Big Data • Cloud o AWS Compétences attendues Techniques & transverses • Conception d’architectures robustes • Capacité à argumenter et challenger les choix techniques • Expérience en environnement industriel contraint Soft skills • Leadership naturel • Proactivité • Sens du résultat • Esprit d’équipe et pédagogie Livrables attendus • Référentiel d’architecture et standards techniques • Composants transverses (librairies, templates, exemples de code) • Spécifications techniques et plans de tests • Code, artefacts déployables et scripts d’intégration • Pipelines CI/CD opérationnels • Documentation d’intégration et de run • Rapport hebdomadaire d’activité, commenté avec le client Langues • Anglais : professionnel courant (lu, parlé, écrit) • Français : courant Séniorité • Profil Senior / Expert • Environ 7 ans d’expérience professionnelle • Expérience confirmée en lead technique ou rôle équivalent • Minimum 3 ans d’expérience sur AWS ou cloud équivalent Lieu : Principalement sur site client : Velizy – Île-de-France Télétravail : À définir avec le client (2j de tt habituellement)

I. Contexte : Nous recherchons une personne ayant de l'expérience sur la gestion de plateforme bigdata dans un écosystème Hadoop. Le SI est composé très majoritairement de composants Opensource et le périmètre IGD (Infrastructure de Gestion de la Donnée) concerne principalement les composants permettant de stocker, échanger, transporter, transformer la donnée, à la fois technique et fonctionnelle. Contexte technique : 1500 Machine virtuelle II. Missions : Votre quotidien sera partagé entre : • Support N3 : traitement des incidents de production • Projets techniques : qualification et industrialisation des briques techniques • Gestion d’obsolescence : monter en version de Hadoop, cassandra, spark, kafka, vitess • Administration MySQL • Suivi des KPIs et mise en œuvre des actions correctives

Dans le cadre du développement de ses plateformes data et applicatives, notre client recherche un Data Engineer / Développeur Java Full Stack afin de renforcer ses équipes techniques. Vous interviendrez sur l’ensemble de la chaîne de traitement de la donnée, de la collecte à la visualisation, dans un environnement moderne orienté microservices, cloud et DevOps . Missions principales 🔹 Développement backend & collecte de données Concevoir et développer des composants en Java (Spring, Hibernate) Mettre en place des modules de collecte de données (API, fichiers, bases de données) Développer et maintenir des API REST/SOAP en respectant les bonnes pratiques (TDD, sécurité) Implémenter des solutions d’authentification ( OAuth2, SSO ) 🔹 Traitement de données (Big Data) Participer à la mise en œuvre de traitements sous Apache Spark 3 Optimiser les pipelines de données (collecte, transformation, distribution) Assurer la performance et la fiabilité des traitements 🔹 Développement Front & DataViz Développer des interfaces utilisateurs en Angular Concevoir des dashboards et rapports sous Power BI Collaborer avec les équipes métier pour valoriser la donnée 🔹 DevOps & Infrastructure Déployer et gérer des applications sur des clusters Kubernetes Participer à l’optimisation des environnements (CI/CD, performance) Collaborer avec les équipes infrastructure pour : le déploiement la gestion des ressources la sécurité applicative 🔹 Qualité & delivery Écrire et maintenir des tests automatisés (Cucumber) Participer au cycle complet de delivery (build, déploiement, mise en production) Assurer le suivi post-production 🔹 Amélioration continue Être force de proposition sur les choix techniques et l’architecture Contribuer à l’amélioration des performances et de la qualité des applications

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. C’est votre future équipe Les équipes de ConsortIA , sont des acteurs de référence de la Data, du Développement Digital et de l'Ingénierie Média. En combinant ces expertises, nous concevons des systèmes d’information augmentés, intégrés, agiles et sécurisés, au service de la performance et de la transformation numérique de nos clients. Data Engineer Teradata et Big Data H/F C’est votre mission Vous êtes passionné·e par [XXX] ? Ce poste est fait pour vous. En tant que Data Engineer Teradata et Big Data , vous êtes responsable du [XXX] et [XXX] de notre écosystème : Côté build : Concevoir et développer des solutions DataMart / Datalab sur environnement Teradata Mettre en œuvre les chaînes ETL via BTEQ / TPT Développer des traitements de collecte, transformation et stockage de données sur plateforme Big Data Construire des agrégats et indicateurs (scores, datamarts) à destination des équipes Data Science Développer des pipelines de données sous environnements Spark / Hadoop / HDFS Participer à la modélisation et au design des solutions de données (bonnes pratiques Data Engineering) Industrialiser les traitements dans un contexte Unix / SQL / Teradata Utiliser les outils collaboratifs (Git, Jira, Confluence, MEGA) dans un cadre Agile Côté run : Assurer le support et la maintenance des chaînes de production Data Surveiller et optimiser les traitements batch (ordonnancement via Control-M ) Gérer les incidents de production sur les flux Teradata / Big Data Analyser et corriger les anomalies sur les traitements SQL / ETL Garantir la disponibilité et la performance des jobs data Participer à l’amélioration continue des pipelines (fiabilisation, optimisation) Assurer le support aux équipes Data Science sur les environnements de données Maintenir la documentation technique (Confluence, MEGA) Suivre les bonnes pratiques d’exploitation dans un contexte DevOps C’est votre parcours Vous avez au moins 5 ans d’expérience dans des environnements DevOps exigeants. Vous aimez concevoir et industrialiser des pipelines de données robustes sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Environnement Linux / Unix dans un contexte Agile et DevOps Maîtrise des technologies Data : Teradata, SQL, BTEQ, TPT Écosystème Big Data : Spark, Hadoop, HDFS, Python Outils d’exploitation et d’ordonnancement : Control-M Outils collaboratifs : Git, Jira, Confluence, MEGA Connaissance de solutions ETL / Data : Datastage Bonne compréhension des architectures de données et pipelines industrialisés C’est votre manière de faire équipe : Rigueur et sens de la qualité dans les traitements de données Esprit d’analyse et capacité de résolution de problèmes complexes Collaboration forte avec équipes Data, IT et métier Autonomie et sens des responsabilités en environnement de production Communication claire et esprit d’équipe Adaptabilité dans des environnements techniques évolutifs (DevOps / Big Data) Culture de l’amélioration continue et du delivery fiable C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Paris Contrat : CDI Télétravail : Hybride Salaire : De 55K € à 62K € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Contexte de la mission Dans le cadre d’un programme structurant de modernisation du système d’information , nous recherchons un profil Data Engineer / DevOps senior pour renforcer une équipe existante. La mission s’inscrit au cœur du SI cible , au service de plusieurs applications critiques orientées data, intégration et services temps réel. Le poste vise à industrialiser les chaînes DevOps et à structurer les flux Data Lake dans un environnement cloud native, fortement automatisé et orienté open source . Démarrage souhaité : mai / juin Localisation : Rive gauche bordeaux, nécessite un véhicule Objectifs de la mission Le rôle est double : DevOps / Plateforme Industrialisation et sécurisation des chaînes d’intégration et de déploiement Standardisation des pratiques GitOps sur un socle Kubernetes multi‑environnements Renforcement de l’automatisation et de l’observabilité des plateformes applicatives et data Data / Streaming Accompagnement à la conception et à la standardisation des flux data temps réel Structuration d’un Data Lake orienté streaming et lakehouse Garantie de la performance, de la résilience et de la maintenabilité des flux Domaines d’intervention & compétences clés Socle Kubernetes & DevOps Orchestration : Kubernetes (Namespaces, Ingress, RBAC) GitOps : GitLab CI, Helm, ArgoCD Observabilité : Grafana, Prometheus, Loki, Tempo Sécurité CI/CD : SAST, DAST, Trivy Environnements : OpenStack Écosystème Data & Data Lake Streaming & CDC : Kafka, Debezium Processing : Spark SQL, Airflow Lakehouse : Apache Iceberg Query Engine : Trino (PrestoSQL) Stockage objet : Ceph (ou équivalent) Micro‑services & APIs Runtimes : Java / Quarkus, Python API Management : Kong Protocoles : MQTT (atout) Optimisation des performances applicatives et data Livrables attendus (exemples) Socle & automatisation Mise en place d’architectures ArgoCD (Application of Applications) Catalogue de Charts Helm industrialisés Bibliothèque de pipelines GitLab CI/CD standardisés et sécurisés Data & Streaming Provisionnement automatisé des clusters Kafka et connecteurs Debezium Configuration optimisée de Trino sur stockage objet Mise en place des DAGs Airflow pour l’orchestration des traitements Documentation & MCO Dashboards de supervision avancés Rédaction du Dossier d’Architecture Technique (DAT) Rédaction de Runbooks MCO / PRA Définition de standards techniques et bonnes pratiques cloud native Profil recherché Expérience confirmée (5 à 8 ans minimum) en DevOps, Data Engineer ou Platform Engineer Très bonne maîtrise de Kubernetes et des pratiques GitOps Expérience concrète sur des plateformes Kafka et Data Lake À l’aise dans des contextes SI complexes et structurants Capacité à travailler en collaboration étroite avec équipes de développement, architectes et chefs de projet Autonomie, rigueur, sens de l’industrialisation

Pour l'un de nos clients du secteur bancaire, nous recherchons un architecte IT end-to-end (data, backend, frontend). Objectifs de la mission : Apporter de l’expertise architecture tout en étant pédagogue (vulgarisation, acculturation des équipes). IT : architecte end to end, maitrise Google Cloud Platform, Data compute (Apache spark, gestion de gros volumes de données), langages : Java et/ou .NET, conteneurisation : OpenShift / Kubernetes et outil agentique. (MANDATORY : SANS CES COMPETENCES, INUTILE DE POSTULER)

Au sein de l’équipe Data & IA, l’Ingénieur Infrastructure Data est responsable de l’administration, de l’évolution et du maintien en conditions opérationnelles des plateformes Big Data basées sur l’écosystème Cloudera CDP et des technologies Open Source. Il conçoit et met en œuvre des solutions d’ingestion, de stockage et de traitement de données (Hadoop, Ozone, Hive, Kafka, Spark, etc.), automatise les pipelines de données et veille à la qualité, la sécurité et la conformité des données, notamment au regard du RGPD. Il participe également à l’industrialisation et au déploiement de modèles de data science et de machine learning, tout en assurant le support technique aux équipes applicatives et métiers. Enfin, il contribue aux projets d’évolution des plateformes, à la migration des clusters Hadoop et à l’amélioration continue des infrastructures, en collaboration avec les équipes infrastructures, production et internationales.

Ingénieur DATA : . Contexte Dans le cadre de l’exploitation et de l’optimisation de notre infrastructure Cloudera Data Platform (CDP), nous recherchons un prestataire expert capable d’assurer le support technique, l’analyse et la résolution des incidents critiques ainsi que l’optimisation continue de la plateforme. Le prestataire devra maîtriser les architectures Cloudera, posséder une expertise avancée en développement Shell, Ansible et Python, et être capable d’intervenir sur les problématiques de dimensionnement et de tuning de l’infrastructure. Une connaissance de Kafka est requise pour la gestion des flux de données en temps réel. Des connaissances en sur la plateforme Dataiku seraient un plus. 3. Missions Support Technique Niveau 2 et 3 sur Cloudera Data Platform • Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera. • Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers. • Gérer les escalades des incidents critiques et collaborer avec l’éditeur si nécessaire. • Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes. • Optimiser la performance des services et traitements Hadoop, Spark et Kafka. Gestion et Optimisation de Kafka • Administrer et optimiser l’infrastructure Kafka sur Cloudera. • Gérer la scalabilité et la résilience des clusters Kafka. • Assurer une supervision efficace des topics, brokers et consommateurs. • Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets. • Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka. Automatisation et Développement • Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l’exploitation. • Automatiser la gestion des incidents récurrents et les procédures de maintenance. • Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées. Optimisation et Dimensionnement de l’Infrastructure • Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail. • Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources. • Analyser et proposer des évolutions d’architecture en collaboration avec les architectes en fonction des besoins métier. • Assurer une veille technologique et être force de proposition pour améliorer la plateforme. Documentation et Transmission de Connaissances • Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d’utilisation de l’offre. • Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l’analyse des incidents. • Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2. 4. Profil Recherché Le prestataire devra justifier des compétences suivantes : • Expérience avérée en administration et support de Cloudera Data Platform. • Maîtrise de Kafka (optimisation, gestion des performances et de la scalabilité). • Capacité à analyser et résoudre des incidents critiques sur un environnement Big Data. • Maîtrise des langages Shell, Ansible et Python pour l’automatisation et le déploiement. • Expérience sur les bases de données Elasticsearch. • Capacité à intervenir sur des problématiques de dimensionnement et d’optimisation des performances. • Autonomie, rigueur et capacité à être force de proposition. • Une connaissance de la plateforme Dataiku serait un plus. • Capacité à collaborer avec des équipes multi-disciplinaires et à transmettre des connaissances. • Bonnes connaissances de Linux (à l'aise avec un terminal).

Rejoignez TRUST’IT 🚀 Créée en 2016, TRUST’IT compte aujourd’hui plus de 100 collaborateurs et un chiffre d’affaires de plus de 10 M€. Spécialistes de l’infrastructure, de la production et des métiers fonctionnels (Business Analyst, PO, Scrum Master…), nous proposons principalement des missions longues (2 à 3 ans). Notre force : une culture d’entreprise familiale , un turnover quasi nul et un mot d’ordre clair – la confiance . Chez TRUST’IT, nous plaçons l’épanouissement de nos collaborateurs au cœur de notre réussite. Nos avantages ✅ 25 CP + 10 RTT ✅ Mutuelle/prévoyance 100 % gratuite pour vous et votre famille ✅ Navigo intégralement remboursé + panier repas ✅ Prime d’intéressement & de cooptation (1 500 €) ✅ Chèques cadeaux, vacances, culture, rentrée scolaire ✅ Accès gratuit à + de 3 000 infrastructures sport & bien-être TRUST’IT, ce n’est pas une ESN comme les autres… c’est une famille ! Nous recherchons pour notre client, un Data Engineer (H/F) Contexte : Des tâches quotidiennes liées au maintien de la production en condition opérationnelle. Vos interlocuteurs privilégiés seront les équipes de production applicative, les équipes infrastructures, les plateformes internationales, mais également les équipes métiers pour lesquelles vous apporterez votre support et votre expertise technique. Missions : Conception et mise en œuvre de l'ingestion et du stockage de données : Identifier et formaliser les besoins des métiers en matière de collecte et de stockage de données. Développer des solutions d'acquisition de données via API. Concevoir et implémenter des architectures de stockage de données robustes (Ex: Ozone, Hadoop, Druid, Clickhouse…). Valider la qualité des développements par des tests unitaires et d'intégration. Automatiser les traitements de données via la mise en place et la maintenance de batch. Valorisation et sécurisation des données : Industrialiser les processus de nettoyage et de transformation des données. Gérer et documenter des bases de données hétérogènes, en intégrant diverses sources de données. Veiller à la conformité RGPD dans la gestion du cycle de vie des données. Superviser l'exploitation et assurer la maintenance corrective et évolutive des systèmes de données. Intégration et suivi des modèles prédictifs : Industrialiser le déploiement de modèles statistiques et de machine learning. Mettre en place des dispositifs de validation et de monitoring des modèles. Assurer le suivi opérationnel et la maintenance des modèles intégrés aux applications. Contribution au pilotage projet : Définir les spécifications techniques précises en appui de l'analyse des besoins. Environnement technique : Les composants basés sur le logiciel de l’éditeur Cloudera CDP 7.1 :Hbase, Hive, Kafka, Solr, Knox, Spark,Ranger, Zookeeper, Kerberos LDAP... •Être force de proposition sur les évolutions techniques du périmètre Data avec la nouvelle offre containérisée : Cloudera Data Services (Infra Openshift K8s) •Contribuer à l'élaboration et à l'exécution des stratégies de migration des clusters Hadoop Cloudera. •Aisance avec l’écosystème Apache (Outils OpenSource),Build (Java, Maven, Gradle...), Automatisation avec Ansible •Connaissance Trino/Starburst, AirFlow, Flink •Participer à la résolution de problèmes complexes sur les plateformes Data (Capacité d’analysedes incidents applicatif de type Hive, Yarn, Spark...) •Apporter un support quotidien aux équipes applicatives et métiers dans leurs études de cas d’usage, leurs problématiques de développement ou de montée en charge. •Le poste est soumis à astreintes et interventions hors périodes ouvrées par rotation .Couverture horaire de l’équipe : 8h/19h

Contexte Dans le cadre du développement et de l’industrialisation de services d’IA générative à destination de multiples entités métiers, nous recherchons un profil capable d’assurer l’ ownership technique d’un produit de type RAG as a Service . L’environnement s’inscrit au sein d’une organisation structurée autour d’une équipe d’environ 20 experts , répartis sur plusieurs pôles d’activité : Solutions Engineering, Automation Engineering, Infrastructure Engineering, Product Office et Client Services . Le contexte technique comprend notamment : plus de 15 plateformes Data Science / MLOps en production , en environnements cloud et on premise ; une base de 600+ utilisateurs Data Scientists ; plusieurs infrastructures, plateformes et services d’ IA générative déjà en production ; un GRID de GPU on premise utilisé pour l’entraînement et l’inférence ; des pratiques établies de DevSecOps, GitOps, MLOps et LLMOps ; un fort niveau d’ automatisation autour des APIs d’infrastructure, des plateformes Kubernetes / OpenShift et des produits. Missions principales En tant que Technical Owner / Product Owner Technique , vous serez responsable de la cohérence technique, de la trajectoire produit et de la bonne exploitation du service. À ce titre, vos principales missions seront les suivantes : contribuer à l’ élaboration technique et fonctionnelle du produit IA qui vous sera confié, en lien étroit avec les équipes de Solutions Engineering pour la veille et l’évolution des usages, ainsi qu’avec les équipes DevSecOps pour son industrialisation ; garantir le respect des exigences de sécurité, conformité et confidentialité , ainsi que l’alignement avec les standards de production IT en matière d’ observabilité, auditabilité, traçabilité et contrôle des accès ; définir et mettre en œuvre les mécanismes techniques de gouvernance permettant aux entités utilisatrices ou à leurs équipes IT d’opérer le produit dans un cadre maîtrisé ; construire, maintenir et enrichir la feuille de route technique du produit afin d’assurer une création de valeur continue, en cohérence avec les besoins des utilisateurs et des métiers ; accompagner au quotidien les utilisateurs, interlocuteurs métiers et équipes IT , et veiller à la bonne adoption des bonnes pratiques d’usage du produit ; superviser les opérations critiques liées aux changements, déploiements et mises à jour, avec une vision de bout en bout des impacts sur les différents services gérés ; organiser et documenter la gestion des incidents , notamment via l’analyse des causes racines, la coordination inter-équipes et l’amélioration continue ; être force de proposition dans l’ optimisation des processus internes et dans l’alignement avec les autres équipes du domaine IA & Data ; représenter la relation technique avec les fournisseurs et partenaires contribuant à l’évolution du produit, qu’il s’agisse d’éditeurs, d’équipes d’industrialisation ou d’équipes d’infrastructure. Environnement technique Le poste s’inscrit dans un environnement technologique riche, comprenant notamment : Docker / Kubernetes / OpenShift frameworks de calcul distribué : Spark, Ray, Dask, OpenMPI GPU Computing : CUDA, Rapids, NIMs, NeMo environnements de Data Science : Python, Conda, R (optionnel) développement en Python Shell scripting MLflow / Kubeflow outils CI/CD, DevSecOps et GitOps : HashiCorp Vault, GitLab, GitLab CI, Artifactory, ArgoCD, Argo Workflows

Le contexte : L'un des objectifs majeurs du plan de transformation DATA est de développer les applications DATA qui permettent à nos métiers business (pilotage, marketing, commerce, ...) d'être autonomes dans l'analyse des données et des KPI et de déployer des applications destinées à nos abonnés directement (recommandation contenu et offres, etc.). Dans ce cadre, le client a déployé les outils : AWS, Gitlab, Terraform, Informatica, DBT, Snowflake, Braze, AI, Scala, Spark, Python, POWERBI, etc. Architectures sophistiquées pour ingérer plus de 100To de données par jours: Datalake, Event-Driven, Streaming, etc. Des exemples de projets sont nombreux : Plateforme agentique, Socle vidéo, navigation et calcul des audiences, AI pour recommandation des programmes, etc. Feature Store, Moderniser les flux financiers, Content Platform, Mise en place Kubernetes, Plateforme pour le traitement des données CRM et usage, Partager des informations sur les clients à nos partenaires (Netflix, Apple, M6, TF1, etc.), Piloter plus efficacement l'activité des marchés professionnels, Mettre à disposition des applications de data-selfservice. Votre rôle sera de : Administrer, maintenir et optimiser la plateforme Informatica PowerCenter (serveurs, repository, workflows, sessions, etc.), Contribuer activement au décommissionnement en cours d'Informatica via la mise en place d’un Lakehouse AWS (Airflow, DBT, Iceberg, etc.), Concevoir, développer et documenter des workflows data pour alimenter le data warehouse et les systèmes applicatifs, Concevoir, développer et documenter des workflows Lakehouse avec AWS, Airflow, DBT et Python, Identifier et résoudre les problèmes de performance ou de qualité des données, Contribuer au run de la plateforme (analyse des incidents, MEP, support production, etc.), Collaborer avec les équipes Data, BI et Infrastructure pour garantir la cohérence et la disponibilité des données, Former et assister les utilisateurs internes (équipe data, développeurs, MOA, etc.), Proposer des améliorations techniques et de bonnes pratiques sur l’utilisation de la plateforme. Vous maîtrisez Informatica, Snowflake, Airflow, DBT, AWS et aimez les challenges, Vous êtes experts dans le développement de solution d'intégration de données, Vous parlez Anglais couramment, Vous connaissez et maîtrisez les outils JIRA et les méthodes 'agiles' n’ont pas de secret pour vous ! Autonome, ouvert d’esprit et bon communiquant, vous disposez d’une grande curiosité scientifique.

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

Dans le cadre d’un accroissement d’activité et afin de renforcer l’équipe Data d’un grand acteur bancaire, notre client recherche un Data Engineer GCP expérimenté. La mission s’inscrit dans un environnement Big Data / Cloud GCP en pleine transformation, avec des enjeux forts autour de l’industrialisation des pipelines, de la qualité de données et de la mise à disposition de datasets fiables pour les équipes métiers et analytiques. La mission est basée en Île-de-France (IDF) avec 2 jours de TT par semaine. Votre rôle consiste à: Mettre en place les chaînes d’ingestion, validation, croisement et enrichissement des données. Alimenter et exploiter le Data Lake GCP (GCS) et produire des agrégats (J/H/M). Développer des pipelines batch & streaming (Spark, Kafka, Scala). Industrialiser les traitements via Airflow / Composer et CI/CD. Mettre à disposition les données (API, fichiers, dashboards). Participer à la mise en production de modèles statistiques. Documenter, corriger les anomalies, assister les équipes d’exploitation. Travailler en mode Agile (Scrum/Kanban) .

Chaque moment compte. Surtout ceux que vous vivez à fond. Bienvenue chez Consort Group. Consort Group, accompagne depuis plus de 30 ans les entreprises dans la valorisation de leurs données et infrastructures. Elle s'appuie sur deux leaders, Consortis et Consortia, et place l’humain et la responsabilité sociétale au cœur de ses valeurs. Data ingénieur H/F C’est votre mission Vous êtes passionné·e par la data et les architectures Big Data ? Ce poste est fait pour vous. En tant que Data Engineer , vous êtes responsable du développement et de l’évolution de notre écosystème : Développer et maintenir les briques logicielles backend du système PNS (plateforme interne dédié au traitement , à la gestion et à la mise à disposition de données, basée sur des technologies Big Data et Cloud) Concevoir et implémenter des APIs, traitements batch, dashboards et modules de déploiement Participer activement à la migration on‑premises → GCP Migration en lift & shift ou réécriture complète Rédiger la documentation technique et les tests (unitaires & fonctionnels) Produire des livrables prêts à être mis en production C’est votre parcours Vous avez au moins 3 ans d’expérience dans des environnements Data exigeants. Vous aimez relever des défis techniques complexes sans jamais cesser d’innover. Vous cherchez un cadre où vos idées comptent et où la technique va de pair avec la collaboration. C’est votre expertise : Spark (batch ou streaming) – niveau expert Python ou Java/Scala – niveau avancé Bases NoSQL – maîtrise Kubernetes – maîtrise opérationnelle C’est votre manière de faire équipe : Esprit d’analyse et de résolution de problèmes Communication claire et collaboration transverse Autonomie et sens des responsabilités Proactivité et force de proposition C’est notre engagement Chez Consort Group, vous êtes un·e expert·e qu’on accompagne pour que chaque mission devienne une étape qui compte. Un onboarding attentif et humain Une vraie proximité managériale Des formations accessibles en continu Des engagements concrets : inclusion, égalité, solidarité Un package RH complet : mutuelle, carte TR, CSE, prévoyance Une culture du feedback et des projets qui font sens C’est clair Le process de recrutement : Un premier échange téléphonique avec notre team recrutement Un entretien RH ainsi qu’un échange métier avec un.e ingénieur.e d’affaires Un test ou un échange technique avec un.e de nos expert.es Un dernier point avec votre futur.e manager ou responsable de mission Et si on se reconnaît : on démarre ensemble C’est bon à savoir Lieu : Mougins Contrat : CDI Télétravail : Hybride Salaire : De 40000 € à 45000 € (selon expérience) brut annuel Famille métier : Data Ce que vous ferez ici, vous ne le ferez nulle part ailleurs. Ce moment, c’est le vôtre.

Vous intégrerez une équipe Data Science d’envergure (50+ personnes) au sein d’une entreprise tech internationale, leader dans son domaine. Votre mission : prototyper, itérer et mettre en production des modèles de Machine Learning à fort impact business, en étroite collaboration avec les équipes Produit, Data Engineering et Développement. Les projets menés visent à exploiter la richesse de larges volumes de données afin d’ optimiser les performances commerciales, la gestion opérationnelle et la sécurité des utilisateurs sur une plateforme utilisée par des centaines de grandes marques et des milliers de vendeurs dans le monde . Exemples de sujets traités Détection d’anomalies sur les prix ou les comportements vendeurs Analyse de sentiment sur les échanges client / vendeur Estimation des délais de livraison et anticipation des ruptures de stock Développement d’ agents IA pour assister la prise de décision Prédiction et modélisation de phénomènes liés à la supply chain Vos missions Analyser, nettoyer et préparer les données pour la modélisation Concevoir, tester et mettre en production des algorithmes ML / DL Collaborer avec les Data Engineers pour l’industrialisation des modèles Créer des dashboards de suivi et d’analyse de performance Présenter vos travaux en interne et contribuer à la veille scientifique de l’équipe Stack technique Langages & Frameworks : Python, TensorFlow, PyTorch, Keras Data & Cloud : Databricks, Spark, AWS (Redshift, S3), SQL, Airflow, Delta Lake Approches : Time Series, NLP, LLMs, Deep Learning, Heuristiques