Find your next tech and IT Job or contract Big Data

Descriptif du poste Au sein du support applicative dédié à la ferme de calcul et la génération des rapports de PNL & Risk pour les produits dérivés (EQD), la mission consiste à contribuer en plus d'un travail de support de production applicatif, au suivi et à l'amélioration de l'utilisation des applications via un travail sur des données de monitoring et applicatives dans un environnement Big Data. Ratio run/projet: 50%/50% Responsabilités Assurance du bon fonctionnement des applications Monitoring de la grille de calcul Contribution à la mise en place du DEVOPS

Mission Concepteur Développeur Big Data – Société de l'Énergie Localisation : Courbevoie (3 jours/semaine sur site) Tarif max : 400€/jour Démarrage : 05/01/2026 Durée : 12 mois (fin 04/01/2027) – prolongeable Expérience requise : 4-5 ans minimum Prestations principales : Analyse besoins RH/Finance + rédaction spécifications techniques Conception/développement pipelines ETL/ELT (Spark, Hadoop, Databricks, Snowflake) Intégration sources données/API + contrôle qualité Déploiement cloud (AWS/Azure/GCP) ou clusters Hadoop/Spark Optimisation performances (partitionnement, tuning clusters) Tests unitaires/intégration + revues code Maintenance évolutive, support incidents, veille techno Compétences obligatoires : Big Data, Hadoop, Spark, Python PostgreSQL, Databricks Livrables : Spécifications techniques + diagrammes Code source/scripts + tests complets Documentation exploitation + rapports performances Plan déploiement/rollback Cette mission essentielle vise à confier à un Ingénieur Data expérimenté la responsabilité complète du cycle de vie des solutions de traitement de données pour les domaines RH et Finance . Le professionnel doit maîtriser les technologies Big Data (Spark, Hadoop) , les plateformes analytiques (Databricks, Snowflake) et les environnements Cloud (AWS, Azure, GCP) , afin de garantir la livraison de systèmes ETL/ELT performants, sécurisés et alignés sur les objectifs business.

Bonjour, je recherche pour l'un de mes clients un(e) ingé. BIG DATA . Skills : Big Data - Red Hat Linux - anglais Mission : -gérer et maintenir les plateformes de données massives -optimiser les performances des systèmes de données -assurer la qualité et la sécurité des données -collaborer avec les équipes de développement pour intégrer les solutions de données -surveiller et maintenir les systèmes de données en production -analyser les besoins en données et proposer des solutions adaptées N'hésitez pas à revenir vers moi pour des informations complémentaires.

Expert BigData Aix en Provence ASAP Maitrise Cloudera, Kubernetes et devOps Mise en place d'outils IA/Data pour les équipes à fortes valeurs ajoutées tout en gardant les nombres au stricte minimum. Mise en place et gestion des pipelines CI/CD en mode GitOps Utilisation des systèmes de monitoring et d'alerting (ex. Victoria Metrics, Grafana). Collaboration étroite avec les équipes de développement et d'opérations. Analyse et optimisation des performances des applications et infrastructures. Rédaction de documentation technique et guides de procédures. Gestion des incidents et mise en œuvre de solutions préventives.

Missions principales Contribuer au développement et à l’industrialisation des traitements Big Data. Intervenir en transverse auprès des différentes équipes (IT et métiers). Challenger les besoins métiers et proposer des solutions techniques pertinentes. Participer à l’amélioration continue des performances et de la qualité des données. Environnement technique Environnement technique : SPARK, CLOUDERA, HADOOP, Java, Hive Profil recherché – Hard & Soft Skills 5 à 8 ans d’expérience en environnement Big Data (Spark / Hadoop / Hive / Java). Solide culture data et environnement distribués (type Cloudera). Excellente capacité de prise de recul et de compréhension des enjeux métiers. Aisance relationnelle et posture transverse : capacité à challenger et à accompagner les équipes métiers. Présence à Vannes 3 jours par semaine - Non négociable

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Au sein d’une équipe qui travaille sur une application d'aide à la décision pour le trading. Elle permet de gérer des données historiques sur les clients, et les données de marché, ainsi que des données intraday et des mesures de risques, il permet aussi de visualiser les axes de trading. L’application utilise Angular 15 comme front end, Java 11 et Python 2 en back end, et Apache ignite pour le calcul distribué, et Mongo DB comme base de données. Pour la partie déploiement, on utilise Docker / Kubernetes et Jenkins

Hanson Regan is looking for a Big data / Scala / Spark engineer for a 6 month renewable contract in remote with some travel to Belgium Advanced Data & Application Lifecycle Data Engineering Principles (Datalake, Lakehouse, SCD Types 1 & 2, PIT, ...), Application design, development, testing & deployment, Requirement Analysis Advanced Data Processing & Programming Language Apache Spark, Scala, SQL Advanced Real-time Processing Streaming Technologies (Apache Spark) or Flink Advanced Data Storage Iceberg, Delta Table, Parquet, Avro, CSV,JSON Cloud Platforms AWS, Snowflake (preferred) or Zure Databricks Intermediate Development Tools GIT CI/CD, DBT, Containers Afin de répondre aux besoins de nos clients, nous n'acceptons que les candidatures de freelances travaillant au sein de leur propre entreprise (SAS, SASU, SARL, EURL, etc.). N'hésitez pas à me contacter si vous souhaitez discuter de ce poste plus en détail.

Context Dans le cadre d’un programme de transformation data au sein de la R&D, notre client souhaite être accompagné dans la définition de sa stratégie data avec un focus fort sur la modélisation. La mission vise à établir un état des lieux précis, à définir une vision cible réaliste et ambitieuse, puis à construire une roadmap priorisée sur les 12 à 24 prochains mois. Mission 1. Diagnostic & analyse * Réaliser un état des lieux rapide et structuré des usages actuels de la donnée et des pratiques de modélisation au sein de la R&D. * Identifier les forces, faiblesses, opportunités et irritants dans les processus, outils et interactions. 2. Vision & stratégie * Définir une vision cible data claire couvrant : * La gestion et l’exploitation de la donnée, * Les pratiques de modélisation et de data science, * Les besoins associés : compétences, organisation, méthodes, technologies. * Proposer un cadre stratégique cohérent avec les ambitions R&D du groupe. 3. Roadmap Data * Construire une roadmap data 12–24 mois comportant : * Les initiatives prioritaires, * Les projets structurants liés à la modélisation et à la donnée, * Les quick-wins permettant un impact rapide, * Les critères de priorisation et de pilotage. 4. Animation & restitution * Animer des ateliers avec les équipes R&D (scientifiques, data, IT). * Faciliter la convergence vers une vision commune. * Produire des recommandations concrètes, opérationnelles et priorisées. * Restituer les livrables à la direction R&D et/ou Data.

Au sein d’une DSI ou d’une équipe Data/Cloud en pleine transformation numérique, l’ingénieur Big Data / Infrastructure intervient pour concevoir, déployer et maintenir des plateformes de traitement de données à grande échelle. Il joue un rôle clé dans la fiabilité, la performance et la sécurité des environnements Big Data utilisés par les data engineers, data scientists et équipes métier. Responsabilités principales 1. Conception et mise en place de l’infrastructure Big Data Concevoir des architectures de données distribuées (Hadoop, Spark, Kafka, HDFS, NoSQL, S3…). Participer au dimensionnement des clusters, à la définition des SLA et des bonnes pratiques d’industrialisation. Déployer et configurer les services Big Data dans un contexte On-premise, Cloud (AWS/GCP/Azure) ou hybride. 2. Administration et exploitation des plateformes Assurer l’administration quotidienne des clusters : gestion des ressources, supervision, montée de version, tuning des performances. Implémenter des mécanismes de haute disponibilité, d’équilibrage de charge et d’optimisation du stockage. Réaliser des diagnostics avancés en cas de dysfonctionnement et mettre en place des correctifs durables. 3. Automatisation, CI/CD et industrialisation Développer et maintenir des pipelines d’automatisation (Terraform, Ansible, Jenkins, GitLab CI…). Standardiser les déploiements via Infrastructure as Code. Contribuer à l'amélioration continue de la plateforme, en proposant des optimisations de performance et des outils de monitoring. 4. Sécurité, conformité et gouvernance Intégrer les contraintes de sécurité : gestion des accès (Kerberos, IAM, Ranger), chiffrement, segmentation réseau. Participer à la mise en œuvre de la gouvernance Data (catalogue, lineage, qualité, traçabilité). Veiller au respect des politiques RGPD et des normes internes. 5. Support aux équipes Data et accompagnement technique Accompagner les data engineers, développeurs et data scientists dans l’utilisation des ressources Big Data. Optimiser les jobs Spark/Kafka/Hadoop pour réduire les coûts et améliorer la latence. Participer à la rédaction de documentation technique, guides d’usage et bonnes pratiques.

Vous interviendrez pour un grand acteur du secteur de l’énergie, au sein d’une prestation pluridisciplinaire. Votre rôle sera de gérer, maintenir et optimiser les plateformes Big Data afin d’assurer leur performance et disponibilité. Vous travaillerez en étroite collaboration avec les équipes de développement et les analystes de données. 4. Missions principales Gérer et maintenir les plateformes de données massives. Optimiser les performances des systèmes Big Data. Assurer la qualité et la sécurité des données. Collaborer avec les équipes de développement pour intégrer les solutions de données. Surveiller et maintenir les systèmes en production. Analyser les besoins en données et proposer des solutions adaptées.

I. Contexte : Notre client connaît une forte croissance (+1,5 million de clients en un an) et renforce l’équipe Architecture Système/Réseaux (10 personnes) pour assurer la gestion et l’évolution de son infrastructure critique. L’environnement technique est 100% Linux, avec une architecture complexe : · Réseau : 2400 VM, 5-6 Data Centers, 100 applications Open Source · Datalakes : 2 PetaOctets de données · Organisation : Pas de PO, Scrum Master ni DevOps ; 4 équipes de développement (~30 projets) · Répartition des activités : o 1/3 MCO o 1/3 Obsolescence o 1/3 Build / Industrialisation II. Missions : Objectifs de la mission · Assurer la maintenance en conditions opérationnelles (Run 40%) et contribuer à la conception et industrialisation des infrastructures. · Participer à la mise en place d’un socle commun de provisioning, avec un focus sur Data et Sécurité. · Interagir avec les équipes BI pour les besoins de reporting réglementaire et autres. Enjeux techniques · Axes de conception : o Scalabilité o Résilience (site internet = point de contact unique) o Sécurité (chiffrement avancé, PKI, certificats) · Technologies & outils : o Système : Linux o Réseaux : TCP/IP niveau 2, HTTP, SNTP, DNS, zones, reverse proxy o Sécurité : PKI, certificats, chiffrement asymétrique o Containers & IaC : Kubernetes, Ansible (usage limité), Puppet, Terraform o Big Data : Hadoop, Spark, Cassandra, Zeppeli o Autres outils : Kafka, Cognos, Docker, Elasticsearch o Machine Learning : détection de fraude en temps réel · Cloud : utilisation très marginale (Infra as Code majoritairement on-premise)

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

La tribu DATA (DAT) construit et développe des applications sur la base de puissantes plateformes DATA à des fins d’usages variés servant toutes les directions métier du groupe bancaire. Pour répondre à ces usages, DAT est au cœur de la stratégie data-centric du groupe bancaire, et intervient aussi bien au niveau de l’architecture Data, sur les dernières technologies data, Big Data, IA, Teradata, SAS, DMP, Oracle ainsi que sur les solutions analytiques et de datavisualisation. La mission consiste à assurer les fonctions suivantes au sein de la Squad Socles Data de la tribu DAT : Veiller au quotidien à la bonne marche des plateformes Data (Teradata et Big Data) Intervenir au quotidien, sous contraintes de délais, lors des incidents d’exploitation (analyse, diagnostic, résolution). Produire le relevé matinal des exécutions des traitements sur les plateformes « Entrepôt et Usages » et « Big Data ». Analyser les actions correctrices à lancer : – court terme (relance rapide) – moyen terme (consignes pour les pilotes de nuit) – long terme (correctifs d’ordonnancement ou de traitements) Créer les incidents selon le process interne (JIRA). Assurer une communication unique pour les deux environnements DATA Vulgariser la communication technico-fonctionnelle auprès des intervenants (équipes internes et métiers). Mettre en place et diffuser les indicateurs de performance et de délais. Mettre en place des états mensuels des incidents et contribuer aux reportings et comités. Analyser les indicateurs d’assurance qualité de données et communiquer auprès des acteurs concernés. Intégrer des méthodes d’amélioration continue Proposer des améliorations du chemin critique en tenant compte des applications sensibles. Maintenir en condition opérationnelle les moyens, dans le respect des normes et critères de performance. Développer des composants d’amélioration. Définir et mettre en place des outils de normalisation, d’automatisation et de sécurisation de la production. Contribuer à la conception de nouveaux projets et évolutions. Contribuer aux états réguliers de contrôle : habilitations, comptes, connexions… Participer aux projets d’optimisation et d’amélioration de la QDF (Qualité de Fonctionnement)

Descriptif du poste La mission se déroule au sein de l'équipe Infrastructure CaaS (Container As a Service) pour la gestion, la maintenance et le contrôle de la Data et des assets de l'équipe. Nous proposons une mission de Data Engineering avec des expertises des produits récents sur le Big Data. Responsabilités Interaction avec REST APIs Gestion des jobs et administration Ansible + Scripts Python BigData Opensearch / Elastic + Dashboard Kibana / Power BI Technologies Confluence / JIRA pour la gestion documentaire, Git / Bitbucket

Architecte Data – Expert Azure L’Architecte Data interviendra en tant que référent transverse sur les études, les cadrages et la conception d’architectures data bâties autour de l’écosystème Azure (Azure Data Lake, ADF, Databricks, Synapse/Fabric, Purview…). Au-delà de l’expertise Azure, il jouera un rôle de conseil , capable de vulgariser les enjeux data et de présenter des solutions claires et impactantes auprès des directions métier et exécutives, dans une posture “cabinet de conseil”. Responsabilités principales : Réaliser des études d’architecture et de chiffrage (DAT, estimations, roadmaps) avec un focus fort sur Azure Data . Concevoir des architectures data modernes sur Azure : ingestion, stockage, modélisation, gouvernance, analytics/AI. Traduire les besoins métier en solutions Azure pragmatiques, sécurisées et alignées sur les standards de l’entreprise. Produire des livrables premium : présentations PowerPoint, supports de cadrage, pitchs d’arbitrage, dossiers de décision. Vulgariser les sujets Azure auprès d’interlocuteurs non techniques (métiers, directions). Conseiller, challenger et proposer des trajectoires data orientées Azure, en réalisant benchmarks et recommandations. Travailler en proximité avec les équipes Data Engineering, BI, IA, Cloud et les autres architectes. Profil recherché : Bac+5 (ingénieur ou équivalent). 5 à 10 ans d’expérience minimum en architecture data , avec une expertise Azure confirmée . Maîtrise des principaux services Azure Data : Data Lake, ADF, Databricks/Fabric, Synapse, Purview, ETL/ELT, sécurité, gouvernance. Excellent relationnel, capacité à adapter son discours selon les interlocuteurs (métiers, DSI, direction). Solide maîtrise de la structuration et mise en scène de l’information (slides, storytelling, cadrage). Expérience en conseil / ESN appréciée (présentation, posture, relation client). Équilibre stratégie / technique : parler d’architecture sans rentrer dans le code. Soft skills clés : Pédagogue, excellent vulgarisateur. Curieux, structuré, orienté impact. Parfaitement à l’aise dans les présentations. Posture de consultant : écoute, influence, crédibilité.

Bonjour, je recherche pour l'un de mes clients un(e) expert(e) Big Data. Skills : Big Data - Cloud Data - anglais Mission : -intervenir en assistance et expertises auprès du client -réaliser l'étude détaillée du besoin client en lien avec les architectes -construire avec les CloudOps les infrastructures DATA pour le projet -paramétrer et configurer les services afin de répondre aux exigences projets -documentation -gestion des demandes et incidents -upgrade N'hésitez pas à revenir vers moi pour des informations complémentaires.