Find your next tech and IT Job or contract Big Data

Dans le cadre d'un renforcement de nos équipes chez l'un de nos clients grands comptes dans le secteur bancaire. Nous recherchons un(e) Data Engineer/ Développeur pour intervenir dans un équipe Big Data & API qui développe et gère un datalake (GTLake) Votre objectif de mission : - Gestion de la production - Gestion de la dette technique - Revoir l'architecture actuelle et proposer des évolutions - Développements liés aux projets CASH et Trade A noter que notre client a démarré une phase de mutation du GTLake vers une gestion en code python/spark ( afin de remplacer informatica DEI ) La prestation demande donc faire preuve d'autonomie de curiosité et de rigueur pour traiter en toute sécurité de la modernisation de nos solutions de pipeline data ( migrations de workflows informatica ou des implémentations des projets) Ceci avec une approche moderne et industrielle.

Pour l'un de nos clients, nous recherchons un(e) Ingénieur DATA BI & Cloud Azure pour renforcer leurs équipes IT. Votre poste et vos missions Membre de l'équipe IT & Digital, vous intervenez au cœur des différents projets de développement du Groupe sur un périmètre international. Dans le respect de la stratégie IT établie par le DSI, votre mission consiste à : Mise en place d'une vraie démarche data-driven au niveau technique - Apporter votre expertise technique et vos idées lors de la mise en place de projets concernant les développement données / BI - Force de proposition sur des nouvelles architectures et solutions d'intégration des données - Connaissances des principes big data et IoT - Connaissances avancées en datawarehouse et modèles de gouvernance des données - Connaissances des API Data pour le temps réel

Dans le cadre d'un projet Data au sein d'un grand acteur du secteur de l'assurance, nous recherchons un Business Analyst Data / AMOA Senior afin d'accompagner les équipes métiers dans la valorisation et l'exploitation de la donnée. La mission s'inscrit au sein d'une équipe en charge du conseil et de l'accompagnement des métiers autour des usages Data. Vos missionsVous interviendrez notamment sur : Le recueil, l'analyse et la formalisation des besoins métiers L'accompagnement et le conseil aux directions métiers sur les usages et l'exploitation de la donnée Le cadrage de projets Data : études d'impact, opportunité et faisabilité La contribution à la cohérence fonctionnelle des solutions Data avec le SI existant La production des livrables fonctionnels : modélisation de données, SFG, SFD La réalisation des recettes fonctionnelles La qualification des anomalies et le suivi des corrections Le support et l'assistance auprès des utilisateurs métiers La mise à jour de la documentation fonctionnelle Le suivi de la satisfaction métier dans le respect des enjeux de qualité, coûts et délais EnvironnementSI décisionnel / BI Informatica Plateforme Big Data / DataHub Cloudera

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

Data Scientist and Python Software Developer - London We're looking to recruit a Data Scientist and Python Software Developer with data science skills to join a product team that is focused on building well engineered products. The products provide an intuitive way for retailers and suppliers to interact and consume 'big data' analytics to make better business decisions. This role would consist of working together with a team of statistical analysts, understanding their methodologies and algorithms, and turning them into production ready code written in Python. This role would also require occasional travel to Paris or Munich. Main skills: Excellent knowledge of Python and it's related data science libraries (scikit, pandas, etc) Prior experience of using Python to perform calculations and generate datasets Good statistical knowledge Excellent communication and decision making skills Exposure to working with REST API's Any of the following skills would be an added bonus: Has run code across Hadoop/MapReduce clusters Has code running in a production environment Used SAS before (or at least can decipher SAS code) Worked with very large data sets before (billions of records) Knowledge of SQL/NoSQL database Knowledge or experience in D3.js Experience acting as a mentor/trainer in Python This is 6 month assignment in London with travel to Paris and Munich. Please send your CV to us in Word format along with daily rate and availability.

Description et livrables de la prestation Le Data Engineer est un développeur au sein de l'équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l'ensemble des expertises technologiques liées à l'ingénierie de la donnée, de l'automatisation et à l'exploitation des modèles de Machine Learning. Votre rôle et vos missions : Vous aurez pour missions principales de développer les projets Big Data demandés par le métier, et notamment : • Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake • Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake • Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, …) • De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) • Accompagner les Data Engineers sur son périmètre pour garantir la qualité des livrables

Mission : -Architecture & Développement : Concevoir et développer les pipelines d'ingestion/traitement, les briques de normalisation et les API d'exposition des données. -Core Framework : Faire évoluer le framework commun (CI/CD, monitoring, tests automatisés, résilience, performance, qualité de code). -Leadership technique : Piloter des chantiers de dev, challenger les besoins métiers, faire respecter les standards d'architecture et coacher l'équipe. Stack & Compétences requises : -Software Engineering : Excellente maîtrise de Python (POO, modularisation, clean code), Git & Git Flow. -Big Data & Performance : Spark, Glue, Parquet, S3, HDFS, SQL avancé. Expertise en optimisation (partitionnement, bucketing, cache, tuning Spark/SQL). -Cloud AWS : S3, Lambda, Glue, IAM, EventBridge, CloudWatch. -DevOps & IaC : Pratiques CI/CD robustes et Infrastructure as Code. (Important : Vous devez maîtriser au moins 2 à 3 des domaines techniques clés ci-dessus). -Lieu : Hauts-de-Seine (92) / Île-de-France. -Déplacements : Ponctuels à prévoir en France (Lyon) et en Belgique (Bruxelles). -Spécificité : Astreintes possibles.

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 📍Strasbourg - 🛠 Expérience de 6 ans minimum Vous aimez travailler sur des sujets Data concrets, avec une stack Spark / Scala / Java et un vrai rôle sur le cycle de vie des applications ? Cette opportunité est faite pour vous ! 🚀 Dans le cadre de notre développement, nous recherchons un(e) Développeur Big Data pour intervenir auprès de l'un de nos clients dans le secteur bancaire. 💻💼 Vous rejoignez une équipe Data qui fait évoluer une application de type datalake dans le secteur des services de paiement. Votre rôle : transformer les besoins fonctionnels en évolutions techniques concrètes, de l'analyse jusqu'à la mise en production. Vous travaillerez au quotidien avec les développeurs, les chefs de projet, la maîtrise d'ouvrage et les équipes techniques. 🎯 Ce que vous allez faire concrètement : Vous interviendrez sur l'ensemble du cycle de développement : - analyser les spécifications fonctionnelles et identifier leurs impacts sur les applications - rédiger les spécifications techniques nécessaires aux développements - concevoir et développer les évolutions en Spark / Scala et/ou Java - réaliser les tests et préparer les livraisons - documenter les développements réalisés - suivre les anomalies et intervenir en support lors des incidents - présenter l'avancement de vos travaux au responsable d'équipe et aux chefs de projet Vous aurez donc un rôle assez complet : analyse, développement, tests, livraison et support. 📍 Situation géographique : Strasbourg (67) – 2 jours de télétravail/semaine

A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇ 📍Strasbourg - 🛠 Expérience de 6 ans minimum Vous aimez travailler sur des sujets Data concrets, avec une stack Spark / Scala / Java et un vrai rôle sur le cycle de vie des applications ? Cette opportunité est faite pour vous ! 🚀 Dans le cadre de notre développement, nous recherchons un(e) Développeur Big Data pour intervenir auprès de l'un de nos clients dans le secteur bancaire. 💻💼 Vous rejoignez une équipe Data qui fait évoluer une application de type datalake dans le secteur des services de paiement. Votre rôle : transformer les besoins fonctionnels en évolutions techniques concrètes, de l'analyse jusqu'à la mise en production. Vous travaillerez au quotidien avec les développeurs, les chefs de projet, la maîtrise d'ouvrage et les équipes techniques. 🎯 Ce que vous allez faire concrètement : Vous interviendrez sur l'ensemble du cycle de développement : - analyser les spécifications fonctionnelles et identifier leurs impacts sur les applications - rédiger les spécifications techniques nécessaires aux développements - concevoir et développer les évolutions en Spark / Scala et/ou Java - réaliser les tests et préparer les livraisons - documenter les développements réalisés - suivre les anomalies et intervenir en support lors des incidents - présenter l'avancement de vos travaux au responsable d'équipe et aux chefs de projet Vous aurez donc un rôle assez complet : analyse, développement, tests, livraison et support. 📍 Situation géographique : Strasbourg (67) – 2 jours de télétravail/semaine

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.

DBA PRODUCTION ORACLE POSTGRES ET SQL SERVER Administrer les bases de données en environnement de production 24/7 Les livrables sont : Documents d'exploitation - Compte-rendu d'intervention Compétences techniques : PostgreSQL - Expert - Impératif MS-SQL - Confirmé - Impératif Big Data Cassandra - Confirmé - Un plus Oracle - Confirmé - Important Description détaillée Assurer le maintien en conditions opérationnelles des environnements portant les bases de données, avec périodes d'astreintes et interventions en HNO le cas échéant. Exploitation récurrente et proactive. Administration des environnements (Bases, supervision, sauvegardes, évolution). Optimisation et tuning.Traiter (N2 et N3) les incidents de Production. Réaliser les demandes de services et de changements. Réaliser le support aux équipes Projets et Intégration (participation aux transferts en production, mise à disposition des données aux plate-formes Hors Prod). Valider la documentation technique du domaine.Produire des documents techniques et les fiches de consignes nécessaires au pilotage. Etudier, proposer et prendre en charge la mise en œuvre des évolutions des environnements (migration, upgrade, nouveaux environnements).

RésuméUn poste d'ingénieur data est ouvert au sein d'une organisation axée sur les données, visant à maximiser l'exploitation des données pour développer de nouvelles offres, réduire les risques opérationnels et améliorer l'efficacité de l'équipe afin de mieux servir les clients. ResponsabilitésConstruire et améliorer le cadre commun (composants fonctionnels et techniques). Supporter le déploiement de la MDM dans différents pays. Concevoir et mettre en œuvre des composants de la plateforme tels que l'ingestion et le traitement des données. Distribuer les données aux différentes parties prenantes. Assurer la conformité avec les directives du groupe concernant l'utilisation des cadres internes et l'architecture. Collaborer avec d'autres parties prenantes du projet pour promouvoir des lignes directrices communes. Collecter, comprendre et affiner les exigences commerciales. Concevoir des solutions en suivant les directives d'architecture. Participer aux activités de développement en tant que rôle senior/expert. Écrire et mettre à jour la documentation technique en anglais. Communiquer efficacement avec toutes les équipes concernées. Compétences RequisesIngénierie logicielle : Design & Architecture logicielle, Python, Programmation Orientée Objet. Architecture des données : architecture en couches, solutions de stockage et d'exposition. Technologies Big Data : pipelines de données, HDFS/S3/Parquet. Modèles de Big Data : partitionnement, indexation, optimisation des requêtes. Compétences AWS : sécurité/IAM, S3, Lambda. Compétences AppréciéesExpérience en ingénierie des données. Compétences sur les structures de données / modélisation des données & SQL. Compréhension des processus DevOps et CI/CD. Autres DétailsLocalisation : l'équipe est principalement située en Ile-de-France avec des déplacements occasionnels à Lyon et Bruxelles. Durée de mission : Plus d'un an (maximum 3 ans) Télétravail : 50%