Trouvez votre prochaine mission ou futur job IT.

Data Engineering Technos: Hbase Hve Spark Maintien en conditions op ProD Docker Hadoop Kafka Kubernetes Python Unix/Linux Contexte de la mission Le prestataire étant orienté big data et ayant des compétences dans les domaines listés ci-dessous, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L'expertise technique sur le Datalake (plateforme Big Data) consistera à : o Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux o Contribuer à l'implémentation/automatisation des solutions o Effectuer les actions de mises en production o Contribuer à l'amélioration continue des outils d'exploitation o Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : o Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) o Statut bi-mensuel sur l'avancée des projets sur lesquels il sera contributeur Technos: Hbase Hve Spark Maintien en conditions op ProD Docker Hadoop Kafka Kubernetes Python Unix/Linux

Smarteo recherche pour l'un de ses clients, Un Ingénieur Data Spark / Scala junior sur Strasbourg + TT L'enjeu est d'accompagner la migration de données SAS vers Scala/Spark (mise en place d'un Datalake sur la suite Cloudera). Développement de requêtes. Si vous êtes intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jour au format Word Smarteo recherche pour l'un de ses clients, Un Ingénieur Data Spark / Scala junior sur Strasbourg + TT L'enjeu est d'accompagner la migration de données SAS vers Scala/Spark (mise en place d'un Datalake sur la suite Cloudera). Développement de requêtes. Si vous êtes intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jour au format Word

Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Expérience et compétences requises - +5 ans d’expérience en tant qu’ingénieur en données ou BI, esprit orienté données - Expérience confirmée de Tableau, à la fois dans le développement de tableaux de bord et dans la connaissance des capacités et de la feuille de route du produit. - Expérience confirmée en SQL, Python et ou/Pyspark - Expérience avérée des projets agiles (Scrum et/ou Kanban) - Sensibilisation à la gestion des données et à la protection de la vie privée - La connaissance du secteur des services financiers est un plus. Compétences techniques : Très bonne connaissance de Tableau Server et Tableau Desktop. La connaissance de Power BI est un plus. Bon niveau en SQL et / ou Python / Pyspark Bonne connaissance de la modélisation des données décisionnelles (concepts Kimball, Inmon, Data Vault...) et des bonnes pratiques associées (dimensions à évolution lente, tableaux ponctuels, gestion des gouffres / pièges à vent, gestion de la capture des données de changement...). Bonne connaissance des environnements de datawarehouse et / ou des datalakes Bonne connaissance de l’un des outils suivants : DB2, Databricks ou Palantir Foundry est un plus. Connaissance des pipelines CI / CD (AzureDevOps, Jenkins, Artifactory, Azure Container Registry...) est un plus. Connaissance du développement d’API REST (Flask, FastAPI, Django...) est un plus La connaissance de typescript est un plus

Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Nous recherchons un Architecte Cyber Sécurité afin d'intégrer nos équipes, pour effectuer les tâches suivantes : - Accompagnement sécurité des projets métiers et techniques de la phase d’instruction à la mise en production - Pilotage de sujets sécurité techniques et fonctionnels divers avec des correspondants techniques ou métiers suivant le projet: • Pilotage du volet sécurité de projet de déploiement d’infrastructure ou d’application dans le Cloud • Analyse des risques de sécurité liés à l’introduction de nouvelles technologies ou de nouveaux systèmes d’information • Animation de programme de Cyber Sécurité : veille, réalisation études, gestion et maitrise des risques • Définition de la cible à atteindre, réunions de travail avec les équipes techniques, pilotage des actions • Pilotage de projet technique de transformation de SI, ex : mise en place d’un DLP • Contribution aux projets études et de réalisation technique, dossiers d'architecture, etc. (tout document projet) • Accompagnement au projet, toute contribution sécurité dans les livrables de la méthode projet : o Réalisation d’étude technique o Questionnaire sécurité pour un appel d'offres o Analyse de risque sur le volet technique et organisationnel o Paragraphe sécurité dans le dossier d'architecture o Cahier des charges pour la réalisation de tests d'intrusion o Restitution des vulnérabilités pour les audits de code • Pour le pilotage de sujets techniques sécurité, tout document utile à la mise en place / amélioration de l'outil / processus Environnement technique de la prestation : M365, Spark, Hive, Hadoop

Contexte du poste : Nous sommes une entreprise innovante dans le secteur des technologies appliquées à l'assurance, basée dans la région parisienne. Notre mission est d'accompagner les assureurs dans la gestion et l'analyse de leurs risques, en utilisant des solutions SaaS avancées. Nous travaillons sur des projets variés visant à optimiser la souscription d'assurances et la gestion de portefeuille grâce à l'intelligence artificielle. Afin de soutenir notre croissance rapide et nos projets d'expansion internationale, nous recherchons un(e)Data Scientist orienté Engineering pour renforcer notre département Insights. Missions : - Concevoir et implémenter des modèles de Machine Learning pour répondre aux besoins business complexes. - Gérer le cycle de vie complet des modèles, de la conceptualisation à la mise en production. - Être le garant de la qualité du code au sein du département Insights, mettre en place des bonnes pratiques de développement. - Conduire des analyses ad hoc pour éclairer les décisions stratégiques. - Participer à des projets d'innovation et d'expérimentation de nouvelles technologies.

Nous sommes à la recherche d'un Ingénieur Big Data pour palier au besoins de nos clients. Le candidat retenu sera chargé de concevoir, développer et maintenir l'infrastructure Big Data, ainsi que de travailler sur des projets d'analyse de données complexes. Responsabilités : Concevoir, développer et déployer des solutions Big Data évolutives et robustes. Mettre en place des pipelines de données pour l'acquisition, le stockage et le traitement de grands volumes de données. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données. Optimiser les performances des systèmes et des applications Big Data. Assurer la sécurité et la confidentialité des données tout au long du processus.

Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Conception et développement Dans ce cadre la prestation consiste à contribuer à/au(x) : - Développement Spark/Scala et HIVE - Traitement d'un gros volume de données - Environnement Hadoop - Environnement Anglophone - Environnement Agile Les livrables attendus sont : - Revue de code et re-factoring - Normes de développements Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hive

Notre client crée un nouveau poste d'Architecte DATA pour piloter la construction de son infrastructure de données et mettre en place une stratégie data ambitieuse. En tant qu'Architecte DATA, vous serez un pionnier de la transformation digitale du Groupe, en concevant et en mettant en œuvre une architecture de données moderne, robuste et évolutive. Vous intervenez auprès des différentes entités pour identifier les besoins métier, proposer des solutions agiles et les mettre en œuvre. Vous partirez d'une page blanche et aurez la responsabilité de construire l'ensemble de l'infrastructure data du Groupe, depuis la définition des besoins métiers jusqu'au choix des technologies et à la mise en place des processus de gouvernance. Construire la stratégie Data du Groupe: Analyser les besoins métiers en matière de données Identifier les quick wins Définir une vision globale de l'architecture de données Déterminer les outils et technologies nécessaires Concevoir et implémenter l'infrastructure de données : Définir les modèles de données pertinents Choisir et mettre en place les solutions de stockage et de traitement de données Assurer l'intégration des données provenant de différentes sources Gérer et maintenir l'architecture de données : Superviser les performances et la sécurité de l'infrastructure Mettre en place des processus de gouvernance des données Documenter l'architecture et les processus Collaborer avec les équipes métiers et IT : Communiquer efficacement les enjeux et les solutions data Comprendre les besoins métiers et les traduire en exigences techniques Soutenir les équipes dans l'utilisation des outils et des données

Contexte de la mission : Dans une équipe de 6 personnes en multi sites, le consultant participera aux développements informatiques sur les technologies Hadoop, HDFS, Hive, Spark Sql et PySpark, Sqoop MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes

Contexte de la Mission : Nous sommes à la recherche d'un Data Architect qui assumera la responsabilité complète de l'architecture des données. Cette personne devra avoir une solide compréhension des services disponibles dans Azure Analytics et travaillera en étroite collaboration avec plusieurs équipes . Elle jouera un rôle clé dans la conception de l'architecture des données et fournira un soutien tout au long du cycle de vie de la gestion des données. Tâches à Réaliser : • Assurer le leadership technique, participer au développement et représenter les ressources internes et externes de la plateforme. • Être un membre actif de l'équipe des architectes pour superviser le processus de gestion des données et fournir des conseils aux équipes de développement. • Être responsable de la conception et de la documentation de la solution dans votre domaine.

La mission se déroulera au sein de la tribu Finances et Risques dans le domaine Risk Management qui a en charge l'ensemble du SI de la Direction des risques Nous recherchons un chef de projet DATA dans le cadre de l'élaboration du STEC (ratio SOLVA 2). Le projet vise à fiabiliser la qualité des données par réconciliation, extrapolation et croisement sur plusieurs exercices et explorer des solutions via l'IA (machine learning) pour automatiser et simplifier la construction de ce ratio. Le Chef de projet aura à sa charge : - Le cadrage du projet - L'identification de la solution - la constitution de l'équipe - l'animation de la gouvernance en proximité des utilisateurs Expertise souhaitée Nous recherchons un profil ayant les caractéristiques suivantes : - Au moins 5 ans d'expérience en gestion de projet - Au moins 4 ans sur des projets Data sur des technologies de type datalake / databricks / Pyspark - Des expériences dans le domaine du risk management et des supports financiers de plus d'un an seraient appréciées - Capacité à animer une équipe, des comités de pilotage, des ateliers d'expression de besoins. - Capacité à vulgariser des sujets complexes - Curiosité, recherche de solutions innovantes mêlant data et IA. - Grand esprit de synthèse - Orientation client et résultat - Autonomie et rigueur, le candidat sera accompagné d'un manager de domaine dans le cadre de cette mission

Nous recherchons pour le compte d'un de nos clients un Data Engineer en gestion de données Azure, souhaitant contribuer à des projets innovants dans un environnement dynamique et en constante évolution. Vous aurez l'occasion de travailler sur des tâches variées allant de la gestion de base de données SQL sur Azure à l'automatisation des pipelines ETL et au développement de scripts Python pour le web scraping. xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx