Trouvez votre prochaine mission ou futur job IT.

Description du Poste : Le rôle implique la gestion et la supervision de projets techniques au sein d'une unité spécialisée en technologies de surveillance et de gestion des données. Les responsabilités principales incluent la coordination et l'intégration des outils de monitoring dans des projets d'infrastructure à grande échelle, la gestion des relations avec les équipes fonctionnelles, l'élaboration de plans de livraison technique, et l'assurance de la conformité des services avec les accords de niveau de service (SLA).

Contexte du poste : Nous sommes une entreprise innovante dans le secteur des technologies appliquées à l'assurance, basée dans la région parisienne. Notre mission est d'accompagner les assureurs dans la gestion et l'analyse de leurs risques, en utilisant des solutions SaaS avancées. Nous travaillons sur des projets variés visant à optimiser la souscription d'assurances et la gestion de portefeuille grâce à l'intelligence artificielle. Afin de soutenir notre croissance rapide et nos projets d'expansion internationale, nous recherchons un(e)Data Scientist orienté Engineering pour renforcer notre département Insights. Missions : - Concevoir et implémenter des modèles de Machine Learning pour répondre aux besoins business complexes. - Gérer le cycle de vie complet des modèles, de la conceptualisation à la mise en production. - Être le garant de la qualité du code au sein du département Insights, mettre en place des bonnes pratiques de développement. - Conduire des analyses ad hoc pour éclairer les décisions stratégiques. - Participer à des projets d'innovation et d'expérimentation de nouvelles technologies.

Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage

Orienté Big Data et ayant des compétences dans les domaines listés ci-joint : Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le consultant devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Ingestion des données sources via NIFI dans des tables de travail Cassandra ou en parquet sur AWS S3 Développement des Traitements Spark/Scala en lots des données sources ingérées Traitement au quotidien des nouvelles données clients (ajout nouveaux clients Enrichissement au quotidien des données des clients avec des fichiers de scoring et de segmentation (fournis par un autre projet) Traitement toutes les 8 heures des nouvelles ventes avec notamment la mise à jour des ventes auditées ainsi que l’enrichissement des ventes avec les données des clients Ingestion toutes les 8 heures des données des ventes dans Druid Ajout et mise à jour des nouveaux produits des marques avec leur description, leur taille, leurs stocks …. Traitement en temps réel via Kafka/Spark des données sources fournies par les marques dans les topics dédiés : Enrichissement des données des produits des différentes marques en temps réel avec les informations des stocks, des prix Mise à jour temps réel des données des ventes Mise à jour temps réel des données clients Mise à jour des commandes clients Anonymisation des informations clients (RGPD) Mise à jour des stocks disponibles en magasin Exposition des informations des produits en transit (magasin d’origine, magasin destination) afin que les utilisateurs de Luce puissent estimer leurs dates de livraison Traitement et Stockage des données dans Apache Solr et Cassandra Exposition des données traitées dans une API nodejs à travers Cassandra et Solr Ingestion des données des ventes et commandes sur Apache Druid via NIFI Mise en place de tests automatiques afin d’éviter les régressions suite aux nouvelles évolutions Développement de tests unitaires avant déploiement Garantie de la cohérence des données Planification des heures de lancement des différents traitements afin d’éviter d’avoir des données corrompues Déploiement des différents traitements Spark via Jenkins/Livy dans les environnements dédiés Monitoring des Jobs Spark via Yarn et Spark UI avec un système d’alerting via Slack en cas de problème durant les traitements Mise en place de logs qui seront ensuite déposés dans ElasticSearch afin de faciliter la résolution et la recherche des bugs Optimisation des différents traitements Data (optimisation du code Spark, des traitements NIFI) Migration de tous nos workflows NIFI, traitements de données en lots/ temps réel Spark sur Amazon AWS Migration de l’api ainsi que des tables et collections utilisées dans Cassandra Environnement sur AWS Ordonnancement des tâches via Airflow/Python, gestion des différentes dépendances entre les traitements Mise à jour d’une librairie Airflow pour le lancement de nos Jobs Sparks ainsi que le monitoring (vérification des statuts des traitements). Mise en place des capteurs (sensors) nécessaires pour le suivi des statuts des traitements Mise à jour d’une librairie générique Spark pour les jobs d’ingestion via parquet/csv/json

Nous recherchons pour l’un de nos clients un Data Engineer AWS. Contexte de la mission : Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone. Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme. Missions : - Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés. - Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients. - Mettre en place des dashboards sur Quicksight pour visualiser les résultats. - Développer une API Flask et exposer les calculs via Swagger. - Exploration des données via AWS Athena. - Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers. - Scheduler des jobs via CloudWatch et StepFunctions. - Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops - Mise en place de WebApps sur Azure pour héberger nos API Flask. - Collaborer avec nos clients pour présenter nos calculs et les accompagner. Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.

PLATEFORME : Cloud privé SG (accès restreint) COMPETENCES RECERCHEES: Connaissance Technologies VMWare (Interne SG) Connaissance des systèmes d'exploitation Windows et UNIX Connaissance installation / Maintenance des Services Windows Connaissance de l'Administration Windows Connaissance LDAP Connaissance du langage de programmation Powershell Connaissance de différents langages de programmation et de script (Java, Python, Ruby, JavaScript, Scala, etc.) Connaissance de différents bases de données Principes de réseau et protocole TCP/IP (ouverture de route, etc...) Connaissance d'Azure Devops (Chaîne CI/CD), du Cloud Public (Azure, AWS, GCP) et de l'Observabilité (Elastic Stack) Connaissance Technologie Automatisation OBJECTIFS : Automatisation de Virtualisation des creations/installation de VDI Automatisation de Virtualisation des creations/installation de Serveurs

Responsabilités : • Maîtrise de SingleStore : Concevoir et mettre en œuvre des solutions de données robustes et performantes en utilisant SingleStore pour répondre aux besoins d'intégration et de traitement des données. • Développement de pipelines de données : Concevoir et implémenter des pipelines de données efficaces en utilisant les technologies les plus récentes, avec une attention particulière portée à l'intégration de données provenant de différentes sources. • Transformation avancée des données : Utiliser votre expertise pour développer des fonctions avancées en SQL, DBT, Python ou Rust afin de transformer et de manipuler les données de manière innovante. • Optimisation des performances : Appliquer votre passion pour optimiser les performances des bases de données distribuées, en relevant les défis complexes liés à cette technologie. • Intégration avec PowerBI et création de tableaux de bord : Contribuer à une intégration transparente avec PowerBI en créant des cubes et des tableaux de bord personnalisés. • Partage des connaissances : Documenter rigoureusement le code développé et fournir une formation pour encourager une culture de collaboration et d'excellence technique.

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance .

L’objectif prioritaire court-terme sera la formation et le coaching des équipes et des trains (SM et RTE en premier lieu, puis PO et PM). Les activités : Formation aux pratiques et outils Accompagnement de lancement de nouvelles équipes ou trains, Coaching de la maitrise des pratiques L&A : Exécution à l’échelle (évènement : Scrum of Scrums et au System Demo, I&A, etc.), Pipeline DevOps, maitrise du flux (Kanban et métriques), Product management, Customer centricity, Design thinking, Etc. Certification : Scrum et SPC SAFe exigée , Green Belt Lean.

iPepper recrute pour l'un de ses clients une PME éditeur de logiciel dans le domaine du voyage, un Data Engineer (H/F) passionné(e) et expérimenté(e) pour rejoindre une équipe dynamique. En tant qu'Ingénieur(e) Data, vous serez en charge d'extraire et de transformer des données, de construire et d'optimiser des pipelines de données, ainsi que de concevoir des visualisations de données intuitives et informatives. Responsabilités : Concevoir, construire et maintenir des pipelines de données évolutifs et efficaces pour transférer des données entre des bases de données SQL et NoSQL. Développer et mettre en œuvre des processus ETL pour extraire, transformer et charger des données à partir de différentes sources dans notre entrepôt de données. Collaborer avec des équipes pluridisciplinaires pour comprendre les besoins en données et garantir la fourniture réussie de solutions de données. Optimiser et ajuster les pipelines de données existants pour la performance et la fiabilité. Concevoir et développer des visualisations de données et des tableaux de bord pour fournir des insights exploitables aux parties prenantes. Surveiller et résoudre les problèmes de pipelines de données, en veillant à la qualité et à l'intégrité des données.

En tant que DevOps vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vos activités principales seront : Conception, mise en place (scripts versionnés dans GIT, paramétrage, TDD et tests d'intégration) et livraison en production des applications dans les règles de l'art - Contribution aux Agile de l'entité dans le respect du framework Scrum (Daily meeting, Review, Rétrospective, Sprint Planning), - Maintien de la documentation technique et fonctionnelle - L'amélioration continue des processus et bonnes pratiques de développement (au sein de l'entité, mais aussi des entités du Socle BigData) - Support de production

Chers consultants, Nous sommes à la recherche d'un Ingénieur Data - Développeur JAVA / DevOps Senior pour rejoindre notre client, une banque leader à Paris. Missions La prestation aura lieu au sein de la banque exerce une responsabilité mondiale sur le Système d’Information contribuant à la réalisation des objectifs des métiers de la banque Commerciale, du Financement et du Trade. Dans ce contexte, la prestation Data Engineer (Développeur Java/DevOps) aura pour objectifs : • Comprendre les besoins clients dans le but de définir les solutions les plus adaptées • Assurer le développement des nouvelles fonctionnalités liées l’intégration, l’exposition et l’exploitation des Données • Définir et organiser les contrôles nécessaires à la mise en qualité de ces Données • Développer en Java/Spark/ des traitements de transformation et de production de données • Développement d’un moteur de règles • Être garant de la qualité du produit sur les aspects code, documentation, testabilité et performance • Designer des chaines optimisées CI/CD en collaboration avec les équipes DEVOPS • Participer à l'amélioration continue et à la revue de code

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data