Trouvez votre prochaine offre d’emploi ou de mission freelance Spark Streaming

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL

la Prestation consiste à contribuer à/au(x) :  Gestion de l’intégration des données dans le DataLake Azure  Analyse des données et croisement de ces dernières  Analyse des restitutions responsives et mise en avant de la valeur-ajouté des données  Support de la solution et ses composants Environnement technique Expertises : - Java - Spark - Kubernetes - MS Azure - Kafka - Microsoft PowerBI - Cosmos DB - PosgreSQL Les livrables attendus sont : - Spécifications techniques générales et détaillées - Code - PV de tests - Support aux UATs (User Acceptance Tests) - Package de livraison - Gestion des releases et documentations associées - Assistance aux utilisateurs et/ou support

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production

En tant que DevOps vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vos activités principales seront : Conception, mise en place (scripts versionnés dans GIT, paramétrage, TDD et tests d'intégration) et livraison en production des applications dans les règles de l'art - Contribution aux Agile de l'entité dans le respect du framework Scrum (Daily meeting, Review, Rétrospective, Sprint Planning), - Maintien de la documentation technique et fonctionnelle - L'amélioration continue des processus et bonnes pratiques de développement (au sein de l'entité, mais aussi des entités du Socle BigData) - Support de production

VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data. Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT. Dans le cadre de ses projets, nous recherchons un développeur MDM. L’objectif est de développer une plateforme dite « MDM » basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume important de données dans différentes entités locales B2B. Son objectif principal est de capturer diverses métriques sur l'électricité et le gaz (allocation, consommations, point de livraison….). Cette plateforme est déjà déployée en France et l'objectif est d'étendre le périmètre à d'autres pays B2B. L’équipe principale MDM a principalement 2 missions : • Construire et améliorer le cadre commun (volet fonctionnel et technique pur) • Accompagner le déploiement du MDM dans différents pays.

Conception de l'architecture de données : Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier. Développement de pipelines ETL : Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks. Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée. Optimisation des performances : Optimiser les requêtes Spark pour améliorer les performances des traitements de données. Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark. Gestion des données en temps réel : Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming. Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés. Gestion de la qualité des données : Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données. Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité. Sécurité des données : Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles. Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données. Automatisation des workflows : Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification. Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données. Surveillance et gestion des opérations : Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring. Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données. Collaboration avec les équipes métier : Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting. Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks. Veille technologique : Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :  Recueil et à l'analyse des besoins métier et des processus de bout en bout  La redaction des spécifications techniques.  L'assistance et contribution aux instances projet.  La sécurisation des jalons stratégiques  Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile Livrables attendus Les livrables attendus sont : - Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie) - Contribution aux chantiers transverses : Architecture, Sécurité - Documentation technique de la solution - Contribution à la préparation des instances projets Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Compétences en développement (Shell unix, Perl, PHP, Python, git, github)  Continuous Integration  Hadoop (Big Data), Spark  Python

- Développement Spark/Scala et HIVE - Une bonne expertise des environnements hadoop- Environnement Anglophone 2 - Livrables attendus Les livrables attendus sont :- Revue de code et re-factoring - Projet agile (Scrum) - Traitement d'un gros volume de données - L'application des normes de développements 3 - Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Agile Scrum  Hive  PostGreSQL  Python  Scala Dans le cadre de cette prestation, le pourcentage d'exécution prévu hors site est de 60%

Bonjour, Nous recherchons pour notre client grand compte un Data Engineer. Nous étudions - prioritairement - les candidatures qui nous sont adressées par MAIL (freelance à insyco . fr) avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin CV à jour (format Word) Date de prochaine disponibilité Tarif journalier Merci d’indiquer la référence (KTR/DATA/4372) en objet de votre message --- La prestation attendue --- Implémenter les fonctionnalités en accord avec le PO et le Tech Lead Implémenter des algorithmes data complexes Optimisation des ressources utilisées par ces algorithmes et passage à l'échelle Réaliser la maintenance en condition opérationnelle de ces algorithmes Savoir écrire des requêtes sql et les optimiser Mission du Data Engineer (description générale) : Il est garant de l’accès qualitatif aux sources de données Il s’assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d’en faciliter l’exploitation par les équipes (Data Analysts et Data Scientists) Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT … Il assure la supervision et l’intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons…). Qualification et gestion des données : Capte les données (structurées et non structurées) produites dans les différentes applications ou à l’extérieur de l’entité Intègre les éléments Structure la donnée (sémantique, etc.) Cartographie les éléments à disposition Nettoie la donnée (élimination des doublons...) Valide la donnée Éventuellement, il crée le référentiel de données

En tant que DevOps vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vos activités principales seront : Conception, mise en place (scripts versionnés dans GIT, paramétrage, TDD et tests d'intégration) et livraison en production des applications dans les règles de l'art - Contribution aux Agile de l'entité dans le respect du framework Scrum (Daily meeting, Review, Rétrospective, Sprint Planning), - Maintien de la documentation technique et fonctionnelle - L'amélioration continue des processus et bonnes pratiques de développement (au sein de l'entité, mais aussi des entités du Socle BigData) - Support de production

Cherry Pick est à la recherche d'un Data Engineer Senior pour un client dans le secteur de l'assurance en région parisienne. Le Data Engineer va intégrer l’équipe Data & RPA du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning. Cette Guilde est dédiée au service du greoupe et de ses équipes (Data office, Tribus, Business, Transformation Office etc.), afin de fournir, en collaboration avec le Data Office, les plateformes (RPA, BI, Data, ...) et les données nécessaires aux équipes chargées de délivrer les cas d’usages, puis les déployer et les maintenir en conditions opérationnelles. Vous serez directement rattaché(e) au Responsable de l’équipe Data & RPA au sein de la Direction Technologies. Vous allez contribuer directement aux projets des directions métier (ex : Fraude santé, DSN, Pricing IARD, Optimisation du lead management, Fragilité Auto, ...) du groupe. La Direction Transformation Digital Tech et Data du groupe en quelques mots : - Une organisation agile en feature teams : tribus, guildes, squads - Des projets sur des applications innovantes à fort trafic (web, mobile...) - Des méthodologies craft (TDD, BDD, clean code, code review...) et DevOps - Une communauté de partage de bonnes pratiques (BBL, dojo, meetup, conf...) Votre rôle et vos missions : Vous aurez pour missions principales de développer les projets Big Data demandés par le métier, et notamment : • D’accompagner les développeurs plus juniors de l’équipe (coaching, code review, pair programming, ...) • Passer de la donnée brute à de la donnée exploitable, exposée sous forme de tables requêtables dans le Datalake • Consolider ces données au fur et à mesure de leur alimentation récurrente dans le Datalake • Les exploiter pour atteindre la finalité business (exposition de Business View, réintégration des résultats dans le SI, service de scoring, ...) • De travailler à la création du socle technique Big Data et industrialiser le cycle de développement de l'équipe • De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.)

Dans ce cadre la prestation consiste à contribuer à/au(x) :  Développement, Clean code,  L'intégration continue,  La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing)  Mise en place et suivi des développements en production du socle de fonctionnalités Processing / préparation de données  L'assistance à la conception technique du produit  Diverses assistances techniques (sujets techniques complexes sur le produit, etc...)  La revue de code  L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique  L'analyse de l'impact de la conception du produit sur l'architecture technique du SI  L'architecture technique aux choix d'implémentation dans le SI  La maintenabilité technique du produit  La stratégie de développement et de tests selon critères pré-définis Autres :  Support applicatif via le monitoring et résolution associée  DevOps pour les parties IAAS et CD.  Environnement anglophone Les livrables attendus sont : de solutions et d'architecture technique pour le backend 2.Développements d'alimentations et processing de données 3.Implementation pour l'exploitation des données, restitution dans des Datasets ou Datamarts adéquats et maintenance évolutive du backend 5.Mise en œuvre de méthodes d'amélioration continue : Craft & Prod CI 6.Monitoring et CI sur qualité du code