Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance .

Missions : Analyser de grands ensembles de données pour identifier les motifs, tendances et insights pertinents pour le département respectif de la chaîne d'approvisionnement. Développer des modèles prédictifs et des algorithmes d'apprentissage automatique pour optimiser les processus liés à la logistique et le transport. Développer des stratégies d'optimisation pour tirer parti des différents insights et fournir des recommandations éclairées à l'entreprise. Collaborer avec des équipes pluridisciplinaires comprenant la direction de la chaîne d'approvisionnement, l'ingénierie et le développement de produits pour aligner les efforts de données et d'IA avec les objectifs commerciaux. Concevoir et mettre en œuvre des outils de surveillance des modèles pour suivre les performances des modèles et mesurer l'efficacité des stratégies de chaîne d'approvisionnement. Évaluer continuellement et améliorer les modèles et méthodologies existants pour améliorer la précision et l'efficacité. Communiquer les résultats et les recommandations aux parties prenantes grâce à des présentations et des rapports clairs et concis. Rester informé des tendances de l'industrie et des technologies émergentes en science des données et gestion de la chaîne d'approvisionnement. Compétence : Maîtrise de l'analyse statistique, des techniques d'apprentissage automatique et des algorithmes d'optimisation. Maîtrise des systèmes de base de données et des langages de requête (par exemple, SQL) pour l'extraction et la manipulation de données Expérience avec des langages de programmation tels que Python, Spark, TensorFlow et PyTorch pour l'analyse et la modélisation de données. Expérience avec des bibliothèques de manipulation et de visualisation de données telles que pandas, NumPy, Matplotlib ou ggplot2.

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

💡 Contexte /Objectifs : Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Tech Lead Big Data. Périmètre fonctionnel : banque d'investissement Les principales tâches de la missions sont les suivantes :  Développement, Clean code,  L'intégration continue,  La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing)  Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données  L'assistance à la conception technique du produit  Diverses assistances techniques (sujets techniques complexes sur le produit, etc...)  La revue de code  L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique  L'analyse de l'impact de la conception du produit sur l'architecture technique du SI  L'architecture technique aux choix d'implémentation dans le SI  La maintenabilité technique du produit  La stratégie de développement et de tests selon critères pré-définis Autres :  Support applicatif via le monitoring et résolution associée  DevOps pour les parties IAAS et CD.  Environnement anglophone

Le client a lancé un programme de mise en place d'un nouveau dispositif de management de la liquidité permettant de satisfaire les nouvelles contraintes réglementaires et de répondre aux besoins internes de pilotage. Un des projets SI en support de ce programme a pour objectif la mise en place d'une base de synthèse transversale au Groupe, contenant les indicateurs de pilotage et assurant des restitutions sous diverses formes. Le Bénéficiaire souhaite mettre en œuvre les cadrages/développements/les tests unitaires/l'homologation technique sur des composants applicatifs dans les plannings et délais demandés. Les technologies utilisées seront Java J2EE/PL-SQL/Spark/Nifi/Oozie/Openshift. Ces actions doivent être effectuées dans le cadre des normes du projet. Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Conception et développement. Dans ce cadre la prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place d'une Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. Etre effectuée dans le cadre des normes du projet. - assistance sur les développements produits jusqu'à la mise en production. - Support de production

En tant que DevOps vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vos activités principales seront : Conception, mise en place (scripts versionnés dans GIT, paramétrage, TDD et tests d'intégration) et livraison en production des applications dans les règles de l'art - Contribution aux Agile de l'entité dans le respect du framework Scrum (Daily meeting, Review, Rétrospective, Sprint Planning), - Maintien de la documentation technique et fonctionnelle - L'amélioration continue des processus et bonnes pratiques de développement (au sein de l'entité, mais aussi des entités du Socle BigData) - Support de production

L'entité IT est composée de 3 Feature Team, 2 en charge du backend / processing de données, la dernière en charge de toutes les interfaces (UI) et couches de traitement API. Dans le cadre de la modernisation de son backend, le socle du processing de données est ré-écrit sur une technologie BigData sur Cloud Interne, ce qui permet d'élargir l'offre de services proposée aux utilisateurs. Le Bénéficiaire souhaite mettre en œuvre la refonte de son Back-end autour des technologies BigData en intégrant les principes Digitaux (Architectures SOA, Web developpement In House, Frameworks internes).Le Bénéficiaire souhaite mettre en œuvre les évolutions de son socle technique. Dans ce cadre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : · Développement, Clean code, · L'intégration continue, · La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing) · Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données · L'assistance à la conception technique du produit · Diverses assistances techniques (sujets techniques complexes sur le produit, etc...) · La revue de code · L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique · L'analyse de l'impact de la conception du produit sur l'architecture technique du SI · L'architure technique aux choix d'implémentation dans le SI · La maintenabilité technique du produit · La stratégie de développement et de tests selon critères pré-définis Autres : · Support applicatif via le monitoring et résolution associée · DevOps pour les parties IAAS et CD. · Environnement anglophone

VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data. Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT. Dans le cadre de ses projets, nous recherchons un développeur MDM. L’objectif est de développer une plateforme dite « MDM » basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume important de données dans différentes entités locales B2B. Son objectif principal est de capturer diverses métriques sur l'électricité et le gaz (allocation, consommations, point de livraison….). Cette plateforme est déjà déployée en France et l'objectif est d'étendre le périmètre à d'autres pays B2B. L’équipe principale MDM a principalement 2 missions : • Construire et améliorer le cadre commun (volet fonctionnel et technique pur) • Accompagner le déploiement du MDM dans différents pays.

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

💡 Contexte /Objectifs : L’objectif de la mission est de participer au projet de mise en place du nouveau référentiel Clients et Contrats . Ce projet a pour but de simplifier le SI et de faire évoluer Service Cloud notamment pour la mise en place d'APIs pour tout ce qui concerne la donnée Client. Les attendus de la mission sont: - coordination du sujet avec les autres équipes du SI - analyse de la solution à mettre en œuvre - rédaction de spécifications fonctionnelles et techniques - conception de solution technique - développement des APIs

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL

la Prestation consiste à contribuer à/au(x) :  Gestion de l’intégration des données dans le DataLake Azure  Analyse des données et croisement de ces dernières  Analyse des restitutions responsives et mise en avant de la valeur-ajouté des données  Support de la solution et ses composants Environnement technique Expertises : - Java - Spark - Kubernetes - MS Azure - Kafka - Microsoft PowerBI - Cosmos DB - PosgreSQL Les livrables attendus sont : - Spécifications techniques générales et détaillées - Code - PV de tests - Support aux UATs (User Acceptance Tests) - Package de livraison - Gestion des releases et documentations associées - Assistance aux utilisateurs et/ou support

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :  Recueil et à l'analyse des besoins métier et des processus de bout en bout  La redaction des spécifications techniques.  L'assistance et contribution aux instances projet.  La sécurisation des jalons stratégiques  Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile Livrables attendus Les livrables attendus sont : - Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie) - Contribution aux chantiers transverses : Architecture, Sécurité - Documentation technique de la solution - Contribution à la préparation des instances projets Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Compétences en développement (Shell unix, Perl, PHP, Python, git, github)  Continuous Integration  Hadoop (Big Data), Spark  Python

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production