Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop à Paris

Architecture et Conception : Concevoir, mettre en œuvre et maintenir l'architecture Hadoop en fonction des besoins de l'entreprise. Élaborer des plans d'expansion et d'évolution pour les clusters Hadoop. Collaborer avec les équipes de développement et d'infrastructure pour concevoir des solutions adaptées aux besoins spécifiques du projet. Installation et Configuration : Installer, configurer et déployer les clusters Hadoop en utilisant les meilleures pratiques. Gérer les configurations, les mises à jour et les correctifs des composants Hadoop. Surveillance et Optimisation : Surveiller les performances du cluster Hadoop et identifier les goulots d'étranglement. Optimiser les performances en ajustant la configuration, en mettant à l'échelle le matériel ou en optimisant les requêtes. Mettre en place des outils de surveillance et des alertes pour détecter les problèmes potentiels. Sécurité : Mettre en œuvre et maintenir des stratégies de sécurité robustes pour le cluster Hadoop. Gérer l'accès aux données sensibles et aux ressources du cluster en utilisant des technologies telles que Kerberos, LDAP, etc. Effectuer des audits de sécurité réguliers et remédier aux vulnérabilités identifiées. Gestion des Données : Concevoir et mettre en œuvre des pipelines de données pour l'ingestion, le traitement et la distribution des données. Assurer la qualité des données en mettant en place des processus de nettoyage, de normalisation et de validation des données. Intégrer et gérer différents types de données, y compris les données structurées, semi-structurées et non structurées. Automatisation et Orchestration : Automatiser les tâches courantes telles que la sauvegarde, la récupération, la gestion des ressources, etc. Mettre en place des workflows d'orchestration pour coordonner les tâches complexes entre les différents composants du cluster Hadoop. Développement et Support : Fournir un support technique aux équipes de développement et d'analyse des données. Développer des outils et des scripts personnalisés pour faciliter l'administration et la gestion du cluster Hadoop. Collaborer avec les équipes de développement pour optimiser les applications et les requêtes pour le cluster Hadoop. Formation et Documentation : Former les membres de l'équipe sur l'utilisation et la gestion du cluster Hadoop. Documenter les processus, les configurations et les bonnes pratiques pour faciliter la collaboration et le transfert de connaissances. Veille Technologique : Suivre les tendances et les avancées technologiques dans le domaine du Big Data et de l'analyse de données. Évaluer de nouvelles technologies et proposer des solutions innovantes pour améliorer l'efficacité et les performances du cluster Hadoop.

• Mettre en place l’outillage Datascience et MLOPS et identifier les patterns et normes pour un usage par 40 caisses régionales • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps et l'efficacité de l'équipe • Diriger l'élaboration et la mise en œuvre des pipelines / solutions MLOps pour l'entraînement, le déploiement et la surveillance des modèles ML • Superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes • Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives • Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution • Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

💡 Contexte /Objectifs : L'entité anime une communauté d'experts en charge des périmètres fonctionnels Cloud, BigData, Blockhain et IA. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes Expertise en cybersécurité. Dans ce cadre la prestation consiste à contribuer à/au(x) : - L'assistance sécurité des centres de compétences en charge de la mise à disposition des composants d'infrastructure et du développement du framework de controle des usages sur le Cloud Public - La sécurité détaillées relatives à l'implémentation et aux usages des technologies et services des fournisseurs (AZURE, AWS) - La production de dossiers de sécurité et le support aux développements et opérations mis en place par les Centres de Compétences, en France, ainsi qu'à l'internationnal - L'assistance sécurité des projets Cloud (Privé/Public) en assistant les BusinessUnit/ServiceUnit (architecture, normes, standards...) Environnement Agile Environnement anglophone Environnement technique : IA, Data protection et Big Data, Socle d'infrastructure (OS, middlewares, container, virtualisation...), Réseaux, sécurisation des développements. 2 - Livrables attendus Les livrables attendus sont : - Livrables documentaires sécurité (dossiers de sécurité, "blueprints", Dossiers d’analyse des risques et d’identification des mitigations/ contre-mesures associés à la consommation des services des CPS, dossier de recommandation d'architecture sécurité, etc.) à destination des entités France et International, - Dossiers de consolidation des exigences et spécifications sécurité en déclinaisons des User-Stories technico-fonctionnelle sur les domaines Public Cloud AWS/AZURE, - Revue sécurité du code des composants logiciels développés par les centres de compétences et assistance sécurité, - Chapitre sécurité des livrables documentaires propres aux projets (recommandations, politiques, standards, DAT, DAH, LLD, HLD...), - Supports de remontées des moyens à des fins de restitution - Spécification des contrôles de supervision au sein des environnements techniques des CSP (AWS, AZURE...) en vue de leur l’automatisation au sein des frameworks de contrôle, - Investigations sur dysfonctionnements et remédiations, rapports d'incident… - Reporting

Nous recherchons pour un de nos clients un Data engineer avec deux ans d’éxpériences à minima sur daitaiku , Ce collaborateur doit maitriser les technos comme Python stack technique du besoin : Python hadoop spark 2 ans a fond de dataiku Localisation : IDF, metro , Télétravail : 2 jours de télétravail Démarrage : asap Tjm : dépend de l’expérience, entre 500 et 600max Quelqu’un qui connait depuis 5 ans la solution NB : Ce besoin n'est pas encore exprimé chez notre client, c'est assez urgent nous pouvons faire passer les entretiens asap ainsi que le démarrage

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

Au sein d'un client du domaine bancaire, vous intervenez au sein de la DSI en qualité de Référent technique MLOps. Dans ce cadre, votre quotidien s'articule autour des missions suivantes : mettre en place l'outillage Datascience et MLOPS et identifier les patterns pour un usage global évaluer et adpoter de nouvelles technologies et méthodologie pour améliorer les processus MLOps et l'efficacité de l'équipe Diriger l'élaboration et la mise en oeuvre de pipelineSuperviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes interne Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).s / solutions MLOps pour l'entrainement, le déploiement et la surveillance des modèles ML

Mission : Piloter le programme Obsolescence en assurant l’exécution du plan de levée d’obsolescence du socle et piloter le dispositif global associé. · Consolide le plan pluriannuel de levée d’obsolescence à partir des roadmap Produits, en lien avec les PO et les Responsables d’Activités ; · Pour chaque année, définit le plan de traitement : inventaires consolidés, périmètres d’actions et objectifs de traitement, budget et ressources ; · Engage les projets associées du Plan Projets et organise les travaux ; · Coordonne la communauté des Squad leads du socle et leurs PO et tout autre ressources engagés dans le programme ; · Définit et publie les KPI de suivi ; et réalise les Contrôles Permanents associés · Gère les budgets ; · Gère les risques et met en œuvre les mesures d’atténuation ; · Suit les demandes de dérogations et alerte sur les risques associés (financier, sécurité, opérationnel) ; · Organise et anime les Comités associés : mensuels NDC, stratégiques · Contribue à l’animation et à la performance du Processus de Gestion des Obsolescences

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production