Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

En tant que Consultant(e) AMOA Big Data / Data , vous accompagnez la modélisation et à la mise en œuvre des solutions décisionnelles (reporting stratégique, opérationnel, etc.) la mise en œuvre des usages concernant les données des services Solidarités et Droit à l’information. Les solutions à mettre en œuvre le seront sous une architecture technique Hadoop/Hive ; les outils de manipulation des données : Tableau et Alteryx. De plus, vous participez à l’enrichissement des dictionnaires de données sur le périmètre concerné ainsi qu’à la modélisation des datamarts décisionnels répondant aux cas d’usages du projet. Les activités seront menées en méthode dite agile . La durée des sprints est de trois semaines. Le nombre de sprints sera de 9. À ce titre, vous aurez pour rôle : -Accompagnement et interface entre Métier et MOE sur les solutions d’architecture data mises en place -Animer les réunions avec les utilisateurs et l’équipe de développement (une réunion par semaine, de 5 à 10 participants par réunion) -Recueillir et restituer les indicateurs -Tâches attendues pendant un sprint : Analyser les user-stories prises en compte dans les sprints et animer les ateliers métiers associés ; Modélisation fonctionnelle des objets pivots et des datamarts ; Préparer et conduire les recettes -Réalisation d’un mode opératoire, façon Tutoriel, pour que les métiers puissent construire des rapports en autonomie. Cela pourra être sous forme de document de type Powerpoint avec un maximum de 30 slides -Réalisation/automatisation de rapports et d’indicateurs sur demande des métiers -Accompagnement des métiers dans l’utilisation de la solution S.I mise en œuvre -Réalisation de documents sur le fonctionnement de l’outil à destination de la MOA. Les documents seront sous format de type Word. Ils devront être exhaustifs en termes de périmètre de fonctionnalités mise en œuvre.

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production

Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) :  Recueil et à l'analyse des besoins métier et des processus de bout en bout  La redaction des spécifications techniques.  L'assistance et contribution aux instances projet.  La sécurisation des jalons stratégiques  Suivi et au dépannage de la production pour son maintien en conditions opérationelles Envrionnement technique : Juptyper Lab, ML Flow Environnement Agile Livrables attendus Les livrables attendus sont : - Dévéloppements : Python, système RAG, implémentation des Guardrails, prompt ingénierie) - Contribution aux chantiers transverses : Architecture, Sécurité - Documentation technique de la solution - Contribution à la préparation des instances projets Expertise(s) / technologie(s) Les expertises attendues pour réaliser cette prestation sont listées ci-après :  Compétences en développement (Shell unix, Perl, PHP, Python, git, github)  Continuous Integration  Hadoop (Big Data), Spark  Python

Data Engineering Technos: Hbase Hve Spark Maintien en conditions op ProD Docker Hadoop Kafka Kubernetes Python Unix/Linux Contexte de la mission Le prestataire étant orienté big data et ayant des compétences dans les domaines listés ci-dessous, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L'expertise technique sur le Datalake (plateforme Big Data) consistera à : o Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux o Contribuer à l'implémentation/automatisation des solutions o Effectuer les actions de mises en production o Contribuer à l'amélioration continue des outils d'exploitation o Communication auprès des utilisateurs finaux Le Prestataire devra fournir les livrables suivants : o Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) o Statut bi-mensuel sur l'avancée des projets sur lesquels il sera contributeur Technos: Hbase Hve Spark Maintien en conditions op ProD Docker Hadoop Kafka Kubernetes Python Unix/Linux

ANALYSE : • Contribue à la définition des spécifications générales • Réalise l'analyse technique et l’étude détaillée • Adapte et paramètre les progiciels applicatifs (ERP) • Réalise le prototypage QUALIFICATION : • Élabore les jeux d’essais pour les tests unitaires d’intégration • Effectue les tests unitaires • Identifie et traite les dysfonctionnements DÉVELOPPEMENT : • Réalise les modules (objets et composants logiciels) • Assemble les composants • Rédige les documentations MAINTENANCE : • A en charge la maintenance corrective • A en charge la maintenance évolutive • Administre les composants logiciels réutilisables et met à jour la nomenclature de ces composants

Architecte big data HDP ou CDP on premise Au sein de l’équipe socle BigData, en lien avec le product owner socle et l’architecte déjà présent, le profil prend un rôle d’architecte / expert sur le socle BigData : • Porter des sujets d’architecture pour intégrer le Cloudera Data Platform • Contribuer à l’industrialisation de notre plateforme Big Data (déploiement des composants, supervision, sécurité, etc…), • Rédiger des modes opératoires et des documentations techniques pour faciliter la compréhension et la montée en compétence de l’équipe, • Qualifier et chalenger les architectures applicatives proposer par les équipes projets • Identifier les faiblesses des environnements et proposer des solutions pour optimiser et améliorer la robustesse de la plateforme , • Apporter de l’expertise sur les incidents et être force de proposition sur les nouveaux usages (APIsation, PRA/PCI, etc…), • Si le profil a une fibre chef de projet / scrum master, il pourra prendre en charge une partie de l’animation de l’équip. Ces activités nécessitent une connaissance technique de l’environnement Hadoop Big Data acquise sur plusieurs architectures Big Data déployées en production, le sens du service et une forte autonomie. Une bonne vision d’ensemble sera nécessaire : sécurité, exploitation, etc… ü Livrables de la prestation : • Etudes d’architecture • POC : Code source commenté / Tests • Industrialisation de composant du socle • Documentations diverses ü Compétences techniques requises : • Maitrise d’une solution HDP ou CDP on premise • Cloudera Manager, Kerberos, Ranger • Kafka • Spark, Zeppelin • HDFS, Hive, Hbase • Oozie • Yarn • Jenkins • Docker L’ensemble de ces activités nécessitent une très bonne connaissance des composants Hadoop. Une expérience de 3 à 5 ans sur un poste d’architecte Big Data nous semble nécessaire pour bien appréhender ses activités. Ces activités nécessitent une forte autonomie, un mindset d’architecture et d’administration de plateforme Big Data, de la curiosité et une appétence pour la mise en place de solutions techniques. Un profil ayant une appétence pour l'animation d'équipe serait idéal. Une expérience réalisée sur un cluster sécurisé et « kerberisé » serait un plus, tout comme une expérience de déploiement de cluster à la demande.

Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) : - La création des IHM pour les questionnaires - La mise en place d'une base de données, déversement dans le lake - La mise en place de plusieurs liens avec des appli groupe (pour récupérer des données ou en pousser). Les livrables attendus sont : -Développement BigData pour le compte de plusieurs applications - Respect des règles et des best practices. Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hadoop (Big Data) • Hive • Python • Spark

Environnement Technique :  Tous composants de la distribution HDP 2.6.5 (Hortonworks)  Tous composants de la distribution HDP 3.1.x (Hortonworks)  Technologie KAFKA  Compétences de développements en Shell, Java, Python  Moteur Elasticsearch incluant les fonctionnalités soumises à licence  Docker, Kubernetes, système distribué sur Kubernetes  Infrastructure as Code  DevOps : Ansible, Git, Nexus, Jenkins, JIRA, etc...  Os Linux, Kerberos, SSL, Ldap, RDBMS, SQL Mandatory :  Tous les composants des distributions Hadoop  Tous les composants de la suite Elasticsearch : Kibana, Logstash, suite beats  Administration de composants big data

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Analystes (Big Data) H/F à Lille, Hauts-de-France, France. Les missions attendues par le Data Analystes (Big Data) H/F : Au sein de l’équipe Agile, le Data Analyste devra : Analyser des besoins fonctionnels et les traduire en solutions techniques via SQL Nettoyer, préparer et exposer les données en assurant leur qualité Manipuler les fichiers sous UNIX et HADOOP Suivre le run et gérer les erreurs Optimiser les traitements SQL Compétences requises : Esprit d’équipe et autonomie Maitrise du SQL et de ses optimisations => Obligatoire Bonnes connaissances de l’environnement HADOOP, UNIX et du SHELL Connaissances en Python Concepts de l’agilité Des connaissances de Cloudera/SAS Visual Analytics/DigDash ou Jupyter sont un plus Expérience souhaitée de 2 à 5 ans minimum sur un poste similaire

Développeur full stack Java, Quarkus Angular ou autre framework front-end Démarrage idéal : lundi 22 avril Expérience souhaitée : 7 ans Compétences techniques nécessaires : Développement Back-end (5 ans minimum) : Java, Quarkus Développement Front-end (mise en œuvre): Angular ou autre framework front-end CI/CD : maîtrise complète de l’un des outils (Jenkins, GIT CI/CD ou autre) Virtualisation : Environnement Kubernetes, Docker Pratiques : Clean code Compétences techniques qui seraient un avantage : Développement data : Hadoop, Spark, Kafka, Redis, Elastic Développement Back-end : Kotlin CI/CD : maîtrise des outils Jenkins ou Concourse Méthodes projet : Agilité pratiquée

💡 Contexte /Objectifs : Prise en charge des sujets de migration de Sybase vers sqlserver Développement et maintenance de scripts powershell et ksh pour automatiser les taches Audit régulier des bases de données MS-SQL (SQL, SSAS, SSIS, SSRS ) Supervision des SGBDs de Production du périmètre ( sqlserver 2014 à sqlserver 2019, ASE 16 ) Prise en compte et traitement des incidents et des appels des utilisateurs Participation aux cellules de crise Contrôle et livraison des modifications de structure de base Prise en charge des demandes de Mise en Production, Prise en compte des demandes d'interventions sur les différentes technologies SGBDs Prise en charge de l'installation, l'administration et l'optimisation avec analyse de performances des serveurs SGBDs Assistance aux équipes études pour le contrôle et l'optimisation des requêtes SQL et procédures stockées Participation aux exercices de continuité et de disponibilité et maintenance des procédures associées. Réalisation et maintenance de la documentation d’exploitation des bases de données. Participation aux projets de veille technologique (Nouvelles fonctionnalités SQL2019, Interfaçage Polybase - Hadoop) Participation au projet bases de données sur Cloud Azure ( SQLServer, Analysis Services, PowerBI ...), AWS et GCP. Application de la politique générale de sécurité du groupe

Prise en charge des serveurs de base de données SQL dans la région EMEA (incident, changement, migration, PRA), Dépannage, enquête et analyse des causes profondes des problèmesde base de données connexes ż Configuration et gestion de la solution de haute disponibilité SQL Server (log-shipping, réplication, mise en miroir, cluster, AlwaysOn). Planifier et prendre en charge la sauvegarde/restauration des bases de données et la politique de reprise après sinistre des bases de données dans un environnement à haute disponibilité. Travailler au sein d'une équipe DBA mondiale composée d'experts en bases de données et en automatisation pour contribuer au développement de portails en libre-service automatisation de tâches répétitives et manuelles telles que l'installation, le correctif, la migration, ...) Compétences techniques Bases de données : SQL Server (2008-2019) SENIOR,Nice to have : N'importe lequel des outils de réplication MongoDB, PostgreSQL, Hadoop

Almatek recherche pour l'un de ses clients, un expert Java Spark sur Paris Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch. Compétences techniques : Java Spark Hive, Hbase, MongoDB ou S3 Evènementiel : Kafka, Kafka Connect, KStream