Trouvez votre prochaine offre d’emploi ou de mission freelance Big Data

🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Data Ingénieur | Big Data pour intervenir chez un de nos clients. 💻💼 Contexte : Vous ferez partie d'une équipe dynamique de 6 personnes, répartie sur plusieurs sites, et vous participerez activement au développement informatique utilisant des technologies telles que Hadoop, HDFS, Hive, Spark SQL et PySpark, ainsi que Sqoop. Vos principales responsabilités seront les suivantes 🎯 : - Contribuer au maintien en conditions opérationnelles - Participer à la conception - Effectuer des développements - Assurer les livraisons - Réaliser les recettes

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Big Data (H/F) à Lyon, Auvergne-Rhône-Alpes, France. Contexte : Les missions attendues par le Développeur Big Data (H/F) : Activité principale o Assure la création, la maintenance, l'optimisation et la sécurité des bases de données o Participe aux développements de flux de données permettant d’alimenter des bases de données o Assure la bonne exécution des traitements et identifie et corrige l’application en cas de problèmes Activité secondaire o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites Stack technique du projet Hadoop, Spark, Spring, Java, Kafka, SQL, PostgreSQL, GIT, Ansible, Docker, Kubernetes, Tableau desktop, Power BI Compétences attendues sur le profil Maitrise des outils de gestion de code et de déploiement projet Aide à la conception de solutions permettant le traitement de volumes importants de pipelines de données suffisamment sécurisés et lisibles pour les Data Analysts. Maîtrise des langages structurés utilisés par le projet Maîtrise des solutions de stockage de données Maîtrise des technologies du Big Data permettant le traitement et la manipulation de données Connaissance des bases de l’agilité Impératif 1 Maitrise de Java Impératif 2 Connaissance approfondie de Spark, Scala Impératif 3 Maitrise des outils de gestion de code et de déploiement projet (git, ansible, docker, kubernetes)

💡 Contexte /Objectifs : Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Tech Lead Big Data. Périmètre fonctionnel : banque d'investissement Les principales tâches de la missions sont les suivantes :  Développement, Clean code,  L'intégration continue,  La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing)  Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données  L'assistance à la conception technique du produit  Diverses assistances techniques (sujets techniques complexes sur le produit, etc...)  La revue de code  L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique  L'analyse de l'impact de la conception du produit sur l'architecture technique du SI  L'architecture technique aux choix d'implémentation dans le SI  La maintenabilité technique du produit  La stratégie de développement et de tests selon critères pré-définis Autres :  Support applicatif via le monitoring et résolution associée  DevOps pour les parties IAAS et CD.  Environnement anglophone

Je recherche un Tech Lead Big Data – Expert Java - Spark : • Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) • Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution • Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.

Équipe ressource pour le développement des apps. « Craft » rassemble le socle de données, les outils, certains enablers génériques, et la core-team (référente du cadre de développement et de la réalisation des enablers pour SCC). Le but de l'équipe CRAFT est de mettre à disposition des autres équipes un cadre comprenant : · Une plateforme : pour rapidement créer, configurer et amener jusqu'en prod un sujet en XP, puis en Indus si besoin en perdant moins de temps en administratif et en se concentrant sur le code métier. · Des bonnes pratiques communes : pour pouvoir facilement passer d'une XP à un projet Indus sans tout repenser ou tout refaire · Des outils : pour créer plus vite et passer moins de temps sur des problématiques classiques déjà traitées · Des données : de qualité et documentées car c'est sur ces données que reposent nos produits Organisé en feature teams, CRAFT couvre un large perimetre fonctionnel à travers les divers produits exposés. Besoin pour la feature team travaillant pour les projets : EPIC (Espace de Partage des données des Installations de Comptage) MEI (Mobilité Electrique Interne)

Orienté Big Data et ayant des compétences dans les domaines listés ci-joint : Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le consultant devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

En tant que Consultant Infra - Big Data, vos missions seront : Administrer et superviser l'infrastructure technique Big Data (écosystème CDP et ELK) Installer, paramétrer et configurer les composants et les ressources de la plateforme Assurer la documentation et la transmission des procédures aux équipes d'exploitation Assurer la qualité et la conformité des opérations dans le respect des règles de l'art et des procédures mises en oeuvre Réaliser et maintenir l'inventaire des différents composants de son périmètre Maintenir les outils et procédures nécessaires à l'exploitation et la surveillance des traitements (scripts, modules de supervision, etc.) Traiter le niveau 3 des incidents, de problèmes, des demandes et des changements sur le périmètre socle Contrôler et optimiser les environnements (capacité, disponibilité, sécurité, etc.) Compétences Techniques principales : Socle Infrastructure et Système : Linux CentOS/Rocky, Kerberos, Terraform, Ansible Socle Middleware : Cluster Cloudera CDP, Cluster ELK, Freeipa Bases de données SQL/NoSQL : PostgreSQL, HBASE, Hive Hyperviseur : VMWare Réseau : Fortinet, Haproxy Détail du poste : Type de contrat : CDI, 39h Localisation : Basé à Paris 2e Déplacements à prévoir : Non Télétravail : Oui (en fonction du profil et de l'autonomie sur le poste) Salaire : 35k-40KEUR, selon profil et expériences Dans la continuité de sa politique RH en faveur de l'égalité professionnelle, la politique d'embauche de la société Infodis vise à améliorer la représentation des personnes en situation de handicap sur l'ensemble des offres proposées. Pourquoi nous rejoindre (nos avantages) ? Prime de Participation Carte Ticket Restaurant Swile (8,40 Euros par jour travaillés pris en charge à 70%) Participation aux transports (50%) Prime de vacances Mutuelle Comité d'entreprise Prime de cooptation Notre process de recrutement : Entretien téléphonique avec un recruteur de l'équipe ? Entretien (par visio en général) avec un référent technique pour explication du contexte et périmètre de la mission + vérifier l'adéquation technique Entretien client (si besoin) Embauche et Intégration du collaborateur ?

Contexte de la mission : Dans une équipe de 6 personnes en multi sites, le consultant participera aux développements informatiques sur les technologies Hadoop, HDFS, Hive, Spark Sql et PySpark, Sqoop MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Analystes (Big Data) H/F à Lille, Hauts-de-France, France. Les missions attendues par le Data Analystes (Big Data) H/F : Au sein de l’équipe Agile, le Data Analyste devra : Analyser des besoins fonctionnels et les traduire en solutions techniques via SQL Nettoyer, préparer et exposer les données en assurant leur qualité Manipuler les fichiers sous UNIX et HADOOP Suivre le run et gérer les erreurs Optimiser les traitements SQL Compétences requises : Esprit d’équipe et autonomie Maitrise du SQL et de ses optimisations => Obligatoire Bonnes connaissances de l’environnement HADOOP, UNIX et du SHELL Connaissances en Python Concepts de l’agilité Des connaissances de Cloudera/SAS Visual Analytics/DigDash ou Jupyter sont un plus Expérience souhaitée de 2 à 5 ans minimum sur un poste similaire

Nous cherchons à renforcer notre équipe avec un Architecte / Administrateur Big Data Hadoop (H/F). Vous intégrez une équipe et serez en charge de l'infrastructure de stockage de données, de l'automatisation et du maintien en conditions opérationnelles pour la mise en place d'un nouveau programme. L'objectif de ce programme est la mise en oeuvre d'une nouvelle offre de service BIGDATA pour l'ensemble du Groupe. Cette nouvelle offre de service doit : - Être Industrielle avec différents environnements distincts ( DEV, INT, Homol, PROD, DR) - Être Sécurisée, afin d'accueillir des données de tout type C1, C2, C3 - Être Résiliente, avec de la haute dispo sur l'ensemble des composants - Être Secourue avec un DR distant - Permettre le partage des données, de manière sécurisée, entre n'importe quelle équipe du groupe SG afin - Que chacun puisse travailler sur les données les plus fraîches - Qu'il n'y ait pas de multiples copies des même données au sein du datalake Dans le but de réduire le Time To Market à quelques minutes, nous avons construit deux équipes : une pour le développement d'API ; une autre pour le déploiement et le maintien en condition opérationnelles pour l'offre Big Data. Allez on en dis plus... Vos principales missions seront : - Maintien de la production en conditions opérationnelles - Mise en oeuvre de l'infrastructure de secours - Participer à l'automatisation de l'infrastructure Bigdata (HADOOP) s'appuyant sur TERRAFORM et ANSIBLE - Extension automatisée des clusters Bigdata avec l'ajout de datanodes - Ajout automatisé de nouvelles fonctionnalités (Hbase, Encryption) Informations complémentaires : possibilité de télétravail plusieurs jours par semaine. Ingénieur de formation, nous recherchons un Expert Hadoop (Cloudera CDP) maîtrisant Ansible pour participer à la construction de notre nouvelle plateforme Big data. Vous avez une expérience d'au moins 10ans sur un poste similaire. Vous êtes expert Hadoop maitrisant Ansible et avec des compétences techniques reconnues sur la technologie UNIX: Linux, Shell, Python, Open source, SSL, Redhat, Agile Scrum, Terraform. Vous avez également de solides compétences sur HDFS, Oozie, Zookeeper, Ranger, Knox, Kerberos, LDAP, Hbase, Kafka, Cloudera Manager, Spark, Hive, Nifi D'une excellente qualité d'écoute, disponible, réactif et rigoureux. Notre processus de recrutement : En 4 étapes ! Tout simplement. Dans un premier temps, vous échangerez avec l'un d'entre nous ; Puis, nous aurons le plaisir de vous rencontrer lors d'un entretien ; Pour finir, vous discuterez métier avec l'un de nos managers opérationnels ; Bienvenue chez nous ! Ce poste vous intéresse ? Vous êtes motivé(e) et vous avez hâte de commencer ? Place à l'action : Postulez ou partagez avec votre réseau ! Python rigoureux à l'écoute Kafka Ansible Hadoop Spark Hive Terraform Hbase Nifi

Missions : Le consultant interviendra au sein d’une équipe IT. La mission portera sur le suivi et la proposition de solution d'intégration / industrialisation des modèles algorithmiques développés par les équipes : Accompagnement des équipes Préconisations de bonnes pratiques de développement Python orienté ML Structuration de projet de type ML/DL Maitrise indispensable de l'outil Dataiku Bonnes connaissance DE GCP Intégration de containers Docker, Openshift Relais technique envers les interlocuteurs (francophone / anglophone) Participation aux projets suivant les sollicitations Gestion de l’environnement de DEV (Serveurs, BDD, etc.) Préconisations CI/CD

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

Missions En tant que Tech Lead Data, votre rôle principal sera de diriger avec succès le déploiement de l'architecture Big Data dans l'écosystème informatique cloud. Vous serez le principal interlocuteur entre l'équipe d'architecture et les développeurs et serez responsable de la bonne mise en œuvre des architectures définies dans les délais impartis. Vos tâches seront les suivantes : Concevoir, mettre en œuvre et déployer une architecture dans le cloud pour des projets Big Data : Travailler avec les architectes pour concevoir une architecture de pointe pour les projets Big Data dans un contexte de volumétrie élevée. Implémenter les architectures définies selon le planning et les exigences définis. Excellence technique : Satisfaire aux exigences du Big Data, capacité à travailler dans un contexte de volumétrie élevée. Remettre en question les décisions architecturales clés en fonction d'un contexte spécifique (topologie des données, volume, exigence de temps d'exécution, etc.). Optimiser le traitement et le stockage des données pour l'efficacité. Assurer un dépannage rapide des problèmes avec la surveillance appropriée . Gestion de projet : Superviser plusieurs projets en parallèle , en veillant à ce que les délais soient respectés, les normes maintenues et les objectifs atteints. Collaboration : Agir comme le lien principal entre l'architecture et la mise en œuvre dans le projet. Travailler en étroite collaboration avec d'autres responsables techniques et architectes . Échanger des connaissances et se synchroniser avec d'autres équipes. Gouvernance des données : Garantir le respect des politiques de gouvernance des données liées à l'industrie financière. Documentation : Superviser la création et la maintenance d'une documentation précise des développements, des procédures techniques et des configurations système pour améliorer les connaissances et faciliter les processus d'intégration pour l'équipe.

L’objectif est de développer une plateforme appelée Supply data lake basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume substantiel de données dans les différents pays où Engie opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant l’accès à des vues standardisées et transversales de ces indicateurs. L’un des principaux objectifs de 2024 est de construire une première version d’un outil de P&L quotidien pour l’entité B2B France. En plus de ses responsabilités techniques, le développeur s’assurera de la conformité avec les directives du Groupe concernant l’utilisation et l’architecture du cadre interne. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des fonctionnalités communes pour la plateforme. L’équipe est principalement située à Paris, mais des déplacements occasionnels à Lyon et à Bruxelles sont à prévoir. Le rôle du développeur senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : - L’acquisition des données - Traitement et normalisation des données. - Distribuer les données aux différentes parties prenantes. - Construire et améliorer le cadre commun, y compris la surveillance, CI/CD, les tests, la performance, la résilience, les pratiques de développement et la qualité du code... Les principales activités sont les suivantes : - Recueillir, comprendre, remettre en question et affiner les exigences et les opportunités commerciales. - Concevoir des solutions en suivant les lignes directrices de l’architecture. - Diriger les activités de développement et apporter une contribution en tant que senior/expert. Les activités de développement impliquent l’élaboration et la maintenance d’un code efficace, réutilisable et fiable qui respecte des normes élevées en matière de qualité des logiciels, de conception et de principes d’essai, tout en fournissant des solutions dans les délais et dans les limites du budget. - Soutenir l’amélioration continue des services et des applications en identifiant les goulets d’étranglement et les bogues et en proposant des solutions. - Fournir aux utilisateurs des services prêts pour la production, en s’efforçant d’atteindre le niveau de satisfaction le plus élevé. - Soutenir la phase de production, notamment en fournissant des outils de surveillance et d’alerte afin de minimiser l’impact de l’assistance pendant la phase de développement. - Rédiger et mettre à jour la documentation technique en anglais et la mettre à la disposition de l’équipe et des partenaires. - Assurer une communication efficace et opportune avec toutes les équipes concernées. XP min 5 ans python, api technologies big data AWS 3 ans XP min

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production