Trouvez votre prochaine offre d’emploi ou de mission freelance Big Data

Équipe ressource pour le développement des apps. « Craft » rassemble le socle de données, les outils, certains enablers génériques, et la core-team (référente du cadre de développement et de la réalisation des enablers pour SCC). Le but de l'équipe CRAFT est de mettre à disposition des autres équipes un cadre comprenant : · Une plateforme : pour rapidement créer, configurer et amener jusqu'en prod un sujet en XP, puis en Indus si besoin en perdant moins de temps en administratif et en se concentrant sur le code métier. · Des bonnes pratiques communes : pour pouvoir facilement passer d'une XP à un projet Indus sans tout repenser ou tout refaire · Des outils : pour créer plus vite et passer moins de temps sur des problématiques classiques déjà traitées · Des données : de qualité et documentées car c'est sur ces données que reposent nos produits Organisé en feature teams, CRAFT couvre un large perimetre fonctionnel à travers les divers produits exposés. Besoin pour la feature team travaillant pour les projets : EPIC (Espace de Partage des données des Installations de Comptage) MEI (Mobilité Electrique Interne)

Contexte de la mission : Dans une équipe de 6 personnes en multi sites, le consultant participera aux développements informatiques sur les technologies Hadoop, HDFS, Hive, Spark Sql et PySpark, Sqoop MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes

En tant que Consultant Infra - Big Data, vos missions seront : Administrer et superviser l'infrastructure technique Big Data (écosystème CDP et ELK) Installer, paramétrer et configurer les composants et les ressources de la plateforme Assurer la documentation et la transmission des procédures aux équipes d'exploitation Assurer la qualité et la conformité des opérations dans le respect des règles de l'art et des procédures mises en oeuvre Réaliser et maintenir l'inventaire des différents composants de son périmètre Maintenir les outils et procédures nécessaires à l'exploitation et la surveillance des traitements (scripts, modules de supervision, etc.) Traiter le niveau 3 des incidents, de problèmes, des demandes et des changements sur le périmètre socle Contrôler et optimiser les environnements (capacité, disponibilité, sécurité, etc.) Compétences Techniques principales : Socle Infrastructure et Système : Linux CentOS/Rocky, Kerberos, Terraform, Ansible Socle Middleware : Cluster Cloudera CDP, Cluster ELK, Freeipa Bases de données SQL/NoSQL : PostgreSQL, HBASE, Hive Hyperviseur : VMWare Réseau : Fortinet, Haproxy Détail du poste : Type de contrat : CDI, 39h Localisation : Basé à Paris 2e Déplacements à prévoir : Non Télétravail : Oui (en fonction du profil et de l'autonomie sur le poste) Salaire : 35k-40KEUR, selon profil et expériences Dans la continuité de sa politique RH en faveur de l'égalité professionnelle, la politique d'embauche de la société Infodis vise à améliorer la représentation des personnes en situation de handicap sur l'ensemble des offres proposées. Pourquoi nous rejoindre (nos avantages) ? Prime de Participation Carte Ticket Restaurant Swile (8,40 Euros par jour travaillés pris en charge à 70%) Participation aux transports (50%) Prime de vacances Mutuelle Comité d'entreprise Prime de cooptation Notre process de recrutement : Entretien téléphonique avec un recruteur de l'équipe ? Entretien (par visio en général) avec un référent technique pour explication du contexte et périmètre de la mission + vérifier l'adéquation technique Entretien client (si besoin) Embauche et Intégration du collaborateur ?

💡 Contexte /Objectifs : Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Tech Lead Big Data. Périmètre fonctionnel : banque d'investissement Les principales tâches de la missions sont les suivantes :  Développement, Clean code,  L'intégration continue,  La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing)  Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données  L'assistance à la conception technique du produit  Diverses assistances techniques (sujets techniques complexes sur le produit, etc...)  La revue de code  L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique  L'analyse de l'impact de la conception du produit sur l'architecture technique du SI  L'architecture technique aux choix d'implémentation dans le SI  La maintenabilité technique du produit  La stratégie de développement et de tests selon critères pré-définis Autres :  Support applicatif via le monitoring et résolution associée  DevOps pour les parties IAAS et CD.  Environnement anglophone

Je recherche un Tech Lead Big Data – Expert Java - Spark : • Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) • Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution • Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

Missions : Le consultant interviendra au sein d’une équipe IT. La mission portera sur le suivi et la proposition de solution d'intégration / industrialisation des modèles algorithmiques développés par les équipes : Accompagnement des équipes Préconisations de bonnes pratiques de développement Python orienté ML Structuration de projet de type ML/DL Maitrise indispensable de l'outil Dataiku Bonnes connaissance DE GCP Intégration de containers Docker, Openshift Relais technique envers les interlocuteurs (francophone / anglophone) Participation aux projets suivant les sollicitations Gestion de l’environnement de DEV (Serveurs, BDD, etc.) Préconisations CI/CD

🏭 Secteurs stratégiques : Banque de détail 💡 Contexte /Objectifs : Un projet stratégique est en construction visant notamment à proposer de nouveaux outils de mise en relation transverse pour les différentes entités en relation avec les bénéficiaires de la banque de détail. À ce titre, notre client souhaite bénéficier de l'expertise du prestataire en termes d'Assistance maîtrise d'ouvrage SI Dans ce cadre, la prestation consiste à contribuer à la conception et à la mise en place des ETL spécifiques sous SQL Server et des ETL Talend qui interviennent dans la collecte et la transformation des données avant restitution et qui s'appuient sur la base Infomart de l’application Genesys. Livrables attendus Accompagnement des métiers dans la définition des tableaux de bord en se basant sur la connaissance des progiciels du périmètre Pilotage de la mise en oeuvre Accompagnement des équipes de réalisation dans la spécification et les tests des livraisons.

Orienté Big Data et ayant des compétences dans les domaines listés ci-joint : Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le consultant devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

Missions En tant que Tech Lead Data, votre rôle principal sera de diriger avec succès le déploiement de l'architecture Big Data dans l'écosystème informatique cloud. Vous serez le principal interlocuteur entre l'équipe d'architecture et les développeurs et serez responsable de la bonne mise en œuvre des architectures définies dans les délais impartis. Vos tâches seront les suivantes : Concevoir, mettre en œuvre et déployer une architecture dans le cloud pour des projets Big Data : Travailler avec les architectes pour concevoir une architecture de pointe pour les projets Big Data dans un contexte de volumétrie élevée. Implémenter les architectures définies selon le planning et les exigences définis. Excellence technique : Satisfaire aux exigences du Big Data, capacité à travailler dans un contexte de volumétrie élevée. Remettre en question les décisions architecturales clés en fonction d'un contexte spécifique (topologie des données, volume, exigence de temps d'exécution, etc.). Optimiser le traitement et le stockage des données pour l'efficacité. Assurer un dépannage rapide des problèmes avec la surveillance appropriée . Gestion de projet : Superviser plusieurs projets en parallèle , en veillant à ce que les délais soient respectés, les normes maintenues et les objectifs atteints. Collaboration : Agir comme le lien principal entre l'architecture et la mise en œuvre dans le projet. Travailler en étroite collaboration avec d'autres responsables techniques et architectes . Échanger des connaissances et se synchroniser avec d'autres équipes. Gouvernance des données : Garantir le respect des politiques de gouvernance des données liées à l'industrie financière. Documentation : Superviser la création et la maintenance d'une documentation précise des développements, des procédures techniques et des configurations système pour améliorer les connaissances et faciliter les processus d'intégration pour l'équipe.

L’objectif est de développer une plateforme appelée Supply data lake basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume substantiel de données dans les différents pays où Engie opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant l’accès à des vues standardisées et transversales de ces indicateurs. L’un des principaux objectifs de 2024 est de construire une première version d’un outil de P&L quotidien pour l’entité B2B France. En plus de ses responsabilités techniques, le développeur s’assurera de la conformité avec les directives du Groupe concernant l’utilisation et l’architecture du cadre interne. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des fonctionnalités communes pour la plateforme. L’équipe est principalement située à Paris, mais des déplacements occasionnels à Lyon et à Bruxelles sont à prévoir. Le rôle du développeur senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : - L’acquisition des données - Traitement et normalisation des données. - Distribuer les données aux différentes parties prenantes. - Construire et améliorer le cadre commun, y compris la surveillance, CI/CD, les tests, la performance, la résilience, les pratiques de développement et la qualité du code... Les principales activités sont les suivantes : - Recueillir, comprendre, remettre en question et affiner les exigences et les opportunités commerciales. - Concevoir des solutions en suivant les lignes directrices de l’architecture. - Diriger les activités de développement et apporter une contribution en tant que senior/expert. Les activités de développement impliquent l’élaboration et la maintenance d’un code efficace, réutilisable et fiable qui respecte des normes élevées en matière de qualité des logiciels, de conception et de principes d’essai, tout en fournissant des solutions dans les délais et dans les limites du budget. - Soutenir l’amélioration continue des services et des applications en identifiant les goulets d’étranglement et les bogues et en proposant des solutions. - Fournir aux utilisateurs des services prêts pour la production, en s’efforçant d’atteindre le niveau de satisfaction le plus élevé. - Soutenir la phase de production, notamment en fournissant des outils de surveillance et d’alerte afin de minimiser l’impact de l’assistance pendant la phase de développement. - Rédiger et mettre à jour la documentation technique en anglais et la mettre à la disposition de l’équipe et des partenaires. - Assurer une communication efficace et opportune avec toutes les équipes concernées. XP min 5 ans python, api technologies big data AWS 3 ans XP min

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production

En tant que Consultant(e) AMOA Big Data / Data , vous accompagnez la modélisation et à la mise en œuvre des solutions décisionnelles (reporting stratégique, opérationnel, etc.) la mise en œuvre des usages concernant les données des services Solidarités et Droit à l’information. Les solutions à mettre en œuvre le seront sous une architecture technique Hadoop/Hive ; les outils de manipulation des données : Tableau et Alteryx. De plus, vous participez à l’enrichissement des dictionnaires de données sur le périmètre concerné ainsi qu’à la modélisation des datamarts décisionnels répondant aux cas d’usages du projet. Les activités seront menées en méthode dite agile . La durée des sprints est de trois semaines. Le nombre de sprints sera de 9. À ce titre, vous aurez pour rôle : -Accompagnement et interface entre Métier et MOE sur les solutions d’architecture data mises en place -Animer les réunions avec les utilisateurs et l’équipe de développement (une réunion par semaine, de 5 à 10 participants par réunion) -Recueillir et restituer les indicateurs -Tâches attendues pendant un sprint : Analyser les user-stories prises en compte dans les sprints et animer les ateliers métiers associés ; Modélisation fonctionnelle des objets pivots et des datamarts ; Préparer et conduire les recettes -Réalisation d’un mode opératoire, façon Tutoriel, pour que les métiers puissent construire des rapports en autonomie. Cela pourra être sous forme de document de type Powerpoint avec un maximum de 30 slides -Réalisation/automatisation de rapports et d’indicateurs sur demande des métiers -Accompagnement des métiers dans l’utilisation de la solution S.I mise en œuvre -Réalisation de documents sur le fonctionnement de l’outil à destination de la MOA. Les documents seront sous format de type Word. Ils devront être exhaustifs en termes de périmètre de fonctionnalités mise en œuvre.

Assurer le RUN et les évolutions des socles hébergés sur les 3 data centers du groupe. Garantir le fonctionnement optimal des outils ou systèmes dont il a la charge. Garantir la résolution des incidents de niveau 2 ou 3 et contribuer à l'élaboration d'actions préventives sur les éléments dont il a la charge. Apporter l'expertise, conseil et assistance dans l'usage et la mise en œuvre d'applications auprès des projets, support aux projets. Contribuer à l'évolution des cibles et des trajectoires du SI

L'entité IT est composée de 3 Feature Team, 2 en charge du backend / processing de données, la dernière en charge de toutes les interfaces (UI) et couches de traitement API. Dans le cadre de la modernisation de son backend, le socle du processing de données est ré-écrit sur une technologie BigData sur Cloud Interne, ce qui permet d'élargir l'offre de services proposée aux utilisateurs. Le Bénéficiaire souhaite mettre en œuvre la refonte de son Back-end autour des technologies BigData en intégrant les principes Digitaux (Architectures SOA, Web developpement In House, Frameworks internes).Le Bénéficiaire souhaite mettre en œuvre les évolutions de son socle technique. Dans ce cadre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : · Développement, Clean code, · L'intégration continue, · La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing) · Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données · L'assistance à la conception technique du produit · Diverses assistances techniques (sujets techniques complexes sur le produit, etc...) · La revue de code · L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique · L'analyse de l'impact de la conception du produit sur l'architecture technique du SI · L'architure technique aux choix d'implémentation dans le SI · La maintenabilité technique du produit · La stratégie de développement et de tests selon critères pré-définis Autres : · Support applicatif via le monitoring et résolution associée · DevOps pour les parties IAAS et CD. · Environnement anglophone