Trouvez votre prochaine offre d’emploi ou de mission freelance Big Data

Missions : Le consultant interviendra au sein d’une équipe IT. La mission portera sur le suivi et la proposition de solution d'intégration / industrialisation des modèles algorithmiques développés par les équipes : Accompagnement des équipes Préconisations de bonnes pratiques de développement Python orienté ML Structuration de projet de type ML/DL Maitrise indispensable de l'outil Dataiku Bonnes connaissance DE GCP Intégration de containers Docker, Openshift Relais technique envers les interlocuteurs (francophone / anglophone) Participation aux projets suivant les sollicitations Gestion de l’environnement de DEV (Serveurs, BDD, etc.) Préconisations CI/CD

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

Missions En tant que Tech Lead Data, votre rôle principal sera de diriger avec succès le déploiement de l'architecture Big Data dans l'écosystème informatique cloud. Vous serez le principal interlocuteur entre l'équipe d'architecture et les développeurs et serez responsable de la bonne mise en œuvre des architectures définies dans les délais impartis. Vos tâches seront les suivantes : Concevoir, mettre en œuvre et déployer une architecture dans le cloud pour des projets Big Data : Travailler avec les architectes pour concevoir une architecture de pointe pour les projets Big Data dans un contexte de volumétrie élevée. Implémenter les architectures définies selon le planning et les exigences définis. Excellence technique : Satisfaire aux exigences du Big Data, capacité à travailler dans un contexte de volumétrie élevée. Remettre en question les décisions architecturales clés en fonction d'un contexte spécifique (topologie des données, volume, exigence de temps d'exécution, etc.). Optimiser le traitement et le stockage des données pour l'efficacité. Assurer un dépannage rapide des problèmes avec la surveillance appropriée . Gestion de projet : Superviser plusieurs projets en parallèle , en veillant à ce que les délais soient respectés, les normes maintenues et les objectifs atteints. Collaboration : Agir comme le lien principal entre l'architecture et la mise en œuvre dans le projet. Travailler en étroite collaboration avec d'autres responsables techniques et architectes . Échanger des connaissances et se synchroniser avec d'autres équipes. Gouvernance des données : Garantir le respect des politiques de gouvernance des données liées à l'industrie financière. Documentation : Superviser la création et la maintenance d'une documentation précise des développements, des procédures techniques et des configurations système pour améliorer les connaissances et faciliter les processus d'intégration pour l'équipe.

L’objectif est de développer une plateforme appelée Supply data lake basée sur des technologies Big Data robustes et évolutives. Cette plateforme sera capable de traiter un volume substantiel de données dans les différents pays où Engie opère. Son objectif principal est de capturer divers indicateurs dans un référentiel centralisé, permettant l’accès à des vues standardisées et transversales de ces indicateurs. L’un des principaux objectifs de 2024 est de construire une première version d’un outil de P&L quotidien pour l’entité B2B France. En plus de ses responsabilités techniques, le développeur s’assurera de la conformité avec les directives du Groupe concernant l’utilisation et l’architecture du cadre interne. Il collaborera également avec les autres parties prenantes du projet afin de promouvoir ces directives et de proposer des fonctionnalités communes pour la plateforme. L’équipe est principalement située à Paris, mais des déplacements occasionnels à Lyon et à Bruxelles sont à prévoir. Le rôle du développeur senior dans ce projet consistera à concevoir et à mettre en œuvre les composants suivants de la plateforme : - L’acquisition des données - Traitement et normalisation des données. - Distribuer les données aux différentes parties prenantes. - Construire et améliorer le cadre commun, y compris la surveillance, CI/CD, les tests, la performance, la résilience, les pratiques de développement et la qualité du code... Les principales activités sont les suivantes : - Recueillir, comprendre, remettre en question et affiner les exigences et les opportunités commerciales. - Concevoir des solutions en suivant les lignes directrices de l’architecture. - Diriger les activités de développement et apporter une contribution en tant que senior/expert. Les activités de développement impliquent l’élaboration et la maintenance d’un code efficace, réutilisable et fiable qui respecte des normes élevées en matière de qualité des logiciels, de conception et de principes d’essai, tout en fournissant des solutions dans les délais et dans les limites du budget. - Soutenir l’amélioration continue des services et des applications en identifiant les goulets d’étranglement et les bogues et en proposant des solutions. - Fournir aux utilisateurs des services prêts pour la production, en s’efforçant d’atteindre le niveau de satisfaction le plus élevé. - Soutenir la phase de production, notamment en fournissant des outils de surveillance et d’alerte afin de minimiser l’impact de l’assistance pendant la phase de développement. - Rédiger et mettre à jour la documentation technique en anglais et la mettre à la disposition de l’équipe et des partenaires. - Assurer une communication efficace et opportune avec toutes les équipes concernées. XP min 5 ans python, api technologies big data AWS 3 ans XP min

La prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place de la One Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. La mission doit être effectuée dans le cadre des normes du projet. - Assistance sur les développements produits jusqu'à la mise en production. - Support de production

Assurer le RUN et les évolutions des socles hébergés sur les 3 data centers du groupe. Garantir le fonctionnement optimal des outils ou systèmes dont il a la charge. Garantir la résolution des incidents de niveau 2 ou 3 et contribuer à l'élaboration d'actions préventives sur les éléments dont il a la charge. Apporter l'expertise, conseil et assistance dans l'usage et la mise en œuvre d'applications auprès des projets, support aux projets. Contribuer à l'évolution des cibles et des trajectoires du SI

En tant que Consultant(e) AMOA Big Data / Data , vous accompagnez la modélisation et à la mise en œuvre des solutions décisionnelles (reporting stratégique, opérationnel, etc.) la mise en œuvre des usages concernant les données des services Solidarités et Droit à l’information. Les solutions à mettre en œuvre le seront sous une architecture technique Hadoop/Hive ; les outils de manipulation des données : Tableau et Alteryx. De plus, vous participez à l’enrichissement des dictionnaires de données sur le périmètre concerné ainsi qu’à la modélisation des datamarts décisionnels répondant aux cas d’usages du projet. Les activités seront menées en méthode dite agile . La durée des sprints est de trois semaines. Le nombre de sprints sera de 9. À ce titre, vous aurez pour rôle : -Accompagnement et interface entre Métier et MOE sur les solutions d’architecture data mises en place -Animer les réunions avec les utilisateurs et l’équipe de développement (une réunion par semaine, de 5 à 10 participants par réunion) -Recueillir et restituer les indicateurs -Tâches attendues pendant un sprint : Analyser les user-stories prises en compte dans les sprints et animer les ateliers métiers associés ; Modélisation fonctionnelle des objets pivots et des datamarts ; Préparer et conduire les recettes -Réalisation d’un mode opératoire, façon Tutoriel, pour que les métiers puissent construire des rapports en autonomie. Cela pourra être sous forme de document de type Powerpoint avec un maximum de 30 slides -Réalisation/automatisation de rapports et d’indicateurs sur demande des métiers -Accompagnement des métiers dans l’utilisation de la solution S.I mise en œuvre -Réalisation de documents sur le fonctionnement de l’outil à destination de la MOA. Les documents seront sous format de type Word. Ils devront être exhaustifs en termes de périmètre de fonctionnalités mise en œuvre.

Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) : - La création des IHM pour les questionnaires - La mise en place d'une base de données, déversement dans le lake - La mise en place de plusieurs liens avec des appli groupe (pour récupérer des données ou en pousser). Les livrables attendus sont : -Développement BigData pour le compte de plusieurs applications - Respect des règles et des best practices. Les expertises attendues pour réaliser cette prestation sont listées ci-après : • Hadoop (Big Data) • Hive • Python • Spark

Le centre de solution PAIEMENTS est en charge des applications monétiques ( porteur et commercants) et paiements ( virement, chèques... ) Pour répondre à de nouveaux besoins métiers sur l'exploitation de la DATA des paiements, nous faisons évoluer notre équipe BIG DATA. Le bénéficiaire souhaite mettre en oeuvre plusieurs évolutions de son socle technique. Le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Développement Spark/Scala et HIVE - Une bonne expertise des environnements hadoop Les livrables attendus sont : - Revue de code et re-factoring - Projet agile (Scrum) - Traitement d'un gros volume de données - L'application des normes de développements

Missions : o Apporter une expertise en Big Data pour faciliter la manipulation des données o Définir les solutions techniques permettant le traitement massif de données o Mettre en place des solutions de stockage de données (SQL, NoSQL, etc.) o Veiller la sécurisation et la clarté des pipelines de données pour faciliter l’analyse et la transformation Il s’appuie si nécessaire sur les référents techniques des diverses briques si ces dernières sortent du cadre de sa mission. Il met en avant ses qualités pour mener à bien ses missions : o Autonomie, rigueur et force de proposition o Capacités d'analyse et de synthèse. o Esprit d’équipe Activité principale : o Assure la création, la maintenance, l'optimisation et la sécurité des bases de données o Détecte, propose et suit les optimisations des requêtes SQL, PL/SQL afin de garantir les meilleures performances de nos applications métier o Assure le support aux équipes de développement afin d’identifier et proposer des solutions performantes SGBD les mieux adaptées d’un point de vue métier Activité secondaire : o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites

Dans ce cadre la prestation consiste à contribuer à/au(x) :  Développement, Clean code,  L'intégration continue,  La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing)  Mise en place et suivi des développements en production du socle de fonctionnalités Processing / préparation de données  L'assistance à la conception technique du produit  Diverses assistances techniques (sujets techniques complexes sur le produit, etc...)  La revue de code  L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique  L'analyse de l'impact de la conception du produit sur l'architecture technique du SI  L'architecture technique aux choix d'implémentation dans le SI  La maintenabilité technique du produit  La stratégie de développement et de tests selon critères pré-définis Autres :  Support applicatif via le monitoring et résolution associée  DevOps pour les parties IAAS et CD.  Environnement anglophone Les livrables attendus sont : de solutions et d'architecture technique pour le backend 2.Développements d'alimentations et processing de données 3.Implementation pour l'exploitation des données, restitution dans des Datasets ou Datamarts adéquats et maintenance évolutive du backend 5.Mise en œuvre de méthodes d'amélioration continue : Craft & Prod CI 6.Monitoring et CI sur qualité du code

Nous sommes à la recherche d'un Business Analyst dynamique et expérimenté, ayant une expertise en Big Data, pour rejoindre notre équipe. Le candidat idéal sera responsable de l'analyse des données complexes, de la génération d'insights exploitables et de la collaboration avec les équipes métier pour prendre des décisions stratégiques basées sur les données. Responsabilités : Analyse des besoins métier : Travailler en étroite collaboration avec les parties prenantes métier pour comprendre leurs objectifs, leurs défis et leurs besoins en matière d'analyse de données. Collecte et exploration des données : Collecter, nettoyer et préparer les données à grande échelle à partir de différentes sources, y compris les données structurées et non structurées. Analyse des données : Utiliser des outils d'analyse avancée pour extraire des insights significatifs à partir des ensembles de données Big Data, en identifiant des tendances, des modèles et des anomalies. Rapports et visualisation : Créer des rapports et des tableaux de bord interactifs pour communiquer les résultats de l'analyse aux parties prenantes, en utilisant des outils de visualisation de données tels que Tableau, Power BI ou Qlik. Support à la prise de décision : Fournir des recommandations stratégiques basées sur les insights générés à partir des données, afin d'aider les décideurs à prendre des décisions éclairées. Optimisation des processus : Identifier les opportunités d'optimisation des processus métier grâce à l'analyse des données, et proposer des solutions pour améliorer l'efficacité opérationnelle. Compétences requises : Solide expérience en tant que Business Analyst, avec une expertise avancée en analyse de données et en modélisation. Connaissance approfondie des technologies et des outils Big Data, tels que Hadoop, Spark, Hive, ou HBase. Maîtrise des langages de requêtes et de programmation Big Data, comme SQL, Python, ou R. Capacité à travailler avec de grands ensembles de données et à utiliser des techniques d'analyse statistique et machine learning. Excellentes compétences en communication, avec la capacité à présenter des résultats complexes de manière claire et concise. Aptitude à travailler de manière autonome et en équipe, avec un fort sens de l'organisation et de la gestion du temps.

Nous recherchons pour une entreprise de renommée internationale spécialisée dans le secteur de l'énergie, Un Ingénieur DIGITAL H/F en freelance sur Lyon. 2 jours de Télétravail/3 jours sur site Objectif : Déployer et maintenir les outils digitaux et être force de proposition sur la mise en place de nouvelles technologies de type Big Data, BI et IA Vous serez en charge de : Assurer le déploiement de BI (antares, tableau) Participer aux Kaizens Proposer des solutions Déployer et maintenir les logiciels fournisseurs de production (telsar, konax, liot box, diss) Etre force de proposition sur le déploiement de nouvelles technologies IA/BI Former et animer les key users Assurer la cohérence de la MAP et outils AMT

Architecte big data HDP ou CDP on premise Au sein de l’équipe socle BigData, en lien avec le product owner socle et l’architecte déjà présent, le profil prend un rôle d’architecte / expert sur le socle BigData : • Porter des sujets d’architecture pour intégrer le Cloudera Data Platform • Contribuer à l’industrialisation de notre plateforme Big Data (déploiement des composants, supervision, sécurité, etc…), • Rédiger des modes opératoires et des documentations techniques pour faciliter la compréhension et la montée en compétence de l’équipe, • Qualifier et chalenger les architectures applicatives proposer par les équipes projets • Identifier les faiblesses des environnements et proposer des solutions pour optimiser et améliorer la robustesse de la plateforme , • Apporter de l’expertise sur les incidents et être force de proposition sur les nouveaux usages (APIsation, PRA/PCI, etc…), • Si le profil a une fibre chef de projet / scrum master, il pourra prendre en charge une partie de l’animation de l’équip. Ces activités nécessitent une connaissance technique de l’environnement Hadoop Big Data acquise sur plusieurs architectures Big Data déployées en production, le sens du service et une forte autonomie. Une bonne vision d’ensemble sera nécessaire : sécurité, exploitation, etc… ü Livrables de la prestation : • Etudes d’architecture • POC : Code source commenté / Tests • Industrialisation de composant du socle • Documentations diverses ü Compétences techniques requises : • Maitrise d’une solution HDP ou CDP on premise • Cloudera Manager, Kerberos, Ranger • Kafka • Spark, Zeppelin • HDFS, Hive, Hbase • Oozie • Yarn • Jenkins • Docker L’ensemble de ces activités nécessitent une très bonne connaissance des composants Hadoop. Une expérience de 3 à 5 ans sur un poste d’architecte Big Data nous semble nécessaire pour bien appréhender ses activités. Ces activités nécessitent une forte autonomie, un mindset d’architecture et d’administration de plateforme Big Data, de la curiosité et une appétence pour la mise en place de solutions techniques. Un profil ayant une appétence pour l'animation d'équipe serait idéal. Une expérience réalisée sur un cluster sécurisé et « kerberisé » serait un plus, tout comme une expérience de déploiement de cluster à la demande.