Trouvez votre prochaine mission ou futur job IT.

Nous recherchons pour l’un de nos clients un Data Engineer AWS. Contexte de la mission : Au sein de l'équipe chargée de développer des outils internes d’une entité, constituée de 10 personnes : Développeurs back/frond end et Ingénieurs Data, le Data Engineer AWS est en charge de mener à bien un besoin clé du Groupe autour du sujet Zéro Carbone. Affecté à l'équipe métier, nous travaillons en mode Scrum en collaboration avec un autre Data Engineer et un PO pour réaliser les tâches et mener à bien le projet à terme. Missions : - Créer des fonctions AWS Lambda et pour consommer des APIs provenant de l'extérieur (données Gas/Power) et alimenter nos buckets S3 dédiés. - Développer des jobs AWS Batch pour alimenter nos buckets S3 avec des données pré-calculées de l'intensité Carbon du Groupe et de ses clients. - Mettre en place des dashboards sur Quicksight pour visualiser les résultats. - Développer une API Flask et exposer les calculs via Swagger. - Exploration des données via AWS Athena. - Mise en place de Jupyter Notebooks pour exposer et valider nos premiers résultats de calculs aux métiers. - Scheduler des jobs via CloudWatch et StepFunctions. - Archiver l'ensemble du code dans Git et mettre en place un déploiement automatique via Azure Devops - Mise en place de WebApps sur Azure pour héberger nos API Flask. - Collaborer avec nos clients pour présenter nos calculs et les accompagner. Environnement technique : Spark, Python, Jupyter/ Pytest, Flask, Swagger, AWS Lambda/ Athena/ CloudWatch/ QuickSight/ Batch / S3/ Partionning/ Bucketing, Azure Devops/ Functions/ AppService/ Web Apps.

Le client a lancé un programme de mise en place d'un nouveau dispositif de management de la liquidité permettant de satisfaire les nouvelles contraintes réglementaires et de répondre aux besoins internes de pilotage. Un des projets SI en support de ce programme a pour objectif la mise en place d'une base de synthèse transversale au Groupe, contenant les indicateurs de pilotage et assurant des restitutions sous diverses formes. Le Bénéficiaire souhaite mettre en œuvre les cadrages/développements/les tests unitaires/l'homologation technique sur des composants applicatifs dans les plannings et délais demandés. Les technologies utilisées seront Java J2EE/PL-SQL/Spark/Nifi/Oozie/Openshift. Ces actions doivent être effectuées dans le cadre des normes du projet. Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Conception et développement. Dans ce cadre la prestation consiste à contribuer à/au(x) : Maintien de l'environnement legacy et contribution au projet de migration de l'application vers le Big Data. - Mise en place d'une Plateforme (On premise + Cloude public) - Challenge des choix architecturaux - Audit du codes existants et solutions de factorisation du code - contribution à la validation des futurs développement - Développements, tests unitaires et homologation technique sur des composants applicatifs dans les plannings et délais demandés. Etre effectuée dans le cadre des normes du projet. - assistance sur les développements produits jusqu'à la mise en production. - Support de production

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance .

Missions : Analyser de grands ensembles de données pour identifier les motifs, tendances et insights pertinents pour le département respectif de la chaîne d'approvisionnement. Développer des modèles prédictifs et des algorithmes d'apprentissage automatique pour optimiser les processus liés à la logistique et le transport. Développer des stratégies d'optimisation pour tirer parti des différents insights et fournir des recommandations éclairées à l'entreprise. Collaborer avec des équipes pluridisciplinaires comprenant la direction de la chaîne d'approvisionnement, l'ingénierie et le développement de produits pour aligner les efforts de données et d'IA avec les objectifs commerciaux. Concevoir et mettre en œuvre des outils de surveillance des modèles pour suivre les performances des modèles et mesurer l'efficacité des stratégies de chaîne d'approvisionnement. Évaluer continuellement et améliorer les modèles et méthodologies existants pour améliorer la précision et l'efficacité. Communiquer les résultats et les recommandations aux parties prenantes grâce à des présentations et des rapports clairs et concis. Rester informé des tendances de l'industrie et des technologies émergentes en science des données et gestion de la chaîne d'approvisionnement. Compétence : Maîtrise de l'analyse statistique, des techniques d'apprentissage automatique et des algorithmes d'optimisation. Maîtrise des systèmes de base de données et des langages de requête (par exemple, SQL) pour l'extraction et la manipulation de données Expérience avec des langages de programmation tels que Python, Spark, TensorFlow et PyTorch pour l'analyse et la modélisation de données. Expérience avec des bibliothèques de manipulation et de visualisation de données telles que pandas, NumPy, Matplotlib ou ggplot2.

En tant que DevOps vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vos activités principales seront : Conception, mise en place (scripts versionnés dans GIT, paramétrage, TDD et tests d'intégration) et livraison en production des applications dans les règles de l'art - Contribution aux Agile de l'entité dans le respect du framework Scrum (Daily meeting, Review, Rétrospective, Sprint Planning), - Maintien de la documentation technique et fonctionnelle - L'amélioration continue des processus et bonnes pratiques de développement (au sein de l'entité, mais aussi des entités du Socle BigData) - Support de production

Chers consultants, Nous sommes à la recherche d'un Ingénieur Data - Développeur JAVA / DevOps Senior pour rejoindre notre client, une banque leader à Paris. Missions La prestation aura lieu au sein de la banque exerce une responsabilité mondiale sur le Système d’Information contribuant à la réalisation des objectifs des métiers de la banque Commerciale, du Financement et du Trade. Dans ce contexte, la prestation Data Engineer (Développeur Java/DevOps) aura pour objectifs : • Comprendre les besoins clients dans le but de définir les solutions les plus adaptées • Assurer le développement des nouvelles fonctionnalités liées l’intégration, l’exposition et l’exploitation des Données • Définir et organiser les contrôles nécessaires à la mise en qualité de ces Données • Développer en Java/Spark/ des traitements de transformation et de production de données • Développement d’un moteur de règles • Être garant de la qualité du produit sur les aspects code, documentation, testabilité et performance • Designer des chaines optimisées CI/CD en collaboration avec les équipes DEVOPS • Participer à l'amélioration continue et à la revue de code

💡 Contexte /Objectifs : Dans le cadre d'un projet au sein d'un client grand compte, nous sommes à la recherche d'un Tech Lead Big Data. Périmètre fonctionnel : banque d'investissement Les principales tâches de la missions sont les suivantes :  Développement, Clean code,  L'intégration continue,  La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing)  Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données  L'assistance à la conception technique du produit  Diverses assistances techniques (sujets techniques complexes sur le produit, etc...)  La revue de code  L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique  L'analyse de l'impact de la conception du produit sur l'architecture technique du SI  L'architecture technique aux choix d'implémentation dans le SI  La maintenabilité technique du produit  La stratégie de développement et de tests selon critères pré-définis Autres :  Support applicatif via le monitoring et résolution associée  DevOps pour les parties IAAS et CD.  Environnement anglophone

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

En tant que DevOps vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vos activités principales seront : Conception, mise en place (scripts versionnés dans GIT, paramétrage, TDD et tests d'intégration) et livraison en production des applications dans les règles de l'art - Contribution aux Agile de l'entité dans le respect du framework Scrum (Daily meeting, Review, Rétrospective, Sprint Planning), - Maintien de la documentation technique et fonctionnelle - L'amélioration continue des processus et bonnes pratiques de développement (au sein de l'entité, mais aussi des entités du Socle BigData) - Support de production

Orienté Big Data et ayant des compétences dans les domaines listés ci-joint : Kafka, Spark, Hbase, Hive, Hadoop, Jenkins, Ansible, Github, Scala, Python, Linux, Kube, Linux. Objectifs et livrables L’expertise technique sur le Datalake (plateforme Big Data) consistera à : · Assurer le maintien en conditions opérationnelles de la plateforme Datalake : gestion des incidents et des demandes effectuées par les projets ou les utilisateurs finaux · Contribuer à l’implémentation/automatisation des solutions · Effectuer les actions de mises en production · Contribuer à l’amélioration continue des outils d’exploitation · Communication auprès des utilisateurs finaux Le consultant devra fournir les livrables suivants : · Récapitulatif mensuel des tickets traités (incidents, demandes de travaux) · Statut bi-mensuel sur l’avancée des projets sur lesquels il sera contributeur

L'entité IT est composée de 3 Feature Team, 2 en charge du backend / processing de données, la dernière en charge de toutes les interfaces (UI) et couches de traitement API. Dans le cadre de la modernisation de son backend, le socle du processing de données est ré-écrit sur une technologie BigData sur Cloud Interne, ce qui permet d'élargir l'offre de services proposée aux utilisateurs. Le Bénéficiaire souhaite mettre en œuvre la refonte de son Back-end autour des technologies BigData en intégrant les principes Digitaux (Architectures SOA, Web developpement In House, Frameworks internes).Le Bénéficiaire souhaite mettre en œuvre les évolutions de son socle technique. Dans ce cadre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : · Développement, Clean code, · L'intégration continue, · La définition des solutions dans l'environnement applicatif (Cloud Platform / Spark Data processing) · Mise en place et suivi des développements en production du socle de fonctionnalités Processing / preparation de données · L'assistance à la conception technique du produit · Diverses assistances techniques (sujets techniques complexes sur le produit, etc...) · La revue de code · L'intégration cohérente du produit dans le système d'information en synchronisation avec l'architecture technique · L'analyse de l'impact de la conception du produit sur l'architecture technique du SI · L'architure technique aux choix d'implémentation dans le SI · La maintenabilité technique du produit · La stratégie de développement et de tests selon critères pré-définis Autres : · Support applicatif via le monitoring et résolution associée · DevOps pour les parties IAAS et CD. · Environnement anglophone

Au sein d'une équipe d'expertise sur le volet Ops & Architecture vous intégrez la team en tant qu'architecte Cloud GCP & DevOps Big Data. Vos missions sur ce volet : Administration de la plateforme Hadoop présente Développer et continuer la migration vers GCP sur certaines applications Excellente maîtrise de Kubernetes attendues Connaissance complète de l'environnement Big Data et de la culture DevOps (Hadoop, Kafka, Elastic, Ansible, Kubernetes...) Endosser le rôle de référent technique sur le sujet Big Data

Espace-Freelance, réseau de consultants indépendants, recherche pour l’un de ses clients directs : un Ingénieur de production (H/F) – ILE DE FRANCE Mission à pourvoir en régie sur l’Ie de France Présence sur site : 3 jours / semaine Compétences obligatoires : ANGLAIS COURANT ; Linux / Redhat ; Apache Tomcat ; Jboss Votre mission : - Accompagnement d’équipes délocalisées pour remédier à l’obsolescence des serveurs, bases de données et briques techniques - Etablissement de plannings de remédiation et suivi - Remontée des alertes et points de blocage REF : EFP/INGPMDQ/ODVB Plus d’offres sur :

Nous recherchons un Ingénieur Big Data Compétences techniques: Hadoop Hive - Confirmé - Impératif Kubernetes - Junior - Important Description détaillée: Il s’agit de participer à la migration de données hébergées sur une plateforme obsolète Hortonworks vers la solution cible. La mission comprend 3 activités principales : - Gestion de la plateforme actuelle Hortonworks 2.6 (run) - Construction de la plateforme cible sur openshift (build) - Préparation à la migration depuis Hortonworks vers openshift (build) Un membre de l’équipe participera également à ces mêmes activités Savoir-faire : - Maitrise de Kafka et Spark - Connaissance de la plateforme Hortonworks et du concept de Big Data - La connaissance d’openshift est un plus - Automatisation (python, shell, SQL, ansible) - Processus ITIL