Trouvez votre prochaine offre d’emploi ou de mission freelance HDFS (Hadoop Distributed File System)

Récupérer les données issues de sources externes • Utiliser la puissance du Datalake • Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels. Mise en œuvre de la chaîne : o d’ingestion de données, o de validation de données, o de croisement de données, o de déversement dans le datalake des données enrichies • Développer dans le respect des règles d’architecture définies • Développer et documenter les user stories avec l’assistance du Product Owner. • Produire les scripts de déploiement • Prioriser les corrections des anomalies • Assister les équipes d’exploitation • Participer à la mise en œuvre de la chaîne de delivery continue • Automatiser les tests fonctionnels Aspects Humains : • Grande capacité à travailler dans une équipe, en mode Scrum / Kanban. • Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail). • Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées.

Skills Méthodes d'inférences statistiques Modélisation et développement d'un framework de mesure de la performance. Expertise approfondie du Machine Learning et en particuliers des statistiques Production de code “robuste” permettant l’industrialisation, le passage à l’échelle et le maintien de la solution IA Maîtrise indispensable de Python et de ses librairies Data Science Maîtrise des outils permettant de gérer les gros volumes de données (stockage HDFS, calcul distribué, …) via Spark. Maîtrise des pratiques de packaging ML et de mise en place des architectures AI avancées. Maîtrise des environnements de développement sur le Cloud (ex : AWS, SageMaker, DataBricks, etc.). Maîtrise des outils de développement : Git, Github, CI/CD, VSCode/Pycharm, Terminal. Maîtrise de l’Anglais indispensable.

Dans le cadre de l'intervention pour le compte du Chapitre Data à Vannes : Le Chapitre Data intervient en transverse au sein de l'entreprise. Il recueille et fabrique les cas d'usages Data des différentes Squads de l'entreprise, sur des domaines métiers différents. Vous serez ainsi amené à travailler pour le compte de différentes Squads avec des interlocuteurs possiblement changeants. Vous serez également amené à échanger avec les autres membres du Chapitre du site de Vannes mais aussi ceux des autres sites France. Attendu : 1 - Contribuer à la Fabrication des Produits des Squads de l'Entreprise dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) 2 - Etre force de proposition et expertise au sein du Chapitre sur les techno manipulées Nous recherchons un Data Engineer expérimenté capable de : - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Au sein du groupe, l’administrateur Hadoop sera responsable de l’intégration et du support technique du Big Data, en dehors des divisions ITIM et SU. Le rôle est centré sur l’exploitation technique des infrastructures Hadoop et le support aux équipes en place. Administration et Exploitation Hadoop : Support de Niveau 1 et occasionnellement Niveau 2 des infrastructures Hadoop. Surveillance, maintenance, et optimisation des clusters Hadoop. Gestion des incidents en collaboration avec d'autres équipes. Développement de Scripts d'Automatisation : Développement et maintenance de scripts d’automatisation en Python et Shell pour réduire les interventions manuelles. Automatisation des tâches récurrentes et des workflows. Support Technique : Assurer le support technique des infrastructures Big Data pour les équipes internes. Intervenir en cas de problème technique lié à l’infrastructure Hadoop. Collaboration avec l’équipe en charge de la gestion des incidents.

L'application de liquidité au groupe, permettant de fournir des indicateurs de pilotage (et réglementaire)et assurant des restitutions sous diverses formes. Le bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering Dans ce cadre la prestation consiste à contribuer à/au(x) : • Maintien de l'environnement legacy et contribution au projet de migration Big Data / Cloud Computing (One Platform) • Audit du code et aux propositions de refactoring afin d'améliorer la qualité de code • La validation des futurs développements • Support Technique et de production • Réduction de la dette technique (Audit de sécurité, mise-à-jour des dépendances / bibliothèques) • Maintien et évolutions des pipelines CI/CD pour les projets socles et pour les projets de nos FT partenaires Environnement Agile.

- Participer à la définition de l'architecture Data - Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en œuvre les tests unitaires et automatisés - Déployer le produit dans les différents environnements - Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Nous cherchons un ingénieur Data confirmé avec au moins 4 ans d'expérience pour un client à Vannes dans la région Bretagne. Les taches principales: Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de les rendre disponibles pour les usages métiers Mettre en œuvre les tests unitaires et automatisés Déployer le produit dans les différents environnements Garantir le bon fonctionnement du produit en production et assurer le suivi, l'assistance et la gestion des incidents Accompagner l’évolution des pratiques de l’équipe dans une logique d’amélioration continue de la qualité du code

Contexte : - Assurer la maintenance du système informatique afin qu'il fonctionne correctement, ainsi que son amélioration ; - Gérer les différents moyens informatiques. Responsabilités : - Configuration et maintien en condition opérationnelle de l'infrastructure Systèmes ; - Installation, configuration et exploitation quotidienne de l'ensemble des serveurs ; - Rôle de chef de projet dans les évolutions d'Infrastructure : étude et intégration des nouveaux services ; - Support Niveau 2 et 3 sur l'infrastructure ; - Gérer les relations avec les prestataires et partenaires ; - Rédaction et mise à jour de la documentation technique et des procédures ; - Veille technologique dans le domaine serveur. Compétences Techniques : - Serveurs : Windows Server 2012R2/2016/2019 - Postes : Windows XP/7/10 - Scripting : PowerShell, VBScript, Batch - Techno : Forêt Active Directory 2012R2, GPO, File Server, DFS, IIS, RDS, Exchange 2016, Hyper-V, ArcServe Backup, Veeam Backup, supervision PRTG - Stockage : NAS, SAN, LUN, technologie RAID - Constructeur : Dell, HP, Fortinet

Dans le cadre de notre développement, nous souhaitons explorer et intégrer des technologies d'Intelligence Artificielle (IA) dans nos processus internes et nos métiers afin d'améliorer nos performances et renforcer notre offre de services. Vous rejoindrez notre équipe pour travailler sur un projet clé : Comment intégrer l'Intelligence Artificielle dans nos processus et notre fonctionnement ? À ce titre, vous aurez pour responsabilités : 1. Analyse des besoins internes : • Réaliser un état des lieux des processus métiers actuels et comprendre les enjeux de nos activités en ingénierie pour identifier les domaines où l'IA peut apporter de la valeur. 2. Recherche et veille technologique : • Identifier les outils et solutions d'IA pertinents pour nos métiers (ex. : apprentissage automatique, traitement du langage naturel, IA pour la modélisation prédictive, etc.) ; • Suivre les dernières tendances et innovations dans le domaine de l'IA appliquée aux secteurs de l'ingénierie. 3. Conception et prototypage : • Proposer des pistes d'intégration de l'IA dans les processus métiers ; • Tester et évaluer des outils d'IA pertinents à travers des prototypes et des POC (Proof of Concept) ; • Collaborer avec nos équipes techniques pour expérimenter des solutions d'IA. 4. Impact et recommandations : • Évaluer les impacts potentiels (gains de temps, productivité, fiabilité) des solutions IA sur nos activités ; • Rédiger un rapport d'analyse avec des recommandations concrètes sur l'intégration de l'IA dans notre structure et proposer une feuille de route pour sa mise en œuvre.

💡 Contexte /Objectifs : Dans ce cadre, la prestation consiste à contribuer à/au(x) : La production et au monitoring de la roadmap d'architecture du Socle Big data sur ses composantes on prem (écosystème autour de la distribution Cloudera Data Platform) et on cloud (Microsoft Azure /Power BI / AWS). La mise en place et aux validations des normes et standards techniques, applicatives & fonctionnelles (portée groupe). La validation de l'architecture des moyens produites par le Socle. Monitoring du bon usage des offres de service du socle par l'échange avec le management d'architecture des entités. Livrables : Les livrables attendus sont : Etudes d'architecture technique autour du big data, particulièrement sur les sujets liés à la mise en place de capacités data sur Microsoft Azure, Hadoop on prem et AWS, ainsi que sur les questions d'intéropérabilité Contribution à la roadmap long terme (PLan de Transformation Stratégique) Assistance aux product owner dans la mise en œuvre des offres service

Proelan recrute pour un de ses clients basé à Sophia Antipolis, un(e) Analyste Programmeur. Dans le cadre de l'évolution du système d'information du client et dans le but d'améliorer la qualité des logiciels, tu seras rattaché(e) à un chef de projet pour mener à bien ta mission. Tes principales missions seront : - Fournir un support fonctionnel à l'équipe pour les développements logiciels (AMOA, Producf Owner de proximité) ; - Maintenir la relation client et traduire ses besoins en spécifications techniques ; - Réaliser les tests manuels des évolutions spécifiées (qualification). Tout cela en conformité avec la Politique de Sécurité du Système d'Information. Compétences et aptitudes souhaitées : - Familier des systèmes d'information distribués - Maîtrise des architectures de service API REST et SOAP - Outils : Git, Maven, Jenkins - Langages et Frameworks : Java J2EE, Spring, JPA, JUnit, JBoss, PostGreSQL (ou autre base relationnelle) - Technologies Back : Spring MVC, REST, SOAP.

En tant que Data Engineer expérimenté ,vous interviendrez : Chez le client, selon le cadre et les objectifs définis : - Participer à la définition de l'architecture Data (en lien avec les architectes et la Squad) - Développer les solutions de collecte et de stockage des données (provenant de multiples sources) afin de le rendre disponibles pour les usages métiers - Mettre en œuvre les tests unitaires et automatisés -Déployer le produit dans les différents environnements -Garantir le bon fonctionnement du produit en production et assurer le suivi / l'assistance / la gestion des incidents - Accompagner l'évolution des pratiques de l'équipe dans une logique d'amélioration continue de la qualité du code Contexte Intervention pour le compte du Chapitre Data à Vannes : Le Chapitre Data intervient en transverse au sein de l'entreprise. Il recueille et fabrique les cas d'usages Data des différentes Squads de l'entreprise, sur des domaines métiers différents. Vous serez ainsi amené à travailler pour le compte de différentes Squads avec des interlocuteurs possiblement changeants. Vous serez également amené à échanger avec les autres membres du Chapitre du site de Vannes mais aussi ceux des autres sites France. Attendu 1 - Contribuer à la Fabrication des Produits des Squads de l'Entreprise dans un environnement Cloudera - en utilisant un framework interne entreprise (sur des activités Big Data) 2- Etre force de proposition et expertise au sein du Chapitre sur les techno manipulées

Profil : Data Engineer Senior ou Tech Lead A l'aise avec le CICD, aguerri aux technologies Java et en solutions conteneurisées (ELK, Kafka, etc ..) Administration des bases de données (Famille) Conception événementielle (Kafka, rabbitMQ, CREM …) Hadoop Java / Spark Nifi Hive Kotlin Principes d'intégration continue SQL Site : Nantes en priorité, possible sur Aix sinon à étendre à d'autres localisations Nature du besoin : remplacement d'un profil senior actuellement en mission Type de projet : (TT possible 2 j / semaine) Service public de l'emploi

L’objectif de la mission est de contribuer à l’industrialisation des processus et traitements big data mis en œuvre dans le cadre de la plateforme mégadonnées de client et d’assurer la maintenance des pipelines d’intégration et de transformation des données à l’EDS Prestation de développements & Ingénierie big data dans le cadre de l’intégration et d’exploration de données dans un contexte big data et du cluster données massives Conception et réalisation/développement d’outils et traitements d’intégration et de standardisation de données massives dans le cadre d’une plateforme Hadoop, Contribution à l’industrialisation d’outils d’exploration des données (restitution des données de type tableaux de bord, projets de recherche thématiques, bibliothèques de code spécifiques, etc.) ; Participation à la standardisation des modèles de données (format FHIR/OMOP) et à la conception d’API appropriés (Webservices FHIR, etc.) ; Spécifications techniques détaillées ; Test unitaire et recette technique ; Documentation de conception, réalisation et d’exploitation. L’objectif de la mission consiste à participer à la mise en place d’outils de pilotage

Notre client bancaire recherche un Data Engineer SQL confirmé (6 à 9 ans) pour rejoindre ses équipes IT. Le projet supporte plusieurs Business Lines, telles que Global Market, CCO, Compliance, et On Boarding, avec des équipes Agile localisées à Paris (80%) et Porto (20%). La mission est centrée sur l'impact de la migration vers Windows 11, incluant des modifications des process techniques, des optimisations, et le support niveau 2. Objectifs de la mission : Le consultant sera intégré dans le chapter « Data & BI Client - Data Engineering », et devra : Assurer la maintenance évolutive des flux de données : SQL : Modélisation, transformation des données, calculs d’indicateurs. Ordonnancement des traitements via Ctrl-M. Gestion des flux de données (fichiers plats, XML, web services). Optimisation SQL. Gérer l'impact de la migration Windows 11 : adaptation des outils, processus et pipelines. Développer et implémenter des corrections et améliorations techniques. Réaliser des tests unitaires et participer aux recettes. Participer au support opérationnel (niveau 2) et à la méthodologie Agile-Kanban (daily meetings, rétrospectives). Contribuer à la rédaction de documentations techniques. Participer à des astreintes techniques.

Nous recherchons un ingénieur data et intégration pour une mission basée à Paris, France. Le profil recherché doit être orienté data ingénieur avec des compétences réparties de manière à ce que la moitié de ses compétences concerne la data et l'autre moitié concerne les aspects intégration/exploitation/puppet. Maintien en condition opérationnelle de l’environnement BIG DATA d'une application Administration de l’environnement DATA Gestion des mises à jour et évolutions d’architecture applicative Assurer une continuité des activités liées au périmètre en palliant l'absence du data ingénieur déjà en place