Trouvez votre prochaine offre d’emploi ou de mission freelance Cloudera

Les missions sont : Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Contexte Au sein d’une direction des systèmes d’information nationaux et européens d'un acteur majeur du secteur banco-financier, le service en charge des plateformes data conçoit, maintient et fait évoluer les systèmes d’information au service d’activités critiques telles que la politique monétaire, les opérations de marché, la gestion des risques, la conformité et la stabilité financière. Vous interviendrez dans un DataLab rattaché aux applications de marché, au cœur des usages data des équipes métiers (marchés, risques, conformité). Objectifs de la mission Vous interviendrez principalement sur : La fin de réalisation et la maintenance évolutive d’un laboratoire data existant L’enrichissement des cas d’usage métiers liés aux opérations de marché, aux risques et à la politique monétaire Les travaux de cadrage et de structuration d’un gisement de données, en lien avec les besoins métiers Périmètre fonctionnel et technique Sources de données Flux issus de systèmes Front, Back et Décisionnels Marché Plateformes de trading et systèmes décisionnels associés Plateforme Data Cloudera Hive Environnements Python et R SAS Viya Outils de restitution et d’analyse Power BI SAS Viya Missions principales Data Engineering & DataLab Développement et maintenance de traitements de données sous Cloudera / Hive Conception et optimisation de requêtes Hive Manipulation, préparation et transformation de données volumineuses Développement de scripts et notebooks Python pour l’analyse, l’exploration et l’enrichissement des données Contribution à la structuration et à l’alimentation des gisements de données Support aux usages métiers Accompagnement des utilisateurs métiers dans l’exploitation des données Contribution aux laboratoires analytiques (Python / R / SAS Viya) Participation à la mise à disposition de jeux de données exploitables pour des analyses prospectives Appui à la création et à l’évolution des cas d’usage data liés aux opérations de marché, aux risques et à la politique monétaire Maintenance et évolution Participation à la maintenance corrective et évolutive du DataLab Prise en compte des nouveaux besoins utilisateurs Contribution à la qualité, à la fiabilité et à la traçabilité des données Documentation des traitements et des jeux de données

Il s’agit d’un poste d’ingénierie d’exploitation Data senior , orienté support N2/N3, performance et fiabilité , et non d’un rôle projet, Data Engineering ou DevOps cloud généraliste. VOS MISSION PRINCIPALES Le poste est fortement hands-on , centré sur l’exploitation avancée de la plateforme Data : Assurer le support N2/N3 d’une plateforme Big Data Cloudera en production Diagnostiquer et résoudre des incidents critiques complexes (performance, disponibilité, latence) Garantir la stabilité et la performance des clusters Hadoop / Spark Administrer et optimiser Kafka : performance, gestion des offsets, scalabilité, haute disponibilité, sécurité Superviser et optimiser les composants annexes (dont Elasticsearch ) Réaliser le tuning, le dimensionnement et l’optimisation des ressources Automatiser les opérations récurrentes : scripts Shell et Python, industrialisation via Ansible, pipelines CI/CD orientés exploitation Participer à l’ évolution de l’architecture Data en lien avec les architectes Documenter, transmettre et accompagner les équipes N1 / N2 Être point de contact technique avec l’ éditeur Cloudera en cas d’escalade

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. ➕ Les + de la mission Environnement technique structuré Enjeux Data à forte valeur métier Collaboration avec des équipes techniques expérimentées Mission longue durée 📍 Localisation Vannes / Nantes (1 jour par semaine sur site à Vannes requis) Mission longue

Mission : Le Tech Lead Big Data est le référent technique sur les plateformes Big Data on-premise . Il conçoit, développe et optimise des solutions data basées sur Spark / Scala au sein d’environnements Hadoop / Cloudera , tout en accompagnant les équipes de développement. Responsabilités : Être le lead technique Big Data de l’équipe Concevoir et faire évoluer des pipelines de données distribués Développer des traitements Big Data en Scala / Spark Garantir la performance, la fiabilité et la qualité des données Réaliser des revues de code et accompagner les développeurs Collaborer avec les équipes infra et production Environnement technique : Langages : Scala, SQL Framework : Apache Spark Écosystème : Hadoop (HDFS, YARN, Hive, HBase, Impala) Distribution : Cloudera Architecture : On-premise Outils : Git, CI/CD, ordonnanceur (Airflow / Oozie ou équivalent)

Assurer l’ administration , l’ exploitation et l’ optimisation de la plateforme Data Lake du client. Garantir la supervision , la disponibilité , la performance et la sécurisation des environnements. Gérer les opérations courantes : monitoring, capacity planning, maintenance, correctifs, évolutions. Participer au support N2/N3 , analyse et résolution d’incidents, gestion des problèmes. Mettre en place des automatisations via AWX/Ansible, scripts Python & Shell. Contribuer au maintien en condition opérationnelle des services Airflow et des composants de la stack Cloudera. Participer aux changements , mises en production, et aux tâches d’amélioration continue. Assurer la gestion et la maintenance des accès via la solution IDM / FreeIPA . Collaborer avec les équipes DevOps, Data et Sécurité pour garantir la cohérence globale de la plateforme

Contexte de la mission: Dans le cadre d’un programme de modernisation et d’optimisation d’une plateforme Big Data au sein d’un grand groupe du secteur bancaire international, nous recherchons un Expert CDP (Cloudera Data Platform) disposant d’une solide expérience sur HDP (Hortonworks Data Platform). Le consultant interviendra sur la gestion et l’amélioration continue des environnements Big Data, l’automatisation des processus via Ansible, ainsi que la coordination d’équipes techniques multi-pays. Dans le cadre de cette mission, le TJM maximum est fixé à 600 €, en cohérence avec le périmètre, le niveau d’expertise attendu et les contraintes budgétaires du client. Responsabilités principales: Assurer l’amélioration continue des services sur CDP (optimisation, tuning, configuration). Gérer et résoudre les incidents de production sur les environnements HDP et CDP. Développer et maintenir les playbooks Ansible pour le déploiement et l’exploitation des clusters. Contribuer à la standardisation et à l’automatisation des processus d’exploitation. Participer à la documentation technique et à la montée en compétence des équipes locales et offshore. Compétences techniques recherchées: CDP / HDP : expertise sur la gestion des clusters, sécurité, monitoring, optimisation. Ansible / Ansible Tower : automatisation du déploiement et des opérations. CI/CD : intégration et déploiement continus dans des environnements complexes. Linux : très bonne maîtrise des environnements et scripts système. Elastic Stack et Dynatrace : supervision et suivi de la performance. LDAP / Kerberos : gestion des identités et des accès sécurisés. Expérience internationale appréciée (collaboration France / Inde). Anglais professionnel requis. Livrables attendus: Documentation technique actualisée des environnements Big Data. Playbooks Ansible fonctionnels et industrialisés. Rapports d’optimisation et recommandations d’évolution.

Le service réalise le développement de l'ensemble des services BIGDATA , et garantit : - L’exploitabilité des présentations mises en œuvre - L'expertise des ensembles applicatifs - Le planning global de production - Le support au pilotage. Dans ce cadre, la Prestation consiste à contribuer à/au(x) : - L’automatisation basée sur Cloudera CDP 7.1 à base d’Ansible et Terraform dans un contexte hybride cloud interne et serveurs physiques - Maintien de la production - La gestion des nouvelles demandes de nos bénéficiaires - Livraisons des projets qui apportent de la valeur à nos bénéficiaires - L’automatisation de l'administration et des demandes (self-service, API, scripts) - La mise en place des tests de nouveaux composants Environnement technique :  Ansible  Apache NiFi  Hadoop (Big Data)  Kafka  Scripting (GuitHub, Ansible, AWX, shell, vba)

La mission proposée sera d’accompagner les métiers dans la cadre du projet de sortie du progiciel SAS vers le progiciel DATAIKU. Dans ce cadre, les activités principales sont : • Accompagner les utilisateurs dans la prise en main de Dataiku et le déploiement des solutions pour leurs cas d’usage. Cela passe par la compréhension de leurs besoins et contraintes opérationnelles, l’étude des solutions potentielles basées sur le progiciel, et l’aide et support à la réalisation. • Appliquer et diffuser les bonnes pratiques Dataiku ainsi que du processus MLOPS. • Assurer le Support et RUN post déploiement : surveillance, maintenance et optimisation des traitements DATAIKU. Dans le cadre de cette mission, il y a de fortes exigences sur : • Le sens de service. • La pédagogie pour accompagner efficacement les utilisateurs SAS. • L’échange et la communication avec le reste de l’équipe SOD/IA Factory ainsi que les différents interlocuteurs sur ce sujet. A savoir, l’architecte SOD/SAS, l’architecte technique SOD, les architectes DATA ainsi que les interlocuteurs CAGIP. Le critère d’expérience doit s’appliquer à tous ces éléments pour garantir l’adéquation du profil à la demande. Expertise DATAIKU DSS avec certifications : • Core Designer • Advanced Designer • ML Practitioner • MLOps Practitioner • Developer • Generative AI Practitioner

Merci de bien lire l'annonce ci dessous et vérifier que vous correspondez au besoin. Nous recherchons exclusivement des candidats basés à Vannes ou en Bretagne . Merci de ne pas envoyer de candidature si vous êtes situés hors de cette zone géographique. En tant que Data Engineer , votre mission principale sera de produire des solutions techniques robustes et performantes pour exploiter au mieux les données du client. Cependant, votre rôle ne se limitera pas à l’aspect technique : vous serez également un partenaire stratégique des métiers , capable d’identifier leurs besoins, de comprendre leurs enjeux et de proposer des solutions techniques adaptées. Vos responsabilités : Concevoir, développer et maintenir des pipelines de données performants et évolutifs Participer à la définition de l'architecture Data Développer les solutions de collecte et de stockage des données Mettre en place les tests unitaires et automatisés Garantir la qualité, la sécurité et l’intégrité des données tout au long de leur cycle de vie. Implémenter des solutions qui optimisent la gestion des données pour les équipes métier. Collaborer étroitement avec les équipes métier pour comprendre leurs objectifs stratégiques. Faciliter la communication entre les équipes techniques et les non-techniciens Vous serez à la croisée des chemins entre technique et métier , jouant un rôle clé pour transformer les données en un véritable levier de décision. Votre capacité à allier expertise technique et vision stratégique fera de vous un acteur indispensable pour relever les défis de l’entreprise.

Contexte Dans le cadre du développement et de la maintenance d’une plateforme Big Data stratégique , notre client grand compte renforce ses équipes techniques et recherche un(e) Administrateur Hadoop / Data Engineer confirmé(e) . Vous interviendrez au sein d’une équipe experte, sur une infrastructure Big Data critique, afin d’assurer sa disponibilité, son évolution et sa performance , dans un environnement à forts enjeux métiers et techniques. Missions En tant qu’ Expert Hadoop / Data Engineering , vos missions principales seront : Administrer, maintenir et optimiser les clusters Hadoop (Cloudera) Garantir la disponibilité, la performance et la sécurité de la plateforme Big Data Participer aux task forces techniques pour résoudre des incidents complexes Réaliser les montées de versions majeures des composants Hadoop Automatiser les déploiements, patching et configurations via Ansible et Terraform Gérer les incidents, changements et tickets d’infrastructure Contribuer aux évolutions du socle technique et au déploiement de nouvelles fonctionnalités Rédiger et maintenir la documentation technique Travailler en lien étroit avec les équipes internes et l’éditeur Cloudera Participer au suivi du planning global de production

Compétences techniques requises : Expertise confirmée sur Snowflake, Snowpark et Scala Expérience significative en migration de données Hadoop vers Snowflake Maîtrise du framework DBT est un plus Bonne connaissance de Spark/Scala (notamment pour la migration) Expérience sur le Cloud public Azure Maîtrise des principes de conception logicielle : design patterns, clean code, testing, refactoring Connaissance de l'écosystème Hadoop Cloudera Développement dans un environnement CI/CD Maîtrise de GIT Travail en agilité (Scrum) Compétences non techniques requises Capacité à résoudre des problèmes complexes Aptitude à la communication et à la vulgarisation technique Expérience dans un cadre international Collaboration interdisciplinaire Respect des normes de développement

Data Engineer Nantes - Kafka - DBT - Python - Trino L'objectif de la mission est de mettre en place des nouveaux produits accompagnant la transition technologique de la plateforme et des pratiques associées tout en accompagnant la montée en compétence de l'équipe sur les outils du socle, notamment DBT, Kafka, KafkaCOnnect, Trino - Concevoir, implémenter et documenter des pipelines d'ingestion et de transformation (DBT, Kafka Connect, Trino). - Mettre en place des modèles de données optimisés et cohérents avec les standards du socle. - Participer à la migration et l'optimisation des traitements depuis Cloudera/Spark vers les nouvelles technologies (Kafka / Trino / Iceberg). - Intégrer les développements dans la chaîne CI/CD, en lien avec les pratiques de déploiement du socle. Participer à la gestion des habilitations et du contrôle des accès, en cohérence avec les principes de sécurité et conformité RGPD. - Contribuer à la mise en place d'outils d'observabilité (logs, monitoring, audit des accès, performance des jobs). - Accompagner les membres de l'équipe dans la prise en main des outils DBT et Kafka. - Partager les bonnes pratiques de développement, de testing et de gestion du code (revues, documentation, mentoring). - Être force de proposition sur l'amélioration continue du socle et des workflows de développement. - Travailler en étroite collaboration avec le Tech Lead, les PO et les Data Stewards pour assurer la cohérence des modèles et des processus. - Participer activement aux rituels agiles (daily, sprint planning, review, rétrospective). Les activités confiées supposent la maîtrise de : - Kafka - DBT - Python - Trino

Site : Vannes, 3 jours sur site par semaine Date de démarrage : asap Nationalité et langues parlées : français Durée mission : jusqu'au 31/12/2025 Mission : intervention pour le compte du Chapitre Data à Vannes Nb années d'expérience : 5 à 7 ans Profil : Data Engineer confirmé Compétences techniques - Langage : Spark - spark streaming et batch (requis), Kafka (apprécié) java (apprécié) shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Compétences techniques souhaitées – appréciées BDD Teradata, xDI, SQL Data viz : Microstrategy