Trouvez votre prochaine offre d’emploi ou de mission freelance Hadoop

Dans le cadre du renforcement et de l'industrialisation de son socle Big Data, un grand acteur du secteur bancaire recherche un Ingénieur DevOps Big Data / Hadoop (H/F) pour accompagner la fiabilisation, l'automatisation et la mise en production de ses plateformes data Vous interviendrez au sein d'équipes IT Data en charge des datalakes Hadoop, dans un contexte à forts enjeux de performance, sécurité et résilience, sur des environnements hybrides (On-Premise et Cloud public) Missions - Concevoir, valider et optimiser les chaînes CI/CD adaptées aux environnements Big Data - Industrialiser et automatiser les déploiements des plateformes Hadoop / Datalake - Mettre en place et renforcer les pipelines d'intégration et de déploiement continus - Sécuriser et standardiser les processus d'exploitation (DevSecOps) - Définir et déployer les mécanismes d'observabilité : supervision, logs, métriques et alerting - Automatiser les infrastructures via des outils de scripting et d'Infrastructure as Code - Produire la documentation opérationnelle (runbooks, procédures, dossiers d'exploitation) - Accompagner la mise en production et la transition vers le RUN

Contexte Dans le cadre du développement et de la maintenance d’une plateforme Big Data stratégique , notre client grand compte renforce ses équipes techniques et recherche un(e) Administrateur Hadoop / Data Engineer confirmé(e) . Vous interviendrez au sein d’une équipe experte, sur une infrastructure Big Data critique, afin d’assurer sa disponibilité, son évolution et sa performance , dans un environnement à forts enjeux métiers et techniques. Missions En tant qu’ Expert Hadoop / Data Engineering , vos missions principales seront : Administrer, maintenir et optimiser les clusters Hadoop (Cloudera) Garantir la disponibilité, la performance et la sécurité de la plateforme Big Data Participer aux task forces techniques pour résoudre des incidents complexes Réaliser les montées de versions majeures des composants Hadoop Automatiser les déploiements, patching et configurations via Ansible et Terraform Gérer les incidents, changements et tickets d’infrastructure Contribuer aux évolutions du socle technique et au déploiement de nouvelles fonctionnalités Rédiger et maintenir la documentation technique Travailler en lien étroit avec les équipes internes et l’éditeur Cloudera Participer au suivi du planning global de production

Dans le cadre d’un programme de transformation data, nous recherchons un QA Big Data pour garantir la qualité, la fiabilité et la performance des pipelines et produits data. Vous analyserez les architectures et flux existants, identifierez les risques qualité et proposerez des stratégies de test adaptées aux environnements Big Data et analytiques. Vous concevrez et mettrez en œuvre des tests automatisés sur les traitements batch et streaming (qualité des données, complétude, fraîcheur, cohérence, non-régression), en utilisant des frameworks et outils adaptés (Great Expectations, dbt tests, Python, SQL ou équivalent). Vous serez responsable de la définition des critères d’acceptance data, de la mise en place de contrôles qualité et de la surveillance des anomalies en production. Vous travaillerez étroitement avec les équipes Data Engineering, Data Science et DevOps pour intégrer la qualité dans les pipelines CI/CD et les processus de delivery. Vous participerez également à l’analyse des incidents data, à l’amélioration continue des pratiques de test et à la documentation des standards qualité au sein de la plateforme.

Dans le cadre d’un programme de transformation data, nous recherchons un Data Engineer Big Data pour concevoir et industrialiser des plateformes de traitement de données à grande échelle. Vous analyserez des architectures existantes, proposerez des trajectoires d’évolution (modernisation des pipelines, optimisation des traitements distribués, passage vers des architectures plus scalables et temps réel) et guiderez leur mise en œuvre avec Spark, Kafka et les écosystèmes Big Data. Vous serez responsable de la refactorisation et de l’optimisation des pipelines de données, de l’amélioration des performances et de l’intégration de mécanismes de fiabilité et d’observabilité des flux. Vous travaillerez main dans la main avec les équipes Cloud et DevOps pour adapter les traitements aux pipelines CI/CD et aux contraintes d’exploitation. Vous aurez également un rôle clé dans la transmission de connaissances, l’animation d’ateliers techniques et l’accompagnement des équipes client sur les meilleures pratiques de data engineering et d’industrialisation. Votre mission combinera expertise technique, rigueur méthodologique et capacité à structurer des solutions pérennes.

Les missions sont : Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Missions principales: Administration et exploitation d’environnements Unix / Linux en production Supervision, maintien en conditions opérationnelles et optimisation des plateformes Gestion des incidents complexes (N2 / N3) et participation aux astreintes Automatisation des tâches d’exploitation (scripting shell, outils d’admin) Collaboration avec les équipes applicatives, DevOps et sécurité Participation aux projets d’évolution de l’infrastructure Contribution à la définition et à l’application des standards d’exploitation sur des environnements critiques Intervention sur des plateformes à forts enjeux de disponibilité, de performance et de fiabilité

Pour le besoin de mon client , je suis à la recherche d'un TechLead Data Engineer avec compétence sur la stack technique Spark/PySpark, Kafka, Hadoop, Python Langues : français, l'anglais est un plus Date de démarrage : ASAP .... . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... .

Dans le cadre d'un dispositif Data Factory , nous recherchons un(e) Tech Lead Data Ingénieur(e) expérimenté pour intervenir sur une plateforme Big Data au cœur d’un projet critique en cours de déploiement . Vous jouerez un rôle clé dans la montée en puissance de la plateforme et dans la montée en compétences du client sur la stack data, dans un contexte présentant plusieurs points de fragilité nécessitant robustesse, leadership technique et sens des responsabilités . Missions : Réaliser les développements permettant d’ accélérer la mise à disposition des données sur la plateforme Big Data, dans le cadre d’un projet critique. Encadrer techniquement l’équipe de développement : - Suivi technique - Garantie des bonnes pratiques de développement - Qualité, performance et robustesse des livrables Faire monter en compétences l’équipe technique et le client sur la stack data (accompagnement, transmission, pédagogie). Environnement & conditions : Langue française obligatoire, anglaise apprécié Localisation : Hauts-de-France, proximité Lille Présence : 3 jours par semaine sur site Démarrage : ASAP

Nous recherchons un Data Engineer pour intervenir sur la fabrication de cas d’usages Data et le développement des produits associés. L’environnement est transverse, multi-sites, avec des enjeux forts de cohérence, de qualité et d’industrialisation des solutions Data à l’échelle de l’entreprise, en lien avec les équipes métiers et techniques. ➕ Les + de la mission Environnement technique structuré Enjeux Data à forte valeur métier Collaboration avec des équipes techniques expérimentées Mission longue durée 📍 Localisation Vannes / Nantes (1 jour par semaine sur site à Vannes requis) Mission longue

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Au sein du Pôle de notre client de la DSI d’un grand acteur du secteur de l’énergie, ce dernier a en charge l’ensemble des chaînes communicantes, à savoir : • CCMA : chaîne communicante du marché grand public (compteurs communicants) • CCMA : chaîne communicante du marché professionnel (compteurs communicants pour les industriels) • IoT : ensemble de capteurs communicants donnant des informations clés sur le réseau de distribution (exemple : capteur de niveau des réservoirs des groupes électrogènes d’établissements sensibles) • I3C : systèmes de supervision des infrastructures critiques Système d’information permettant de superviser et monitorer la chaîne communicante des compteurs intelligents à travers 4 grandes fonctionnalités : • Monitoring de la chaîne communicante • Télédistribution des logiciels et des paramètres • Gestion des dysfonctionnements du parc • Gestion du référentiel Le Groupe Actifs Réseau et Maintenance du Pôle SI Chaînes Communicantes réalise des études et des produits data innovants sur des sujets tels que la maintenance prédictive, la mobilité électrique et les charges sur le réseau. La durée de la prestation sera de six (6) mois fermes à compter de la date de commande. Elle pourra être reconduite par périodes optionnelles de six (6) mois maximum jusqu’à la fin du marché. Activités principales : • Participation à des ateliers avec des experts métiers pour collecter le besoin et comprendre les données • Conception et développement de traitements de données • Réalisation d’études statistiques • Présentation de résultats sous forme de rapports d’étude ou tableaux de bord • Développement d’outils de visualisation pour faciliter les analyses • Diffusion et vulgarisation des résultats Le consultant sera également attendu sur : • Le lien entre métier et data science • La conception fonctionnelle du besoin métier au sein d’un SI • La préparation et animation d’ateliers utilisateurs • L’appui au pilotage des réalisations et au suivi d’avancement Activités secondaires : • Veille technologique sur les outils du projet • Partage de connaissances et formation aux bonnes pratiques

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Mission : Le Tech Lead Big Data est le référent technique sur les plateformes Big Data on-premise . Il conçoit, développe et optimise des solutions data basées sur Spark / Scala au sein d’environnements Hadoop / Cloudera , tout en accompagnant les équipes de développement. Responsabilités : Être le lead technique Big Data de l’équipe Concevoir et faire évoluer des pipelines de données distribués Développer des traitements Big Data en Scala / Spark Garantir la performance, la fiabilité et la qualité des données Réaliser des revues de code et accompagner les développeurs Collaborer avec les équipes infra et production Environnement technique : Langages : Scala, SQL Framework : Apache Spark Écosystème : Hadoop (HDFS, YARN, Hive, HBase, Impala) Distribution : Cloudera Architecture : On-premise Outils : Git, CI/CD, ordonnanceur (Airflow / Oozie ou équivalent)

En tant que Consultant(e) AMOA Big Data / Data , vous accompagnez la modélisation et à la mise en œuvre des solutions décisionnelles (reporting stratégique, opérationnel, etc.) la mise en œuvre des usages concernant les données des services Solidarités et Droit à l’information. Les solutions à mettre en œuvre le seront sous une architecture technique Hadoop/Hive ; les outils de manipulation des données : Tableau et Alteryx. De plus, vous participez à l’enrichissement des dictionnaires de données sur le périmètre concerné ainsi qu’à la modélisation des datamarts décisionnels répondant aux cas d’usages du projet. Les activités seront menées en méthode dite agile . La durée des sprints est de trois semaines. Le nombre de sprints sera de 9. À ce titre, vous aurez pour rôle : -Accompagnement et interface entre Métier et MOE sur les solutions d’architecture data mises en place -Animer les réunions avec les utilisateurs et l’équipe de développement (une réunion par semaine, de 5 à 10 participants par réunion) -Recueillir et restituer les indicateurs -Tâches attendues pendant un sprint : Analyser les user-stories prises en compte dans les sprints et animer les ateliers métiers associés ; Modélisation fonctionnelle des objets pivots et des datamarts ; Préparer et conduire les recettes -Réalisation d’un mode opératoire, façon Tutoriel, pour que les métiers puissent construire des rapports en autonomie. Cela pourra être sous forme de document de type Powerpoint avec un maximum de 30 slides -Réalisation/automatisation de rapports et d’indicateurs sur demande des métiers -Accompagnement des métiers dans l’utilisation de la solution S.I mise en œuvre -Réalisation de documents sur le fonctionnement de l’outil à destination de la MOA. Les documents seront sous format de type Word. Ils devront être exhaustifs en termes de périmètre de fonctionnalités mise en œuvre.