Trouvez votre prochaine offre d’emploi ou de mission freelance Cloudera

Mission freelance pour un grand acteur des services télécom & IT B2B, au sein de son entité Data & IA (équipe Platform). Lieu : Rennes - 2 jours par semaine sur site, le reste en télétravail. Démarrage : ASAP - Fin : 31/12/2026 (renouvellement possible). TJM : 450 € / jour. Contexte : La plateforme Big Data B2B collecte les données de plus de 180 sources, héberge environ 750 To de données et supporte près d'une centaine de projets Data. L'équipe développe des solutions digitales facilitant l'usage de la plateforme par les équipes métier et techniques (ingestion, exposition, catalogue...). Missions : Recueil des besoins auprès des équipes plateforme et utilisatrices Priorisation des demandes et gestion du backlog Rédaction des User Stories et participation aux tests Collaboration étroite avec les équipes clientes pour définir les orientations produit et valider les priorités Participation ponctuelle à certains développements si nécessaire Contrainte réglementaire : plateforme souveraine : critères d'éligibilité spécifiques communiqués lors de la qualification.

Description de la mission Notre client, un grand assureur, fait tourner en production une plateforme Data / IA conséquente et cherche un expert Linux pour en prendre soin. Votre terrain de jeu : les serveurs Linux de production et les clusters Big Data qui tournent dessus. Au quotidien, vous assurez le support N2 et le MCO, vous installez et configurez les clusters (Cloudera, Kafka, Talend) et vous intégrez les nouvelles briques en respectant les règles de sécurité et d'architecture. Vous serez aussi sollicité(e) comme référent technique par les projets Data / IA, pour les conseiller sur les choix de solutions et garantir que ce qui arrive en production est exploitable. L'environnement est riche : Hadoop, Cloudera CDP, Starburst, Azure Databricks, Terraform, Kerberos, Vault, plusieurs bases de données. Vous n'avez pas besoin de tout maîtriser en arrivant, mais vous ne serez pas dépaysé(e).

Contexte Dans le cadre d'un projet de mise en œuvre d'un socle d'échange de données basé sur la technologie open source Apache Kafka, s'appuyant sur la distribution Confluent, nous recherchons un expert Kafka afin de renforcer l'équipe projet. MISSIONS Pour renforcer l'équipe projet, nous recherchons une expertise technique Kafka dans le cadre de la mise en oeuvre d'un nouveau socle Kafka Confluent. L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données. Les missions porteront sur les différentes phases du projet qui ont été identifiées : Phase 1 - Mise en oeuvre du socle pilote : Cette premiere étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata. Parmis les travaux identifiés à réaliser : - Installation et configuration du cluster Kafka / Confluent. - Définition et mise en œuvre des normes et standards d'exploitation. - Mise en place de l'outillage d'administration et d'exploitation; - Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI ; - Optimisation des performances de la plateforme. - Construction et industrialisation des processus de fabrication et d'intégration des livrables. - Mise en œuvre des workflows d'intégration et de déploiement. - Instalaltion et configuration des connecteurs producteurs et consommateurs Kafka "standard" et "spécifiques Confluent" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote.. Une attention particulière sera portée à l'industrialisation des connecteurs, notamment : - Déclaration des nouveaux producteurs et consommateurs, - Gestion des configurations, - Initialisation et rafrachissement des données consommateurs , - Déploiement automatisé des souscriptions, - Prise en compte évolutions schémas de données par les Topics Kafka, - Automatisation des opérations récurrentes, Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle : - Procédures d'arrêt et de relance ; - Gestion des servitudes techniques ; - Supervision et monitoring ; - Mise en place des tableaux de bord ; - Documentation d'exploitation. - Connecteurs à mettre en œuvre Phase 2 : Extension du socle : Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage. Les principaux cas d'usage envisagés sont : - Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data. - Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka. - Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka. - Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka. - Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka. Profil recherché : Nous recherchons un expert Kafka / Confluent capable de participer à l'ensemble des phases du projet et d'accompagner l'équipe sur les sujets suivants : - Architecture Kafka et Confluent ; - Installation et administration de plateformes Kafka ; - Sécurisation des échanges ; - Performance et tuning ; - Mise en œuvre de connecteurs Kafka Connect ; - Industrialisation et automatisation des déploiements ; - Supervision et exploitation ; - Accompagnement des équipes projet et transfert de compétences. - Rédaction de dossiers d'architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...; L'expert intégrera l'équipe projet pour contribuer à la conception, à la mise en œuvre et à l'industrialisation du futur socle d'échange de données de l'entreprise. Environnement technique - technologique Environnement Socle Kafka : - Distribution Kafka Confluent et Strimzy - Langages de scripting et de developpement : Shell, Python, Json, - Systeme d'exploitation : Linux Redhat Autres environnements techniques: - Base de données : PostgreSQL - Hadoop : Cloudera - Data Streaming : IBM Infosphere CdC - Socle technique infrastructure : Kubernetes, Ansible, Linux RedHat, Vmware - Exploitation: : ordonnanceur IWS, sauvegarde HDPS, supervision Prometheus / Grafana, Competences Techniques Distribution "Kafka Confluent / IBM" : composant du cluster kafka (Broker, Kraft, Cwork) , Scema registry, Connecteurs (JDBC, Debezium PgSQL, HDFS, ...) Distribution Autres : "Kafka Strimzi", connecteurs propriétaires (exemple : "Datastage") ou outillage complémentaire Langages de scripting et de developpement : Shell, Python, Json Infrastructure et Système d'exploitation : Linux, Kubernetes, Ansible Outils connexes : ETL Datastage, Power-BI, SAS, Teradata, PostgreSQL, Data streaming, Hadoop Savoir Faire et savoir-être Capacités rédactionnelles : documentation technique, cahier des charges, communication et compte-rendu Communication et Capacités relationnelles(sens de l'écoute et du dialogue, conduite de réunion, négociation) Autonomie Capacité à travailler en équipe Esprit d'analyse et de synthèse

Dans le cadre du renforcement d'une équipe Data au sein d'un acteur majeur du secteur bancaire et des paiements, nous recherchons un(e) Développeur(se) Big Data disposant d'une expérience confirmée en développement Spark / Scala et/ou Java. Vous interviendrez sur des projets Data à forts enjeux, au sein d'un environnement Big Data, en collaboration avec les équipes fonctionnelles, techniques et les autres développeurs. Vos principales missions seront : Analyser les spécifications fonctionnelles transmises par la maîtrise d'ouvrage ; Identifier, analyser et formaliser les impacts applicatifs ; Rédiger les spécifications techniques ; Concevoir et réaliser les développements en Spark / Scala et/ou Java ; Manipuler et exploiter les données via SQL ; Collaborer avec les autres développeurs de l'équipe ; Réaliser les tests et assurer la livraison des développements ; Assurer le suivi et la correction des anomalies ; Intervenir en support en cas d'incidents ; Collaborer avec les différentes équipes techniques et contribuer à la bonne coordination des sujets.

Vous contribuerez : - A l'installation de cluster - Au monitoring et à l'administration des outils Big Data - A l'administration de cluster - A l'upgrade des distributions et des composants Hadoop - A l'installation des différents composants sur Hadoop - Au support et à la résolution des problèmes N2 et N3 - A la mise en place d'environnements de développement et de test - A la sécurisation des clusters Conception et mise en œuvre des architectures de production pour des solutions techniques spécifiques correspondant au besoin du client Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour de la technologie Design et implémentation de la solution dans les systèmes existants Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning) Alimentation du backlog des Services de production (CI/CD, Continuous Operation, Time2fix,...) en complément des informations collectées auprès des Ingénieurs OPS Mise en oeuvre des bonnes pratiques et intégration continue Installation, configuration et divers paramétrages Pilotage de la mise à niveau de la solution et gestion des impacts

Une expérience forte est attendue sur la partie technique, notamment autour de l'écosystème Cloud. Les missions attendues de l'ingénieur IT OPS : - Missions d'ingénierie de production • Intégration de nouvelles applications dans le cadre de projets métiers • Réalisation des opérations techniques pour mettre en œuvre des projets, évolutions, corrections et interventions sur incidents, en respectant les règles et standards en vigueur • Contribution à la mise à disposition des ressources de production et d'infrastructure • Amélioration de l'exploitation pour réduire le nombre d'incidents et accroitre la performance, la disponibilité et la stabilité des applications • Suivi de la gestion des problèmes, de l'analyse à l'éradication des causes racines • Traitement de l'obsolescence technique • Collaboration étroite avec les chefs de projet pour l'assurance de la production des livrables OPS et le respect des jalons.

Notre client dans le secteur Assurance recherche un/une Expert Talend H/F Description de la mission : 1. Expertise Talend, cœur du poste - Assurer un rôle de référent technique Talend 8. - Accompagner les équipes utilisatrices et apporter du support aux développements Talend. - Analyser et résoudre les anomalies liées aux traitements Talend. - Maîtriser les spécificités des traitements Big Data / Spark. - Participer aux travaux de compatibilité entre Talend, Cloudera CDP et Spark 3. - Maintenir et faire évoluer les projets de référence CORE et HOWTO : variables de contexte, joblets, métadonnées et patterns de développement. - Comprendre et manipuler la structure des projets Talend, notamment les fichiers .item , les composants et leurs attributs. - Contribuer au maintien des composants custom Talend. - Assurer la création et le suivi des Cases Talend lorsque nécessaire. - Diffuser les bonnes pratiques et accompagner les Tech Leads. 2. Contribution au Socle Générique En complément de son rôle Talend, le candidat pourra participer aux activités du Socle Générique : - développement Java / Spring Boot ; - analyse et correction d'anomalies ; - contribution aux évolutions techniques du socle ; Compétences recherchées : Indispensables - Très bonne maîtrise de Talend dans un écosystème Cloudera, idéalement Talend 8 - Expérience significative en développement ETL - Bonne maîtrise de Java - Bonne connaissance de Spark - Capacité d'analyse et de diagnostic sur des traitements Data - Bonne compréhension de l'industrialisation des développements et des chaînes de build Fortement souhaitées - Cloudera / CDP - Hadoop / environnement Big Data - Maven - Git / CI-CD - SQL - Java / Spring Boot - Expérience de migration ou de modernisation de traitements Data Compétences / Qualités indispensables : Talend, Cloudera, ETL, Java, Spark Compétences / Qualités qui seraient un + : - Bonne compréhension de l'industrialisation des développements et des chaînes de build Fortement souhaitées - Cloudera / CDP - Hadoop / environnement Big Data - Maven - Git / CI-CD - SQL - Java / Spring Boot - Expérience de migration ou de modernisation de traitements Data Informations concernant le télétravail : Oui — 2 jours/semaine

Dans le cadre d'un programme stratégique de transformation digitale et de modernisation de son système d'information, notre client, un grand groupe international, souhaite renforcer ses équipes IT avec un Ingénieur Cloud & Data Platform. Rattaché à l'équipe Socle Data Cloud, vous interviendrez sur un programme de migration des plateformes Data et des outils de visualisation depuis des infrastructures On-Premise vers un environnement Cloud Microsoft Azure. L'objectif est de faire d'Azure Databricks la plateforme centrale de l'écosystème Data, tout en assurant son intégration avec les solutions existantes, notamment Dataiku DSS, Dremio, Cloudera/Hadoop, Power BI et Tableau Server. Vous jouerez un rôle clé dans l'administration, l'industrialisation, la sécurisation et l'évolution des plateformes Data.

DevOps / DataOps Azure Databricks - Expert Migration Dataiku Dans le cadre de la modernisation d'une plateforme Data, nous recherchons un Expert DevOps / DataOps Azure Databricks pour accompagner la migration et l'industrialisation d'un environnement Data hybride On-Premise / Azure. Compétences clés : Azure & Azure Databricks Expérience de migration Dataiku DSS Terraform, Ansible, Azure DevOps CI/CD et automatisation Python/Bash Dataiku, Dremio, Cloudera/Hadoop Connaissance de Tableau Migration, upgrade et gestion des obsolescences Data 📅 Démarrage : 26/11 💰 TJM : 600-700 € 🏠 Télétravail : 3 à 4 jours/semaine

Dans le cadre du renforcement d'une équipe de Gestion Courante Décisionnelle / Datalake, notre client recherche un Data Engineer / Développeur Big Data Spark Scala expérimenté, capable d'intervenir sur des traitements critiques en production et de contribuer au maintien de la qualité de service. L'environnement repose sur une architecture Big Data collectant les données de plusieurs back-offices, avec un Datalake et une alimentation d'un Datawarehouse sur environnement Exadata. Vos missionsVous interviendrez principalement sur le RUN et la maintenance applicative des traitements décisionnels : Assurer le suivi quotidien des traitements Spark / Scala Analyser et corriger les incidents applicatifs et fonctionnels Réaliser, lorsque nécessaire, les reprises de données associées aux incidents Développer et mettre en œuvre les évolutions confiées Réaliser les tests des corrections et nouveaux développements Participer aux mises en production Maintenir à jour la documentation technique et fonctionnelle Mettre à jour les outils de suivi de l'équipe Rendre compte de l'avancement et des incidents au chef de projet

La prestation demandée est une mission d'Ingénierie DevOps Data Platform au sein de l'équipe Socle Data Cloud, ayant pour objectif d'administrer, industrialiser et faire évoluer les plateformes Data de l'entreprise dans un environnement hybride On-Premise / Azure Cloud. L'enjeu principal est de faire d'Azure Databricks la plateforme centrale du Socle Data Cloud, en assurant son intégration avec les solutions existantes (Dataiku DSS, Dremio, Tableau Server, Cloudera/Hadoop, Power BI) et en garantissant des flux de données sécurisés et performants entre les environnements On-Premise et Azure. Gestion des obsolescences Suivi des cycles de vie des composants Data et Big Data. Réalisation des upgrades et migrations des plateformes. Intégration des évolutions Azure et Azure Databricks. Mise en conformité avec les standards de sécurité et de gouvernance. Livrables / Résultats attendus Contribution à l'évolution de l'architecture du Socle Data Cloud Azure. Déploiement et administration des environnements Azure Databricks. Mise en place et maintien des connexions entre les plateformes On-Premise (Dataiku, Dremio, Tableau, Cloudera/Hadoop) et Azure Databricks. Développement et maintenance des infrastructures automatisées via Terraform, Ansible et Azure DevOps. Industrialisation des déploiements et des pipelines CI/CD. Automatisation des tâches d'exploitation en Python et Bash. Mise en œuvre des mécanismes de sécurité Azure (Entra ID, Key Vault, gestion des accès). Supervision et observabilité des plateformes (Grafana, Prometheus, ELK/OpenSearch). Support N3 et optimisation des performances des environnements Data et Big Data. Production de la documentation technique et des bonnes pratiques d'exploitation et de gouvernance.