Trouvez votre prochaine offre d’emploi ou de mission freelance Cloudera à Lyon

Je recherche pour un de mes client un Développeur Big Data sur Lyon CONTEXTE DE LA MISSION Le client, dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs. DESCRIPTION DE LA MISSION Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Les principales missions confiées seront les suivantes : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale). La connaissance de Power BI et SAS sont des plus. Exemples de livrables attendus : - Code source documenté - Plan de tests / fiches de test - Bilan - Bordereau de livraison - Manuel d’installation - Dossier d’exploitation - JIRA documentée Environnement technique : - Hadoopa Cloudera - Hive - Impala - Python - Shell - Spark - Linux - SQL - VBA - Git - Jupyter Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement).

Le profil interviendra pour définir, concevoir et accomagner la construction de l'architecture cible Data. Ses missions principales seront de : Définir l’architecture cible Data : concevoir l’architecture Data cible n, alignée avec la stratégie globale Data et les principes Data‑Centric et définir les patterns d’intégration et les couches fonctionnelles de la future plateforme (ingestion, traitement, stockage, exposition). Concevoir l’architecture de la nouvelle plateforme Data : concevoir l’architecture technique globale de la plateforme, en intégrant l’écosystème existant (Teradata, Hadoop) et la stratégie d’évolution (cloud ou on‑prem, gouvernance, scalabilité). Proposer la trajectoire d’évolution permettant la transition vers la nouvelle plateforme (stratégie de migration, coexistence, phasage). Modélisation des données et harmonisation : concevoir les modèles de données harmonisés (modèle cible, datamarts, vues métiers, glossary). Définir les principes de modélisation à appliquer selon les usages : analytique, opérationnel, data products. Data Products & accompagnement métiers : accompagner les équipes métiers dans la conception et la structuration des data products. Garantir la cohérence des data products avec les modèles de données, les standards d’intégration et l’architecture cible. Définition et formalisation des standards Data : définir les standards d’intégration, de transformation, de stockage et d’exposition des données. Proposer et formaliser les bonnes pratiques autour des outils de l’écosystème (outils d’ingestion, qualité, orchestrateurs, catalogage, gouvernance).

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation d’un projet innovant, nous avons LE poste pour vous ! Nous recherchons en effet un(e) Développeur Big Data Expérimenté (H/F) 🚀 ☘️ Votre mission est pour un client connu du secteur de la retraite et prévoyance. L’objectif de la mission est dans le cadre de la réalisation et la maintenance de développements nécessaires à l'alimentation d’une plateforme, ainsi que la mise en place d'extractions de données et l'accompagnement des utilisateurs finaux. Description du poste 👉 Vous aurez les missions suivantes : 👈 🔸 Développement et maintenance : Assurer l'alimentation du Datalake et faire évoluer les flux en fonction des besoins métiers. 🔸 Conception et architecture : Mettre en place des extractions de données et contribuer à garantir la tenue de la plateforme en environnement opérationnel. 🔸 Support et expertise : Assurer le support de niveau 2, apporter une expertise technique sur l'écosystème Hadoop et réaliser des revues de code. 🔸 Coordination : Collaborer avec la Direction Technique Informatique et la Gouvernance de la Donnée pour le respect et l'évolution des modèles référencés. 🔸 Documentation : Rédiger la documentation technique (spécifications, dossiers d'exploitation, manuels d'installation) et les bilans de tests.

Contexte de la mission : Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d’expérience en environnement Data. La mission se déroule au sein de l’équipe Big Data, chargée de l’alimentation, de l’évolution et de l’optimisation du Data Lake sous Cloudera Hadoop. L’objectif principal est de concevoir, faire évoluer et maintenir les traitements d’alimentation pour assurer la qualité, la performance et la maintenabilité des solutions. Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais. Missions principales : Développement & évolution du Data Lake : Gérer les évolutions des flux et des données à intégrer Faire évoluer les développements existants d’alimentation Maintenir les traitements d’ingestion et de transformation Concevoir des extractions de données pour répondre aux besoins métiers Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter Expertise technique & structuration : Rédaction des spécifications techniques Fourniture de requêtes SQL de référence Revue de code Structuration et pilotage via JIRA Documentation des processus et accompagnement des utilisateurs Encadrement de profils juniors (alternants, stagiaires) Performance & optimisation : Optimiser les traitements et requêtes Améliorer la performance et l’exploitabilité Contribuer à la maintenabilité globale Réaliser du reverse engineering dans une architecture héritée complexe Support & accompagnement : Assurer le support de niveau 2 Faire respecter les bonnes pratiques Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients) Gouvernance & conformité : Veiller au respect des modèles de données Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards

Contexte Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans nos actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" (Groupes de protection sociale). La connaissance de Power BI et de SAS sont des plus." Livrables attendus Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale (Retraite Complémentaire idéalement)

Au sein du pôle Big Data d'un grand groupe, l'objectif principal de ce poste est de réaliser et de maintenir les développements nécessaires à l'alimentation du Datalake sur une plateforme Cloudera Hadoop, de mettre en place des extractions de données et d'accompagner les utilisateurs. Rattaché(e) au responsable Big Data, vous évoluerez dans un contexte de production à fortes attentes où la tenue des délais de livraison et le pilotage opérationnel sont primordiaux. Vos principales missions seront les suivantes : Développement et intégration : Prendre en charge les évolutions des données à intégrer et reprendre les développements existants pour l'alimentation du Datalake. Vous développerez également des extractions avec un niveau d'expertise en SQL et créerez des scripts Shell avancés pour l'automatisation. Expertise technique et mentorat : Spécifier techniquement les tâches, fournir des requêtes de référence, effectuer des revues de code et accompagner les collaborateurs juniors, stagiaires ou alternants. Support et accompagnement : Assurer le support de niveau 2, faire appliquer les bonnes pratiques et consignes aux utilisateurs, et rédiger la documentation requise (guides, description de processus). Optimisation et maintenance : Garantir la maintenabilité, les performances et l'exploitabilité de la plateforme en respectant l'utilisation des modèles référencés par la Gouvernance de la Donnée. Vous optimiserez les traitements de la plateforme et ceux des utilisateurs, et mènerez des investigations (reverse engineering) dans une architecture héritée complexe

"Contexte du besoin Nous recherchons un profil senior en architecture Data afin de nous accompagner dans la définition de l'architecture Data cible, la mise en oeuvre de la nouvelle plateforme Data dans un ecosysteme exisant. Le profil devra accompagner à la définition de l'architecture Data cible, la définition des standards, normes et bonnes pratique sur l'ensemble des socles Data et la mise en œuvre de la nouvelle plateforme Data. MISSIONS - Définir l’architecture cible Data : concevoir l’architecture Data cible de la fédération, alignée avec la stratégie globale Data et les principes Data‑Centric et définir les patterns d’intégration et les couches fonctionnelles de la future plateforme (ingestion, traitement, stockage, exposition). - Concevoir l’architecture de la nouvelle plateforme Data : concevoir l’architecture technique globale de la plateforme, en intégrant l’écosystème existant (Teradata, Hadoop) et la stratégie d’évolution (cloud ou on‑prem, gouvernance, scalabilité). Proposer la trajectoire d’évolution permettant la transition vers la nouvelle plateforme (stratégie de migration, coexistence, phasage). - Modélisation des données et harmonisation : concevoir les modèles de données harmonisés (modèle cible, datamarts, vues métiers, glossary). Définir les principes de modélisation à appliquer selon les usages : analytique, opérationnel, data products. - Data Products & accompagnement métiers : accompagner les équipes métiers dans la conception et la structuration des data products. Garantir la cohérence des data products avec les modèles de données, les standards d’intégration et l’architecture cible. - Définition et formalisation des standards Data : définir les standards d’intégration, de transformation, de stockage et d’exposition des données. Proposer et formaliser les bonnes pratiques autour des outils de l’écosystème (outils d’ingestion, qualité, orchestrateurs, catalogage, gouvernance). Le profil devra justifier : - d’une expérience confirmée dans la conception et la mise en œuvre de plateformes Data modernes, - d’une expertise en architecture Data (modèles de données, intégration, scaling, sécurité, qualité), - d’expériences significatives sur des projets incluant : la définition d’architectures cibles, la conception de modèles de données complexes, l’accompagnement de trajectoires de migration (Hadoop, Teradata ou plateformes équivalentes), la mise en place de data products et d’approches orientées produit." Environnement technologique actuel : Teradata,SQL, Datastage, Power BI, Hadoop Cloudera, Hive, Impala, Python" Livrables attendus Dossiers d'architecture cible, générale et détailée Cartographie des flux et sources de données Schéma d'intégration avec l'écosystem existant Documents de description des standards, principes et bonnes pratiques Feuille de route et trajectoire cible Ateliers et comptes rendus Support de présentation architecture et dossiers d'arbitrages Environnement technique - technologique Environnement technologique actuel : Teradata,SQL, Datastage, Power BI, Hadoop Cloudera, Hive, Impala, Python Compétences Data Conception d'architecture plateforme Data : - maitrise des architectures Data - maitrise patterns d'ingestion, stockage, transformation, exposition, - capacité à concevoir une architecture cible cohérente avec le SI existant" Modélisation des données : - concevoir des modèles conceptuels, logiques et physiques ; -harmoniser et rationaliser les modèles dans une logique Data Centric ; - appliquer des standards et bonnes pratiques (normalisation, typage, granularité, qualité)." Définition, conception et urbanisation de Produits Data Définition des standards, normes et bonnes pratiques Accompagnement, communication et alignement multi-acteurs "Compétence liée à l'environnement " "Expérience dans l'écosystème de la protection sociale (Retraite Complémentaire idéalement)"

Description du poste : Dans le cadre de l'activité Big Data de notre client, nous recherchons un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans nos actions sur notre plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs.

CONTEXTE : Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs MISSIONS Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs Livrables attendus "Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d’installation Dossier d’exploitation JIRA documentée" Environnement technique - technologique "• Cloudera Hadoop • Hive, impala • Python • SQL • Shell • Spark • VBA • GIT • Jupyter • Linux • JIRA" Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale