Trouvez votre prochaine offre d’emploi ou de mission freelance Jupyter Notebook

Je recherche pour un de mes client un Développeur Big Data sur Lyon CONTEXTE DE LA MISSION Le client, dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs. DESCRIPTION DE LA MISSION Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Les principales missions confiées seront les suivantes : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale). La connaissance de Power BI et SAS sont des plus. Exemples de livrables attendus : - Code source documenté - Plan de tests / fiches de test - Bilan - Bordereau de livraison - Manuel d’installation - Dossier d’exploitation - JIRA documentée Environnement technique : - Hadoopa Cloudera - Hive - Impala - Python - Shell - Spark - Linux - SQL - VBA - Git - Jupyter Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement).

Contexte de la mission Compétences et expériences demandées : -Expérience +2 ans sur l'IA Gen : prompt engineering, context engineering, construction de workflow avec RAG, tool calling, MCP, implémentation de guardrails. -Expérience significative en Machine/Deep Learning (traitement du langage naturel, traduction automatique, etc.), Vision (vision par ordinateur, reconnaissance, etc.), et sur le cycle de vie des modèles IA (de la conception vers l'industrialisation, puis la supervision en production de sa valeur). Une base solide en Python est requise pour l'exploration des données, l'évaluation d'un modèle ou la construction d'une API python. -Connaissance de SQL -Solide connaissance de Pandas, Jupyter Notebook, Scikit-learn, Numpy, Streamlit -Maîtrise des frameworks ML distribués modernes tels que TensorFlow, PyTorch -Pratiquer une veille active sur vos domaines de compétence. -Participez activement à la construction de la stratégie en effectuant la veille technologique, étant force de proposition sur les nouveaux outils / nouvelles méthodes à utiliser et le partageant avec le reste de l’équipe Activité principales attendues : Machine Learning / Deep Learning - Évaluer le problème métier et prouver la valeur via l'analyse exploratoire des données pour démontrer la valeur d'une approche ML/DL. - Création et production de modèles d'apprentissage automatique industrialisables Traitement de données à grande échelle pour la création de jeux de données d'entraînement - Appliquer les bonnes pratiques de MLOps et d'explicabilité des modèles - Présenter les résultats aux parties prenantes et aider au suivi à long terme de la performance du modèle pour démontrer la valeur de l'IA IA Générative - Évaluer le problème métier et prouver la valeur via l'analyse exploratoire des données pour démontrer la valeur d'une approche IA Gen - Prompt engineering - Bench via des solutions d'évaluation des modèles d'IA Gen - Optimisation des solutions (paramétrage des modèles)

Contexte de la mission Suite à un audit interne, la mission vise à : Structurer une roadmap sécurité Data Renforcer la protection des données Améliorer le maintien en condition opérationnelle (PRA / PRI) Sécuriser la migration vers le Cloud (GCP) Aligner les pratiques avec les exigences RSSI / PSSI / RGPD Environnement hybride : On Prem + GCP. Objectifs de la mission Structurer et piloter la sécurisation du patrimoine Data Mettre en œuvre les exigences PCI / PRI Data Revoir et fiabiliser les habilitations On Prem & Cloud Renforcer la gouvernance des données sensibles Sécuriser les outils Data / BI / Data Science Contribuer aux exigences RSSI (vulnérabilités, audits, recommandations) Compétences techniques clés Architecture sécurité Cloud (GCP) BigQuery security & Data masking IAM avancé PRA / PRI Data Governance Sécurité applicative Data Environnements Hadoop / Oracle Soft skills Leadership transverse Capacité à dialoguer avec RSSI & CoDir Structuration roadmap Vision stratégique et opérationnelle Responsabilités principales Sécurisation des accès Revue des habilitations On Prem et Cloud Mise en œuvre du principe de moindre privilège Gestion des comptes applicatifs et nominatifs Automatisation des habilitations Cloud Amélioration du processus de revue des droits PRA / PRI Data Structuration PCI / PRI Data Cartographie applicative & technique Identification des criticités Organisation sauvegardes et tests de restauration Priorisation PCI Cloud Gouvernance & protection des données Revue criticité données (RH, Finance, SP, IARD) Anonymisation / pseudonymisation / masking Harmonisation vers masking dynamique BigQuery Auditabilité & conformité RGPD Sécurisation des outils Cartographie des principes SSO Sécurisation outils BI & Data Science Implémentation OAuth2 / SSO Ségrégation projets GCP Coordination sécurité Interface RSSI / DDSI / Data Office Intégration périmètre Data dans outils internes Suivi vulnérabilités Animation comités sécurité Data Environnements techniques Cloud : GCP, BigQuery, DBT, Data Fabrik Cloud On Prem : Hadoop, Hive, Oracle, SAS, Informatica / PowerCenter, NAS Outils Data / BI / Data Science : Dataiku, BO, Tableau, RStudio, Jupyter, IDE Python Référentiels & sécurité : LeanIX, IAM, OAuth2 / SSO

Organisation Dans le cadre de ses activités liées au traitement de données volumineuses, une organisation recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans la gestion d'une plateforme Hadoop. Objectif de la mission Réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, notamment la mise en place d'extractions et l'accompagnement des utilisateurs. Description de la mission Le candidat, rattaché au responsable en charge du traitement de données volumineuses, sera principalement chargé de : Prendre en charge l'évolution des flux de données et reprendre les développements existants pour leur alimentation, en faisant évoluer ceux-ci selon les besoins. (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) Définir la spécification technique des tâches, fournir des requêtes de référence, réaliser des revues de code, et accompagner d’éventuels alternants ou stagiaires. Mettre en place des processus d'extraction à partir des données. Assurer le support de niveau 2. Faire respecter les consignes d’utilisation auprès des utilisateurs. Garantir le respect des délais de livraison dans un environnement exigeant. Contribuer à la maintenabilité, la performance et l’exploitabilité de la plateforme. Il veillera également à respecter l’utilisation des modèles référencés ou leur évolution, en collaboration avec la Direction Technique et la Gouvernance des Données. Le profil doit posséder des compétences avérées en communication, diplomatie, capacité d’intégration, partage de connaissances, documentation, et accompagnement des utilisateurs.

Contexte de la mission : Le client, dans le cadre du développement et de la maintenance de sa plateforme Big Data, recherche un Développeur Big Data expérimenté (H/F) avec au moins 5 ans d’expérience en environnement Data. La mission se déroule au sein de l’équipe Big Data, chargée de l’alimentation, de l’évolution et de l’optimisation du Data Lake sous Cloudera Hadoop. L’objectif principal est de concevoir, faire évoluer et maintenir les traitements d’alimentation pour assurer la qualité, la performance et la maintenabilité des solutions. Le consultant intervient dans un contexte de production exigeant, avec de forts enjeux de fiabilité et de respect des délais. Missions principales : Développement & évolution du Data Lake : Gérer les évolutions des flux et des données à intégrer Faire évoluer les développements existants d’alimentation Maintenir les traitements d’ingestion et de transformation Concevoir des extractions de données pour répondre aux besoins métiers Stack technique : Cloudera Hadoop, Hive, Impala, Spark, Python, SQL, Shell, Linux, VBA, Jupyter Expertise technique & structuration : Rédaction des spécifications techniques Fourniture de requêtes SQL de référence Revue de code Structuration et pilotage via JIRA Documentation des processus et accompagnement des utilisateurs Encadrement de profils juniors (alternants, stagiaires) Performance & optimisation : Optimiser les traitements et requêtes Améliorer la performance et l’exploitabilité Contribuer à la maintenabilité globale Réaliser du reverse engineering dans une architecture héritée complexe Support & accompagnement : Assurer le support de niveau 2 Faire respecter les bonnes pratiques Communiquer clairement avec différents interlocuteurs (développeurs, utilisateurs, clients) Gouvernance & conformité : Veiller au respect des modèles de données Collaborer avec la Direction Technique et la Gouvernance de la Donnée pour faire évoluer les standards

Contexte de la mission : Dans le cadre du déploiement et de l’industrialisation de notre démarche de gouvernance des données, nous recherchons un consultant expert technique Collibra. La mission s’inscrit dans un programme structurant visant à renforcer le catalogage des données et la traçabilité (data lineage). Le consultant intégrera l’équipe Data en lien direct avec les architectes de la DSI qui ont une vision sur l’ensemble de la chaîne de valeur de la donnée, de l’acquisition à la restitution. Tâches à réaliser : · L’operating model de Collibra et la capacité à modifier les settings sur sa partie OOTB ou custom (asset type, attributs, relations…) selon un scope puis mesurer les impacts sur l’existant DEV/PROD et le déployer en PROD · L’asset model du Data Product · Les rôles et permissions (globale, ressources, …) · Les fonctionnalités de migration import/export (par ex. pour les vues) · Le paramétrage des vues de diagramme · Savoir lancer et interpréter les résultats des connecteurs EDGE (technologies Datalake Azure/AWS, Databricks unity) et technical lineage (Databricks, Power BI) · Savoir manipuler les assets en masse (modification d’attributs, déplacements, suppressions), si besoin par import/export · Connaitre les fonctionnalités liées à Edge pour le sampling, profiling, data notebook · Scripting / APIs / Workflow · Trouver et savoir tester les APIs Collibra du portail développeur · Savoir comprendre et modifier un workflow existant (script : Groovy), le rendre paramétrable, le versionner si besoin et déployer DEV/PROD · Scripter des validations rules sur les assets Livrables attendus · Expressions de besoins et documents de cadrage · Workflows Collibra configurés · Catalogues de données alimentés · Lineage modélisé et documenté · Toute l’implémentation est en langue EN, éventuelle doc. technique succincte à réaliser sur les actions menées Compétences recherchées : Obligatoires : Maîtrise avancée de Collibra (Catalog, Lineage, Workflows) Solide expérience en Data Gouvernance et Data Management Bonnes connaissances des environnements Azure/ AWS / Databricks / Power BI /API/ BDD Expérience nécessaire : 5 années minimum Langues : Anglais et français

Notre client effectue une transformation vers l’Agilité. Les équipes sont découpées en squads autour d’un produit et travaillent suivant le cadre SCRUM. Les équipes sont réparties uniformément sur deux sites principaux Rennes et Lyon. Nous sommes accompagnés par des coachs Agile pour la mise en œuvre de la transformation. Dans ce cadre nous recherchons une prestation de Scrum Master expérimenté pour accompagner 1 squad de 6 personnes. Les activités de la squad concernée couvrent mise en œuvre d’une Data plateforme sous la forme d’un socle technique (Spark, Jupyter, Kubernetes, Argo, MinIO, Trino) et d’un cadre de gouvernance garantissant la sécurité, la conformité et la qualité des données. Le périmètre de la fonction est : • dans la squad Data Plateforme, constituée d’un Product Owner, d’un Lead Platform Architect, d’un Data Architect, d’un développeur Platform automation, d’un DevOps, d’un Data Engineer. • le tout au sein de la tribu Data & IA, en lien avec les experts du Chapitre Data Gouvernance & IA et les architectes Data L’accompagnement de l’équipe doit se faire sur l’appropriation du cadre SCRUM, de ses valeurs et la facilitation des problèmes liés aux changement organisationnel et opérationnels. De façon moins prioritaire, et suivant le profil, une partie de l’activité pourrait également être consacrée à l’accompagnement de la transformation Agile de l’entreprise (au niveau DSI, métiers, Architecture, data) avec les autres coachs agiles. Activités principales : ➢ SCRUM MASTER d’une équipe autonome ➢ Garant du cadre Agile et des valeurs auprès des équipes accompagnées et dans l’organisation o Support sur les événements Agiles et s’assure que ceux-ci sont positifs et productifs o Sécurisation du delivery lors des PI Planning o Accompagnement dans l’appropriation auprès des équipiers ➢ Amélioration des pratiques des équipes et facilitation avec les parties prenantes ➢ Facilitation sur les problématiques opérationnelles ➢ Faire grandir les équipes accompagnées en responsabilité et autonomie ➢ Remontée d’alerte si nécessaires ➢ Être force de proposition sur des axes d’amélioration continue ➢ Communication et proactivité dans le mode de fonctionnement Agile de l’équipe et de l’organisation Compétences requises : ➢ Expérience solide dans l’accompagnement d’équipes Agile dans une organisation à l’échelle ➢ Pratiques et méthodes collaboratives dans l’exécution des activités (animation, ateliers divers …..) ➢ Connaissance des outils et techniques d’amélioration continue ➢ Aisance relationnelle, animation, communication ➢ Proactivité ➢ Expérience confirmée dans l’accompagnement et la gestion du changement Qualités personnelles : ➢ Esprit collectif ➢ Sens de l’organisation ➢ Orienté solution