Trouvez votre prochaine offre d’emploi ou de mission freelance Jupyter Notebook à Paris

Je cherche un IT Quants / DevOps Engineer, au sein d’un environnement orienté plateforme analytique (IT Quant / DevOps). Au programme : Surveillance et accompagnement de la plateforme SPHERE Gestion d’un volume important de tickets Support à l’équipe en place pour accélérer les opérations Mise en place d’un outil end-to-end Amélioration et maintenance des pipelines GitLab Support DevOps applicatif Profil recherché : Python indispensable Bonne maîtrise de GitLab (pipelines & versioning) Connaissances AWS (Snowflake / Jupyter sont un plus) Autonomie, proactivité, esprit de résolution de problèmes Communication fluide en français et en anglais Cordialement,

Hanson Regan recherche un Data Engineer pour une mission 12 mois renouvelable, basée à Paris Données en anglais : Compétences: -Hadoop Cloudera - Flux de travail / injection - Outils de visualisation - Pipeline Longue liste : Les outils d’ingestion de données : NiFi Les outils de stockage de données : HDFS, CEPH Les outils d’ordonnancement des jobs : Airflow Les outils de gestion des ressources (CPU, RAM) : YARN Les moteurs et frameworks d’exécution : MapReduce, Spark, TEZ Les langages de développement : Python, Scala Les outils de prototypage/exploration : Jupyter, Dataiku Les outils orientés datamart : Hive, PostgreSQL Les outils de proxyfication (Access) : Knox, HAProxy Les outils d’affichage d’indicateurs et tableau de bord : Grafana, Tableau, Superset, S7 Les outils de sécurité : Kerberos, LDAP, IPA gratuite Les outils d’administration et de gouvernance : ClouderaManager, Ranger Les outils de supervision et d’exploitation (DevOps) : Prometheus, Puppet, Heat, Ansible Les dépôts de binaires : Mirroring des dépôts issus du web HTTP pour les applications tiers. Merci de nous contacter au plus vite si vous êtes intéressé ou si vous connaissez une personne correspondant à ce profil

🏢 Contexte Au sein d’une organisation publique innovante spécialisée dans la gestion et la valorisation de données à grande échelle , vous rejoignez la direction technique en charge de la conception, de l’implémentation et de la maintenance d’une plateforme Data sécurisée. Vous intégrerez une équipe technique dédiée à l’infrastructure, évoluant dans un environnement agile et collaboratif, en interaction avec des profils Data, Produit et Ops. La plateforme repose sur des technologies cloud modernes et des pratiques d’ Infrastructure as Code dans un contexte exigeant en matière de sécurité. 🚀 Missions En tant que Développeur Infrastructure / DevOps, vous interviendrez sur : 🔧 Développement & automatisation Développement et maintenance de l’infrastructure as code Automatisation des déploiements cloud à grande échelle Intégration de composants techniques au sein d’environnements Kubernetes ⚙️ Plateforme & performance Déploiement et maintenance de composants applicatifs et techniques Contribution à la stabilité, performance et évolutivité de la plateforme Collaboration avec les équipes Data pour répondre aux besoins métiers 🔐 Sécurité & bonnes pratiques Application des standards de sécurité et conformité Participation aux évolutions d’architecture Veille technologique et amélioration continue 📚 Documentation & collaboration Rédaction et mise à jour de la documentation technique Participation aux échanges techniques et partage de bonnes pratiques 🛠️ Environnement technique Cloud : Azure Infrastructure as Code : Terraform, Terragrunt, Packer, Ansible Conteneurisation : Kubernetes, Docker, Helm Scripting : Bash, Python Outils : Git, CI/CD, GitLab Data tools : Jupyter, Spark, PostgreSQL

Contexte de la mission : Dans le cadre du déploiement et de l’industrialisation de notre démarche de gouvernance des données, nous recherchons un consultant expert technique Collibra. La mission s’inscrit dans un programme structurant visant à renforcer le catalogage des données et la traçabilité (data lineage). Le consultant intégrera l’équipe Data en lien direct avec les architectes de la DSI qui ont une vision sur l’ensemble de la chaîne de valeur de la donnée, de l’acquisition à la restitution. Tâches à réaliser : · L’operating model de Collibra et la capacité à modifier les settings sur sa partie OOTB ou custom (asset type, attributs, relations…) selon un scope puis mesurer les impacts sur l’existant DEV/PROD et le déployer en PROD · L’asset model du Data Product · Les rôles et permissions (globale, ressources, …) · Les fonctionnalités de migration import/export (par ex. pour les vues) · Le paramétrage des vues de diagramme · Savoir lancer et interpréter les résultats des connecteurs EDGE (technologies Datalake Azure/AWS, Databricks unity) et technical lineage (Databricks, Power BI) · Savoir manipuler les assets en masse (modification d’attributs, déplacements, suppressions), si besoin par import/export · Connaitre les fonctionnalités liées à Edge pour le sampling, profiling, data notebook · Scripting / APIs / Workflow · Trouver et savoir tester les APIs Collibra du portail développeur · Savoir comprendre et modifier un workflow existant (script : Groovy), le rendre paramétrable, le versionner si besoin et déployer DEV/PROD · Scripter des validations rules sur les assets Livrables attendus · Expressions de besoins et documents de cadrage · Workflows Collibra configurés · Catalogues de données alimentés · Lineage modélisé et documenté · Toute l’implémentation est en langue EN, éventuelle doc. technique succincte à réaliser sur les actions menées Compétences recherchées : Obligatoires : Maîtrise avancée de Collibra (Catalog, Lineage, Workflows) Solide expérience en Data Gouvernance et Data Management Bonnes connaissances des environnements Azure/ AWS / Databricks / Power BI /API/ BDD Expérience nécessaire : 5 années minimum Langues : Anglais et français