Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake

Missions principales : Contribuer à l’évolution de l’offre de service de la plateforme Big Data & ML. Définir et maintenir le cadre de référence des principes d’architecture. Accompagner les développeurs dans l’appropriation de ce cadre. Définir les solutions d’exposition, de consommation et d’export des données métiers. Accompagner les équipes dans la mise en œuvre des solutions proposées. Participer à la mise en place d’API LLM dans le cadre du socle LLMOPS. Expertise technique attendue : Architecture & Cloud Azure Définition d’architectures cloud et Big Data distribuées. Automatisation des ressources Azure via Terraform et PowerShell. Connaissance avancée d’Azure Databricks, Azure Data Lake Storage, Azure Data Factory. Administration réseau : vNet Spoke, Subnets Databricks. Sécurité : RBAC, ACLs. Data & IA Platform Maîtrise de la chaîne d’ingestion de données : pipelines ADF (Collecte, Routage, Préparation, Refine…). Études d’architecture en lien avec l’évolution de la plateforme. Administration ADF : Link Services, Integration Runtime. Administration Databricks : Tokens, Debug, Clusters, Points de montage. Administration Azure Machine Learning : Datastores, accès, debug. CI/CD & DevOps Configuration Azure DevOps : droits, connexions de service. Développement de pipelines CI/CD avec Azure Pipelines. Gestion des artefacts avec Azure Artifact et Nexus. Automatisation des déploiements. Pratiques FinOps et optimisation des coûts cloud. Agilité & Delivery Utilisation de Jira : création d’US/MMF, configuration de filtres, Kanban. Participation active aux cérémonies Agile : Sprint, Revue, Démo. Développement & Collaboration Développement Python : modules socle, code optimisé, tests unitaires. Développement PowerShell : déploiement de ressources Azure. Maîtrise de Git : push, pull, rebase, stash, gestion des branches. Pratiques de développement : qualité, tests unitaires, documentation.

En quelques mots Cherry Pick est à la recherche d'un "Data Engineer" pour un client dans le secteur de l'Energie Description 🎯 Contexte & Objectifs Intégré(e) à la squad Data Platform, vous interviendrez sur les activités de build, run et automatisation d’une plateforme de données Cloud (AWS / Azure). Votre rôle sera clé pour : Participer à la réalisation du workplan et aux user stories du backlog. Contribuer aux activités de support N2/N3 (RUN) et de Build. Livrer et suivre les artefacts de mise en production. Proposer et mettre en œuvre des optimisations FinOps, sécurité et observabilité. Développer des microservices et automatiser les pipelines & déploiements. 🛠️ Missions principales Participer au développement et maintien de la Data Platform Cloud. Créer et maintenir des processus de déploiement automatisés avec Terraform. Développer des microservices en Python et maîtriser l’intégration (CI/CD). Assurer le monitoring et l’exploitation via Grafana, App Insights. Contribuer aux flux ETL/ELT et à l’alimentation du Data Lake (AWS S3, ADLS Gen2). Gérer les activités RUN/SRE : supervision, support, automatisation. Définir et appliquer les bonnes pratiques de sécurité, qualité, résilience et FinOps. Collaborer en mode Agile/Scrum avec les parties prenantes (Data Officers, Data Architects, Engineers). Maintenir la documentation et promouvoir une approche User-Centric (recueil feedbacks, amélioration UX).

Hanson Regan recherche actuellement un Data Analyst pour une mission longue durée à Paris. Vous travaillerez au développement de tableaux de bord sur QlikSense ou PowerBI et à la modélisation des flux de données issus du data lake. Vos compétences contribueront à fournir des indicateurs pertinents pour le suivi des données. Vous collaborerez avec l'entreprise pour comprendre les besoins et définir les règles de gestion. Vous participerez également à la création de modèles de tableaux de bord, ainsi qu'à la validation et à la mise en production du projet. Le/la Data Analyst retenu(e) devra justifier d'une expérience avérée avec des outils de données tels que QlikSense, PowerBI et SQL, et être capable de comprendre les enjeux métier. Les candidats doivent pouvoir travailler via leur propre entreprise française (SASU, EURL, Autoentrepreneur, etc.), car nous ne pouvons malheureusement pas accepter de solutions de portage pour cette mission. Vous devez également être disponible sur site à Paris deux jours par semaine, dont trois jours de télétravail. Si cela vous intéresse, veuillez nous contacter dans les plus brefs délais avec un CV à jour aux coordonnées ci-dessous.

Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise • Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent Activités et tâches : • Acheminement de la donnée • Mise à disposition de la donnée aux équipes utilisatrices • Mise en production de modèles statistiques • Suivi de projet de développement • Développement job spark • Traitement et ingestion de plusieurs formats des données • Développement des scripts • Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données • Développement des moyens de restitution via génération de fichier et ou API & Dashboarding • Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers • Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI) • Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP • Participer à la conception, mise en place et administration de solutions Big Data • Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka • Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Notre client recherche un Architecte Cloud Azure pour concevoir, cadrer et industrialiser une Landing Zone Azure sécurisée et automatisée. Il fournit et maintient le design technique, le mapping des dépendances SI, ainsi que la mise à disposition des services DevEx nécessaires aux projets et produits internes. Le service inclut le challenge et la validation des choix techniques réalisés par les intégrateurs et le fournisseur Cloud, ainsi que la supervision de l’automatisation et de la scalabilité de la plateforme. Enfin, le service assure un accompagnement des équipes internes par du support à l’exploitation, de la documentation et du transfert de compétences, afin de garantir leur autonomie et la pérennité de l’exploitation de la Landing Zone. En tant qu’Architecte cloud Azure H/F - 92, vos missions seront de : *Cadrage et Gouvernance de la Landing Zone *Architecture et Design Technique de la Landing Zone *Intégration SI et Mapping des Dépendances *Automatisation, DevEx et Services de la Landing Zone *Support à l’Exploitation et Transfert de Compétences *Respect du planning et jalons de livraison Environnement technique : Cloud et Services Azure Compute: Virtual Machines (VM), Virtual Machine Scale Sets (VMSS), Azure Kubernetes Service (AKS), App Service, Azure Functions Stockage et Bases de données: Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen2, Azure SQL Database, Cosmos DB, Azure Database for PostgreSQL/MySQL, Synapse Analytics Réseau et Sécurité : Réseau : Virtual Network (VNet), Subnets, VNet Peering, Private Link, Application Gateway, Azure Firewall, ExpressRoute, VPN Gateway Sécurité: Network Security Groups (NSG), Azure DDoS Protection, Azure Web Application Firewall (WAF), Microsoft Defender for Cloud, Sentinel (SIEM/SOAR) Identité et accès : Microsoft Entra ID (ex-Azure AD), RBAC, Managed Identities, Privileged Identity Management (PIM), Conditional Access Secrets et clés: Azure Key Vault, Managed HSM Observabilité et Supervision : Azure Monitor, Log Analytics Workspace, Application Insights, Azure Metrics, KQL (Kusto Query Language), Workbooks et Dashboards FinOps / Gestion des coûts : Azure Cost Management + Budgets & Alerts, Reservations et Savings Plans, Resource Tags et Management Groups pour l’allocation des coûts DevEx / Automatisation : Terraform (AzureRM Provider), Bicep, Azure Resource Manager (ARM) templates, Azure DevOps Pipelines, GitHub Actions, Azure Policy & Blueprints Intégration SI et Sécurité d’Entreprise Fédération d’identité avec Microsoft Entra ID (SSO, Conditional Access, MFA, SCIM provisioning) Intégration DNS (zones privées et publiques, Azure DNS + DNS on-premise) Bastions sécurisés : Azure Bastion, jump hosts Centralisation des logs vers Log Analytics / Sentinel Supervision et monitoring hybrides (Azure Arc, Monitor on-prem & multi-cloud) CI/CD et Infrastructure as Code Infrastructure as Code : Terraform (AzureRM modules), Bicep, ARM Templates Pipelines CI/CD : Azure DevOps Pipelines, GitHub Actions, GitLab CI (interopérabilité) Scripting et Automatisation : PowerShell, CLI Azure, Python pour intégration avancée

Notre client recherche un expert Sysops Azure H/F pour une mission en freelance où il devra administrer, maintenir et faire évoluer une Landing Zone Azure sécurisée et automatisée. Il garantit l’exploitation opérationnelle des environnements Cloud, la gestion des ressources (compute, réseau, stockage, IAM), l’intégration avec les outils SI (authentification, supervision, sécurité) ainsi que l’automatisation des tâches récurrentes via Infrastructure as Code (IaC) et pipelines CI/CD. Le service inclut la mise en oeuvre opérationnelle des choix techniques validés en architecture, en collaboration avec les intégrateurs et les équipes internes travaillant sur d’autres Landing Zones multi-cloud. Il veille à la disponibilité, la sécurité et la scalabilité des services Cloud. Enfin, le service prévoit un accompagnement des équipes projets grâce à un support opérationnel continu, la fourniture de documentation, et le transfert de compétences, afin de garantir une exploitation fiable et durable. En tant que tel vos missions seront de: * Automatisation des infrastructures et pipelines * Intégration avec les outils SI et supervision * Gestion des environnements et support aux projets * Sécurité opérationnelle et conformité * Transfert de compétences et documentation * Respect du planning et jalons de livraison Environnement technique: Cloud et Services Azure * Compute : Virtual Machines (VM), Virtual Machine Scale Sets (VMSS), Azure Kubernetes Service (AKS), App Service, Azure Functions * Stockage et Bases de données : Azure Blob Storage, Azure Files, Azure Data Lake Storage Gen2, Azure SQL Database, Cosmos DB, Azure Database for PostgreSQL/MySQL, Synapse Analytics * Réseau et Sécurité : Réseau : Virtual Network (VNet), Subnets, VNet Peering, Private Link, Application Gateway, Azure Firewall, ExpressRoute, VPN Gateway Sécurité : Network Security Groups (NSG), Azure DDoS Protection, Azure Web Application Firewall (WAF), Microsoft Defender for Cloud, Sentinel (SIEM/SOAR) * Identité et accès : Microsoft Entra ID (ex-Azure AD), RBAC, Managed Identities, Privileged Identity Management (PIM), Conditional Access * Secrets et clés : Azure Key Vault, Managed HSM * Observabilité et Supervision : Azure Monitor, Log Analytics Workspace, Application Insights, Azure Metrics, KQL (Kusto Query Language), Workbooks et Dashboards * FinOps / Gestion des coûts : Azure Cost Management + Budgets & Alerts, Reservations et Savings Plans, Resource Tags et Management Groups pour l’allocation des coûts * DevEx / Automatisation : Terraform (AzureRM Provider), Bicep, Azure Resource Manager (ARM) templates, Azure DevOps Pipelines, GitHub Actions, Azure Policy & Blueprints * Intégration SI et Sécurité d’Entreprise * Fédération d’identité avec Microsoft Entra ID (SSO, Conditional Access, MFA, SCIM provisioning) * Intégration DNS (zones privées et publiques, Azure DNS + DNS on-premise) * Bastions sécurisés : Azure Bastion, jump hosts * Centralisation des logs vers Log Analytics / Sentinel * Supervision et monitoring hybrides (Azure Arc, Monitor on-prem & multi-cloud) CI/CD et Infrastructure as Code * Infrastructure as Code : Terraform (AzureRM modules), Bicep, ARM Templates * Pipelines CI/CD : Azure DevOps Pipelines, GitHub Actions, GitLab CI (interopérabilité) * Scripting et Automatisation : PowerShell, CLI Azure, Python pour intégration avancée