Python is a powerful and easy-to-learn programming language, widely used in data science, web development, and automation. Its extensive libraries and clear syntax make it a favorite among developers.
Positionné au sein de la DSI de l'entreprise, le Data Engineer intègrera l'équipe Conso Data qui traite les données de consommation des clients afin de les exposer sur les canaux digitaux. Il devra : - Être force de proposition et participer à la conception des solutions techniques en collaboration avec les membres de l'équipe. - Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels. - Participer aux cérémonies Agile SAFe (PI Planning, macro-chiffrage, refinements, rétrospectives, etc.). - Concevoir et faire évoluer les architectures de données basées sur l'approche Databricks Medallion Architecture (Bronze, Silver, Gold). - Garantir la qualité, la fiabilité et la performance des traitements de données en production. (Jobs Databricks et APIs) - Contribuer à l'amélioration continue de la plateforme en proposant des optimisations techniques, des bonnes pratiques et des innovations. Il sera notamment amené à : - Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers. - Mettre en œuvre et orchestrer les traitements de données à l'aide des outils Databricks. - Modéliser les données dans les tables Delta Lake en appliquant les bonnes pratiques de partitionnement, indexation, optimisation et gouvernance. - Optimiser les performances des traitements Databricks (Spark, Delta Lake, gestion des coûts et du temps d'exécution). - Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD. - Concevoir, développer et maintenir des APIs permettant l'exposition et la consommation des données. - Mettre en place des mécanismes de contrôle qualité des données (Data Quality), de monitoring et d'alerting. - Identifier, analyser et résoudre les incidents de production tout en assurant le suivi des actions correctives. - Rédiger et maintenir la documentation technique des solutions mises en œuvre. - Accompagner les équipes dans l'adoption des bonnes pratiques Data Engineering Environnement Technique : - Python, SQL - Spark, PySpark, DBUtils - FastApi, Pytest - Databricks, Unity Catalog - Ariflow (migration vers Databricks Workflow) - AWS (Lambda, secrect manager, Bucket S3, ECS) - Git et gestion du versioning - Déploiement pipeline CI/CD
Contexte du poste Rejoignez une entreprise dynamique spécialisée dans les solutions cloud et de connectivité pour le secteur B2B. Située à Marseille, notre entreprise bénéficie de plus de 20 années d'expérience et est malgré tout en pleine expansion, notamment grâce au développement de nos offres sur mesure, nous cherchons à étoffer notre équipe Cloud composée de 15 à 20 experts répartis entre Lyon, Nantes et Marseille. Nous recherchons un Ingénieur Linux pour devenir le référent en matière de configurabilité Linux au sein de notre équipe dédiée. L'agrandissement de l'équipe s'inscrit dans notre objectif d'obtenir la certification Secnum Cloud. Missions - Principales : Configuration et maintenance des infrastructures Linux, développement de solutions cloud sur mesure, gestion des clusters Kubernetes. - Annexes : Encadrement technique de l'équipe Linux, recherche et développement de nouvelles technologies pour répondre aux besoins des clients.
Dans le cadre du renforcement d'une équipe Network intégrée à une organisation Cloud Platform Engineering, nous recherchons un Tech Lead / Expert NetBox & IPAM pour intervenir sur des enjeux de gestion, d'automatisation et d'industrialisation des infrastructures réseau à grande échelle. Vous rejoindrez une équipe combinant expertise Network et pratiques DevOps, avec pour objectif de fournir des services réseau standardisés, scalables, sécurisés et hautement disponibles. En tant que référent technique NetBox / IPAM, vous interviendrez notamment sur : - La conception, l'évolution et la modélisation avancée des données réseau dans NetBox : IPAM, IPv4/IPv6, VRF, VLAN, inventaire et adressage RFC1918 ; - La fiabilisation de NetBox en tant que Source of Truth du SI réseau ; - Le développement de scripts et de plugins permettant d'automatiser les opérations réseau ; - La conception et l'implémentation d'API avec Python / FastAPI afin d'interconnecter NetBox avec les différents services réseau ; - L'intégration de NetBox aux outils Infrastructure as Code, notamment via Terraform ; - La génération et l'intégration de clients Python / Go au sein de providers Terraform internes ; - L'amélioration des pipelines CI/CD et des mécanismes de validation des données avec GitHub Actions ; - Le maintien en conditions opérationnelles des modules, scripts et automates développés par l'équipe ; - L'accompagnement technique de l'équipe sur les problématiques d'automatisation et d'industrialisation réseau. Vous évoluerez dans un environnement Cloud / DevOps comprenant notamment Terraform, GitHub Actions, Docker, Kubernetes, GKE, Cloud Run, Flux, Vault, RBAC et OPA. Des astreintes week-end et hors heures ouvrées sont prévues après environ deux mois de mission.
MissionsConcevoir et faire évoluer l'architecture IaC (Terraform) sur les environnements Cloud (Azure et/ou AWS) Définir les standards, bonnes pratiques et modules Terraform réutilisables (modularisation, versioning, registry interne) Mettre en place et industrialiser les pipelines CI/CD (GitLab CI, Jenkins, Azure DevOps) Piloter la gestion des états Terraform (backend, state locking, workspaces) Accompagner les équipes infra/dev dans l'adoption des pratiques DevOps/IaC Garantir la sécurité, la conformité et l'auditabilité des déploiements (policy as code, scanning IaC type Checkov/tfsec) Assurer la supervision, le monitoring et l'observabilité des infrastructures déployées Rédiger la documentation technique et les guides d'architecture
Nous recherchons un(e) Ingénieur(e) QA / Qualité Logicielle IT expérimenté(e) pour piloter les activités d'assurance qualité sur des plateformes de données complexes, des pipelines ETL et des écosystèmes basés sur le Cloud. Le poste nécessite une solide combinaison de compétences en tests manuels, SQL avancé, tests ETL/Data, réconciliation des données, tests d'API et tests de plateformes de données Cloud. La personne retenue travaillera en étroite collaboration avec les équipes pluridisciplinaires afin de garantir la qualité des mises en production de données. Responsabilités principales : Réaliser des tests de bout en bout des processus ETL et des workflows de données, en validant les processus d'extraction, de transformation et de chargement. Analyser les exigences fonctionnelles et techniques et élaborer des scénarios, cas et stratégies de tests détaillés. Rédiger et exécuter des requêtes SQL avancées afin de contrôler les jointures, agrégations, transformations et règles métier. Développer et maintenir des solutions automatisées de validation des données avec Python, PySpark et Pandas. Tester les pipelines de données développés avec Azure Data Factory, Azure Databricks et Azure Data Lake Gen2. Réaliser des tests d'API et d'intégration avec Postman et d'autres outils, en garantissant l'intégrité des données entre les différents services. Assurer la gestion du cycle de vie des anomalies, documenter les défauts, évaluer leur impact et collaborer avec les équipes concernées pour leur résolution. Suivre l'avancement des tests, communiquer l'état des activités et remonter les risques aux différentes parties prenantes.
3. Missions et responsabilités 3.1 — Reprise du poste et plan d'action (priorité immédiate) S'approprier l'existant : modèle de données, scripts et traitements, imports déjà réalisés, référentiel de règles de normalisation et documentation ; Dresser un état des lieux : antennes importées et restantes, anomalies ouvertes, points de qualité à arbitrer ; Proposer dès les premières semaines un plan d'action priorisé (lots, calendrier par antenne, risques), le faire valider par la DSI et le mettre en œuvre. 3.2 - Conduite des imports Planifier et conduire les imports antenne par antenne : extraction depuis l'entrepôt de données, transformation, chargement dans la base ; Garantir la re-jouabilité, les points de reprise (checkpoints), le retour arrière (rollback) et la traçabilité des transformations, sans jamais altérer les données sources ; Développer, maintenir et fiabiliser les scripts et outils d'automatisation de la reprise. 3.3 - Qualité des données Appliquer et enrichir les règles de normalisation (noms de famille en capitales, casse des prénoms et raisons sociales, apostrophes et caractères spéciaux, espaces superflus, codes postaux et numéros de téléphone outre-mer et étrangers) ; Mettre en œuvre les règles de dédoublonnage et les contrôles de cohérence ; Suivre des indicateurs de qualité (complétude, cohérence, doublons) et réaliser des contrôles systématiques avant et après chaque import. 3.4 - Accompagnement des antennes Être l'interlocuteur direct de chaque antenne pour la préparation de son import : inventaire des données, jeux d'essai, validation des résultats ; Expliquer les anomalies détectées de façon claire et pédagogique à des interlocuteurs non techniques, et les accompagner dans leur correction ; Faire preuve d'écoute pour comprendre les pratiques et contraintes propres à chaque antenne, et en tenir compte dans les traitements ; Formaliser les échanges et validations (comptes rendus, points de suivi). 3.5 - Pilotage et reporting Tenir à jour le suivi d'avancement des imports, produire les reportings associés (avancement, qualité des données) et rendre compte régulièrement à la DSI et au Product Owner ; Alerter au plus tôt sur les risques, blocages et arbitrages nécessaires ; S'intégrer dans les rituels agiles de l'équipe et travailler en lien étroit avec l'équipe de développement CRM ; Être en lien direct avec l'équipe de développement pour s'assurer que les données sont correctement intégrées à la base de données cible. 3.6 - Documentation et passation Maintenir une documentation à jour : procédures d'import, runbooks, règles appliquées, limites connues ; Préparer en fin de mission une passation complète permettant la reprise du chantier dans les meilleures conditions.
1. Contexte du besoin et Objectifs Au sein de la Direction des Systèmes d'Information (DSI) de notre client, le service Services Systèmes & Applications (SSA) cherche à optimiser l'efficience de son exploitation quotidienne. Dans une démarche d'amélioration continue et de réduction de la charge opérationnelle, nous recherchons un consultant expert en automatisation des tâches de production. L'objectif est de transformer les actes répétitifs manuels en processus automatisés fiabilisés pour garantir la continuité de service et libérer du temps pour les équipes sur les activités à forte valeur ajoutée. 2. Descriptif de la prestation attendue Vous interviendrez sur les chantiers suivants : Automatisation des actes récurrents : Identifier, concevoir et déployer des solutions d'automatisation pour les tâches quotidiennes d'exploitation (gestion des jobs/batchs, purges, redémarrages de services, mises à jour courantes). Industrialisation de l'exploitation (Run) : Développer et maintenir des scripts d'automatisation avancés (Python, PowerShell, Bash, Ansible) pour standardiser les opérations de production. Utilisation de Gitlab SaaS. Fiabilisation et standardisation : Réduire le taux d'incidents lié aux erreurs humaines par la mise en place de workflows automatisés et de contrôles automatisés systématiques. Observabilité opérationnelle : Assurer la remontée d'alertes pertinentes liées aux scripts d'automatisation et intégrer ces derniers dans les outils de supervision (Grafana, Centreon, Dynatrace). Support & Transfert : Accompagner l'équipe de production dans l'appropriation des nouvelles solutions automatisées et documenter les procédures pour assurer une maintenance autonome. 3. Compétences Techniques Scripting & Automatisation : Expertise approfondie en Python, PowerShell et Bash. Maîtrise d'Ansible pour l'orchestration des tâches d'exploitation. Orchestration & Batch : Bonne connaissance des outils de gestion de batchs et d'automatisation des tâches planifiées. Exploitation Système : Solide maîtrise des environnements Windows Server et Linux, ainsi que des fondamentaux des bases de données pour les actes d'administration courante. Supervision : Expertise des outils de supervision (Centreon, Grafana) Méthodologie : Bonne compréhension des enjeux ITIL (gestion des incidents, changements et problèmes) et capacité à rédiger des procédures d'exploitation claires. 4. Livrables Attendus Bibliothèque de scripts d'automatisation documentée et versionnée. Fiches de procédures automatisées ("Runbooks" industrialisés). Rapport d'analyse des gains opérationnels (réduction des temps de traitement/incidents). Documentations de transfert de compétences pour les équipes internes.
Dans le cadre de la modernisation de son Système d'Information, la DSI recherche un Data Engineer Azure afin de concevoir, développer et faire évoluer les plateformes d'intégration et de traitement des données. Vous interviendrez sur plusieurs programmes stratégiques autour des architectures Event-Driven, de la modernisation des flux d'intégration, de la plateforme Data Azure ainsi que des projets analytiques. L'objectif est de construire des solutions robustes, évolutives et maintenables répondant aux enjeux de temps réel, de qualité des données et de performance. Équipe : 2 PO et 7 Data engineers DÉVELOPPEMENT DE LA PLATEFORME MIDDLEWARE AZURE Vous participerez à la conception et au développement d'une plateforme d'intégration temps réel basée sur une architecture Event-Driven. À ce titre, vous serez amené à : - Concevoir des architectures d'intégration basées sur Azure Service Bus et Azure Event Grid. - Développer des Azure Function Apps permettant le traitement, la transformation et le routage des événements. - Concevoir et développer des APIs et composants d'intégration robustes. - Participer aux choix d'architecture technique et aux bonnes pratiques de développement. - Garantir la scalabilité, la résilience et les performances des traitements. - Mettre en œuvre les mécanismes de gestion d'erreurs (Retry, Dead Letter Queue, Idempotence). - Assurer la sécurisation des échanges via Azure Key Vault. Vous interviendrez notamment sur : - Synchronisation des commandes d'achat entre Trax et NetSuite - Intégration des données de vols au format AIDX. - Automatisation des flux d'heures et cycles APU. - Développement de nouveaux flux événementiels entre les applications du SI. QUALITÉ DE DÉVELOPPEMENT Une attention particulière sera portée à la qualité du code produit. Le consultant devra appliquer les bonnes pratiques de développement Python : - Développement d'un code lisible, maintenable et documenté. - Respect des principes Clean Code et SOLID. - Séparation des responsabilités et modularisation. - Gestion robuste des exceptions. - Optimisation des performances. - Revue de code (Code Review). - Développement de tests unitaires avec Pytest. - Respect des conventions de développement (PEP8). - Documentation technique des composants. INDUSTRIALISATION & DEVOPS Vous participerez à l'industrialisation des développements : - Mise en place des pipelines CI/CD sous Azure DevOps. - Déploiement des ressources Azure via Bicep. - Infrastructure as Code. - Gestion des versions avec Git. - Supervision et monitoring des traitements. - Documentation des architectures et des flux. - Amélioration continue des processus de développement.
Bonjour , RECHERCHE – AI / DATA ENGINEER SENIOR – MCP & AGENTS IA Je recherche un profil Senior Data / AI Engineer, très hands-on, pour intervenir sur des sujets d'IA générative, Agents IA, MCP et développement Python. 🔹 Expérience : 5 ans minimum 🔹 Profil : Data / IA / Software Engineering 🔹 Environnement : IA générative, LLM, Agents IA 🔹 Mission : développement de solutions IA industrialisables 🛠️ Compétences indispensables : IA & Agents • IA générative / LLM • Agents IA & Skills • Prompt Engineering • Conception de solutions IA MCP – Model Context Protocol • Très bonne connaissance de MCP • Développement de MCP Servers • Expérience de bout en bout : conception, développement, tests et intégration Développement • Python – confirmé • APIs / services web • Git • Tests unitaires & intégration • CI/CD Très appréciées : • Expérience concrète de mise en production de MCP Servers • Architectures Agentic AI • RAG • Plusieurs LLM / environnements IA générative • Cloud / DevOps • Sécurité des agents IA Sujet clé de la mission : Concevoir et développer des Skills IA, notamment autour de la conception et de la recette, avec l'objectif de construire des solutions robustes, réutilisables et industrialisables. 👤 Nous recherchons un profil hands-on, capable de comprendre un besoin, proposer une architecture, développer les composants nécessaires et transformer rapidement un prototype en solution industrialisable. Vous êtes disponible ou connaissez un profil correspondant ? N'hésitez pas à me contacter en MP ou à m'envoyer votre CV.
Bonjour à toutes et à tous, notamment aux Senior DevOps / Cloud Engineers 👨💻☁️ ! 🔎 Je cherche un/e Senior DevOps / Cloud Platform Engineer pour intervenir sur une mission stratégique au sein d'un environnement digital à forts enjeux Cloud, infrastructure et industrialisation. Tu évolueras dans un contexte où la fiabilité, l'automatisation, la scalabilité et l'industrialisation des plateformes Cloud sont au cœur des priorités. 💻 Ce que tu vas faire : Construire, faire évoluer et opérer la fondation Cloud Concevoir et maintenir les architectures projets, réseaux et environnements Cloud Mettre en place et industrialiser l'Infrastructure as Code avec Terraform Développer des modules réutilisables pour les équipes applicatives Gérer les problématiques d'identité, de sécurité, de tagging et de gouvernance Cloud Concevoir et maintenir les pipelines CI/CD Automatiser les déploiements et améliorer les stratégies de release, promotion et rollback Travailler sur des environnements conteneurisés avec Docker et Kubernetes Superviser et améliorer la production : monitoring, alerting, observabilité et gestion des incidents Automatiser les tâches opérationnelles récurrentes Contribuer à l'optimisation des performances et des coûts Cloud Accompagner les équipes de développement dans l'utilisation de la plateforme 🎯 Stack technique : Terraform / Python / SQL / Bash / Shell / GCP / Azure / GKE / Cloud Run / Cloud SQL / BigQuery / IAM / VPC / Cloud Build / AKS / App Service / Azure SQL / Entra ID / VNet / Azure DevOps / Docker / Git / CI/CD / GitHub Actions / GitLab CI / Azure Pipelines / Monitoring / Observabilité / NewRelic 🚀 Les plus de la mission : Environnement Cloud à forts enjeux Mission longue avec une vraie dimension d'industrialisation Rôle clé au cœur de la plateforme et des infrastructures Enjeux d'automatisation, de fiabilité et de scalabilité Stack Cloud moderne autour de GCP / Azure / Terraform / CI/CD Mission où ton expertise Cloud / DevOps pourra réellement faire la différence 📍 IDF : rythme hybride 🏡 📅 Démarrage : ASAP ⏳ Mission longue Qu'en penses-tu ? Une excellent week-end à tous 🕺🌞