Find your next tech and IT Job or contract Big Data

Tâches à réaliser : Garantir la disponibilité, fiabilité et performance des applications budgétaires, en particulier lors des périodes critiques Maintenir un niveau conforme en matière de sécurité et conformité (RGPD, ISO 27001…) Gérer les évolutions applicatives et le support utilisateurs Traiter les anomalies et maintenir la documentation opérationnelle Identifier et mettre en œuvre des pistes d’industrialisation · Participer au projet de refonte EPM Pigment Optimiser et moderniser les processus de prévisions budgétaires (automatisation, rationalisation, modularité) Sécuriser et fiabiliser les interfaces et flux entre cycles de planification Renforcer l’agilité métier : ajout d’axes d’analyse, gestion d’organisations évolutives, restitution automatisée Participer à la conception de l’architecture Pigment (data hub, connecteurs, intégration SI, reprise de données)

Big Data Systems Engineer Highest Level of Clearance Full time onsite You will be responsible for designing, implementing, and maintaining scalable big data systems that support our data science, machine learning, and AI workloads. You will work closely with cross-functional teams to ensure seamless data integration, security, and compliance with GDPR and privacy regulations. Your expertise in scripting, troubleshooting, and integration testing will be essential in optimizing our data pipelines and orchestration processes. Role responsibilities: * Scripting and Automation: Develop and maintain scripts for automating data processes and workflows. * Troubleshooting: Diagnose and resolve technical issues related to big data systems, data pipelines, and integrations. * Integration Testing: Conduct thorough testing to ensure seamless integration of new tools and technologies into existing systems. * Linux Internals: Utilize in-depth knowledge of Linux internals to optimize performance and reliability of big data infrastructure. * Network Protocols: Apply understanding of TCP/IP and OSI models in the design and troubleshooting of networked systems. * Data Pipeline Support: Manage and optimize data pipelines and orchestration tools such as NiFi and Airflow. * Scalable System Design: Design scalable big data systems with a focus on security, GDPR compliance, and privacy * Hybrid Cloud Management: Leverage hybrid cloud experience to manage on-premise and AWS cloud resources effectively * Data Science Support: Support data science, machine learning, and AI workloads using tools like Jupyter, Spacy, Transformers, and NLTK. * Big Data Platforms: Utilize big data NoSQL engines and platforms such as Hive, Impala, and Elasticsearch for data storage and processing * BI and Visualization: Implement and support business intelligence and visualization tools like Tableau, Kibana, and PowerBI to provide actionable insights. We are looking for: * Strong troubleshooting skills and the ability to diagnose and resolve complex technical issues. * Experience with integration testing and ensuring seamless tool integration. * In-depth knowledge of Linux internals and system administration. * Understanding of TCP/IP and OSI models. * Hands-on experience with data pipeline tools like NiFi and Airflow. * Proven ability to design scalable big data systems with a focus on security and GDPR compliance. * Hybrid cloud experience, specifically with on-premise and AWS cloud environments. * Familiarity with data science, machine learning, and AI tools such as Jupyter, Spacy, Transformers, and NLTK. * Experience with big data NoSQL engines/platforms such as Hive, Impala, and Elasticsearch. * Proficiency with business intelligence and visualization tools like Tableau, Kibana, and PowerBI. * Excellent communication and collaboration skills. Preferred Qualifications: * Certification in AWS or other cloud platforms. * Experience with additional data orchestration tools. * Familiarity with other big data tools and technologies. * Previous experience in a similar role within a dynamic and fast-paced environment. Please send your latest CV Due to the nature and urgency of this post, candidates holding or who have held high level security clearance in the past are most welcome to apply. Please note successful applicants will be required to be security cleared prior to appointment which can take up to a minimum 18 weeks. LA International is a HMG approved ICT Recruitment and Project Solutions Consultancy, operating globally from the largest single site in the UK as an IT Consultancy or as an Employment Business & Agency depending upon the precise nature of the work, for security cleared jobs or non-clearance vacancies, LA International welcome applications from all sections of the community and from people with diverse experience and backgrounds. Award Winning LA International, winner of the Recruiter Awards for Excellence, Best IT Recruitment Company, Best Public Sector Recruitment Company and overall Gold Award winner, has now secured the most prestigious business award that any business can receive, The Queens Award for Enterprise: International Trade, for the second consecutive period.

Bonjour, Pour le compte de notre client nous recherchons un TECH LEAD BIG DATA Le domaine d’intervention du Tech Lead Data Engineering comprend les études, l’architecture du SI Big Data, le choix des solutions et outils, le pilotage technique du Build et du Run. Comme référent technique Big Data, vous assurez le lead technique de l’équipe de développeurs, avec en responsabilité, la conception et la mise en œuvre des solutions Big Data, ainsi que le pilotage technique de projets. Sous la responsabilité du responsable du SI Big Data, vous piloterez techniquement les activités de Data Engineering : - étude et prise en compte des besoins de traitement de la data, - gestion des priorités et de la cohérence des besoins, - choix des outils et solutions - conception et mise en œuvre des architectures de données évolutives et performantes, sécurisées et résilientes - direction et encadrement technique d’une équipe de data ingénieurs composée d’intervenants externes : suivi, support, adoption des bonnes pratiques de développement sécurisé - suivi de la qualité, de la sécurité des données et des traitements, de la performance opérationnelle des traitements - participation et support au delivery nécessitant l’expertise technique et data - veille technologique pour rester à l’état de l’art en matière de traitement massif des données, et d’utilisation de l’IA pour l’automatisation, la prédiction, la génération de data et de code. - support des équipes Data Science et R&D sur le cycle de déploiement/optimisation et industrialisation des solutions d’IA - conception et mise en place d'API pour l'intégration des solutions Big Data avec d'autres systèmes, - développement et intégration de modèles d'IA générative pour des applications spécifiques, - assurer la maintenance et l'évolution des API et des modèles d'IA générative.

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la maintenance, support et construction des plateformes d'ingestion de données (dont Apache NiFi) et d'une interface REACTJS/Sprintboot exposant des API sur des infrastructures on premise et cloud IBM (VM et Kubernetes). Missions principales Support (MCO/fonctionnement opérationnel des services) et résolution des problèmes N2 et N3 en Production avec analyse des root causes Accompagnement des clients dans l'utilisation des plateformes Création d'offres d'ingestion de données ainsi que leur automatisation et industrialisation Déploiement des plateformes NiFi Administration/sécurisation des clusters et des services applicatifs Upgrade des technologies (life cycle management) et tests associés

Concevoir, industrialiser et opérer des plateformes data “cloud-native” sur Kubernetes, incluant l’orchestration de pipelines via Airflow sur Kube, afin d’accélérer l’ingestion, le traitement et la mise à disposition de données à grande échelle (batch & near-real time) avec des standards élevés de fiabilité, sécurité et coûts. Responsabilités clés Architecture & design Définir l’architecture Data on Kube (ingestion, stockage, calcul, orchestration, observabilité). Modéliser et standardiser les data pipelines (DAGs Airflow) et patterns d’infrastructure (Helm/Kustomize). Industrialisation & déploiement Packager et déployer Airflow sur Kube (Helm chart officiel/Astro/OSS) avec HA, RBAC, autoscaling. Mettre en place des opérateurs Airflow (KubernetesPodOperator, SparkK8sOperator, etc.). Automatiser via GitOps (Argo CD/Flux) et CI/CD (GitHub Actions/GitLab CI). Opérations & SRE Gérer la capacité, le autoscaling (HPA/VPA/Karpenter), la QoS et l’optimisation des coûts (requests/limits, Spot/Preemptible). Observabilité end-to-end (logs, metrics, traces) et runbook d’incident (SLA/SLO/SLI). Sécuriser la plateforme (NetworkPolicy, Secrets, IAM, image signing, pod security). Data Engineering sur Kube Exécuter Spark/Flink/Beam sur K8s ; optimiser ressources, shuffle, I/O. Normaliser les environnements d’exécution (Docker base images, Python/Java runtimes). Gouvernance & qualité Mettre en place un data contract / schema registry , tests de données (Great Expectations/Deequ), lineage (OpenLineage/Marquez). Accompagnement Enablement des équipes data (templates, cookbooks), code reviews , mentorat et evangelism des bonnes pratiques.

Nous recherchons un Tech Lead Databricks pour rejoindre l’équipe Data en pleine expansion de notre client, leader dans le domaine de la maitrise des risques. Vous aurez la responsabilité d’assurer la conception et la mise en œuvre de solutions de data engineering et data science sur la plateforme Databricks, tout en assurant le leadership technique pour une équipe de développeurs et data engineers. MISSIONS Leadership technique Coacher une équipe de data engineers, data scientists, et développeurs travaillant sur la plateforme Databricks Mettre en place des bonnes pratiques de développement et veiller à la qualité du code (revues de code, tests unitaires) Conception et architecture Concevoir et implémenter des solutions techniques sur Databricks pour répondre aux besoins des équipes métiers (data analytics, data science) Définir des architectures évolutives et performantes pour l'ingestion, le traitement et l’analyse des données Participer à la modélisation de données Travailler en étroite collaboration avec les architectes, les équipes applicatives et équipes métiers pour définir des solutions adaptées Développement et intégration Développer des pipelines de données et des workflows de traitement de données dans Databricks Assurer l'intégration des solutions avec d'autres outils et systèmes (bases de données, systèmes de stockage, outils de BI) Participer au développement des tableaux de bord sous Power BI Optimisation des performances Identifier et résoudre les problèmes de performance dans les flux de données et l'architecture Mettre en place des mécanismes d'optimisation des coûts liés à l’utilisation de la plateforme Databricks Veille technologique et innovation Assurer une veille sur les nouvelles technologies et pratiques dans l’écosystème Big Data et Databricks Proposer des améliorations continues pour augmenter l’efficacité des processus et la qualité des données Accompagner et former les équipes IT aux bonnes pratiques ITIL

Dans le cadre d’un diagnostic Data Lake et Cloud pour un grand opérateur télécom, nous recherchons un Data Architect Senior Big Data & Cloud. La mission consiste à évaluer l’architecture data existante, analyser la résilience et la performance des pipelines, identifier les points de friction, et proposer des recommandations pragmatiques. Le consultant interviendra sur l’écosystème Big Data (Hadoop, Spark, MapR, ClickHouse) et sur l’évaluation des workloads cloud (AWS, Azure, GCP). Compétences clés : Hadoop / Spark / MapR / ClickHouse (écosystèmes Big Data open source). Orchestration de pipelines : Airflow, Dagster… Logs, monitoring, optimisation de la performance. Expérience on-premise & cloud (AWS, Azure, GCP). Capacité à évaluer workloads cloud et produire une matrice de risques . Connaissances sécurité data (contrôles d’accès, RGPD, loi marocaine 09-08 un plus).

Construire et déployer des infrastructures Cloud Public (principalement sur Microsoft Azure) pour les projets Data. Industrialiser les architectures cibles et configurer les équipements via des chaînes CI/CD automatisées. Assurer la fiabilité et la sécurité des plateformes , en mettant en place la supervision, la haute disponibilité et les bonnes pratiques de sécurité Cloud. Collaborer avec les équipes développement, sécurité et projets pour accompagner la transformation Data dans un environnement Agile.

Pour mon client bancaire, je recherche MOA / BA - Mise en place d'un Datalake Hadoop. Vous interviendrez sur les sujets liés aux métiers du Financement Structuré et du Risk Management. Recueil des besoins et animation d’ateliers avec les équipes métiers (Financing & Risk) Rédaction de spécifications fonctionnelles claires et structurées Contribution à la modélisation des données et au design fonctionnel Préparation, exécution et suivi des tests utilisateurs Présentation des livrables aux équipes métiers et rédaction de synthèses Accompagnement des utilisateurs dans la conduite du changement Suivi de la qualité de production et amélioration continue

Contexte Dans un contexte de forte croissance des usages numériques et d’accélération de la transformation digitale , les données et l’intelligence artificielle constituent des leviers stratégiques pour améliorer l’expérience client, optimiser les opérations et soutenir l’innovation. La montée en puissance de nos plateformes data, combinée à l’émergence de nouvelles technologies (cloud data platforms, big data, IA générative, MLOps), exige un pilotage technique et organisationnel solide pour garantir la qualité, la robustesse et la scalabilité de nos solutions. Afin d’accompagner cette dynamique, la société souhaite renforcer son organisation en s’appuyant sur un prestataire disposant d’une forte expertise en management et delivery d’équipes Data & IA, capable de piloter l’ensemble du cycle de vie de nos produits data/IA, de soutenir la montée en compétence des équipes, et d’assurer la cohérence technique et opérationnelle de notre écosystème data. Livrables Activités & responsabilités 1. Constitution & maturité des équipes Data & IA - Recruter, staffer et faire monter en compétence les équipes Data/IA. - Assurer un équilibre entre roadmap produit et ressources Tech Data/IA. - Garantir l’adoption des bonnes pratiques (clean code, sécurité, data quality, éthique de l’IA, observabilité). 2. Management de proximité - Encadrer les développements Data & IA et promouvoir une culture de feedback. - Gérer la motivation, la cohésion et la montée en compétence des équipes. - Définir les objectifs individuels et collectifs, et suivre leur atteinte. 3. Delivery & Production - Piloter la qualité du delivery des solutions Data & IA (délais, coûts, engagements). - Mettre en place des standards et process de delivery adaptés (MLOps, CI/CD pour modèles IA, monitoring des données et modèles). 4. Collaboration avec les équipes Produits & Métier - Aligner les équipes Data/IA avec les enjeux produits et métiers. - Travailler avec les responsables produit, data owners et business stakeholders pour transformer les besoins en solutions concrètes. 5. Contribution technique - Participer à la définition des solutions Data & IA en gardant un rôle de facilitateur technique (sans être sur le chemin critique). - Challenger les choix technologiques (data architecture, frameworks IA, cloud) et favoriser l’innovation. - Développer une vision long terme sur la gouvernance et la stratégie Data & IA. ## Interactions - Avec l’écosystème Tech et Produit : pour le pilotage des équipes et le delivery des projets Data & IA. - Avec les équipes Métier : pour comprendre les besoins et maximiser la valeur business des cas d’usage IA. - Avec les RH / Managers RH : pour le suivi des collaborateurs (formation, évolution, mobilité). Description - Garantir la cohérence technique et la qualité des produits Data & IA en collaboration avec les experts et les équipes de delivery. - Encadrer et faire grandir les équipes de développement Data/IA (DE , travailler avec des DS, MLOps, etc.) pour répondre aux enjeux business et techniques. - Définir et piloter la trajectoire de delivery (qualité, respect des engagements) pour assurer la mise en production fluide et sécurisée des solutions Data & IA. - Maintenir et développer les compétences clés des équipes dans un contexte technologique en forte évolution (cloud data platforms, IA générative, big data, MLOps). - Assurer la qualité de service en production des solutions Data & IA (robustesse, performance, monitoring, observabilité).

Fournir un accompagnement fonctionnel et technique solide pour garantir la conception adéquate de la plateforme de données et d'analyse, en visant des solutions techniques et d'intégration de pointe. Concevoir, coordonner et exécuter des projets pilotes, des prototypes ou des preuves de concept pour valider des scénarios spécifiques. Diriger et coordonner les activités opérationnelles liées à la plateforme de données et d'analyse. Assurer la responsabilité de la documentation technique des plateformes impliquées dans la plateforme. Collaborer avec les architectes d'entreprise pour aligner les conceptions de la plateforme de données et d'analyse sur l'architecture globale et contribuer à cette architecture. Superviser et améliorer continuellement l'architecture et l'écosystème de la plateforme de données et d'analyse. Maintenir une connaissance approfondie des outils et plateformes utilisés dans la plateforme de données et d'analyse, ainsi que de leur écosystème et de leur feuille de route. Répondre aux besoins organisationnels des différents utilisateurs de la plateforme de données et d'analyse, notamment les data scientists, les data engineers et les développeurs Qlik. Mener la transition continue du système sur site vers le cloud public. Coaching de l'équipe de développement dans les domaines pertinents.

Nous recherchons un ingénieur Big Data confirmé pour intervenir sur une plateforme Datalake de grande envergure. Vous apporterez votre expertise technique sur l’exploitation et l’évolution d’un écosystème Big Data complexe et moderne, et contribuerez à son maintien en condition opérationnelle ainsi qu’à son amélioration continue. Vos principales missions : Assurer le maintien en conditions opérationnelles de la plateforme Big Data (MCO, incidents, demandes projets/utilisateurs). Contribuer à l’ implémentation et à l’automatisation des solutions. Réaliser et suivre les mises en production . Participer à l’ amélioration continue des outils et processus d’exploitation. Communiquer et accompagner les utilisateurs finaux. Produire les livrables attendus : Récapitulatif mensuel des tickets traités (incidents, demandes). Statut bimensuel des projets en cours.

Responsabilités clés 1. Migration Réaliser l’inventaire des flux, usages BI et pipelines existants. Définir le séquencement et les jalons de bascule par périmètre métier. Identifier les dépendances critiques, organiser les périodes de double-run. Piloter la mise en conformité et les tests de non-régression. 2. Gouvernance Mettre en place un cadre fédéré : rôles (owner, steward, plateforme), responsabilités, comités. Définir et documenter les règles : qualité, accès, certification ( gold ), catalogage, contrats de données. Assurer la traçabilité, l’auditabilité et la conformité réglementaire (RGPD, normes internes). 3. MLOps / DataOps & IA Standardiser les chaînes de traitement : pipelines déclaratifs, tests de qualité intégrés, observabilité. Définir les processus de mise en production et de suivi des modèles IA : drift, coût, performance, explicabilité. Mettre en place la séparation claire entre environnements (sandbox vs production). Garantir la fiabilité des services data et IA en production. 4. Politique budgétaire / FinOps Élaborer et piloter le budget cible (licences, run, évolutions). Définir des KPI financiers : coût par usage, €/TB traité, coût par modèle IA, variance vs budget. Mettre en place le showback/chargeback par domaine ou produit. Industrialiser le suivi FinOps via tableaux de bord et alertes.

Vos Responsabilités Clés Conception d'Architectures Data GCP : Définir et concevoir des architectures Data Cloud robustes, sécurisées et évolutives (Data Lakes, Data Warehouses, Data Mesh, solutions d'Analytics) en utilisant les services natifs de GCP. Expertise et maîtrise de services clés tels que BigQuery, Dataflow, Dataproc, Cloud Storage, Pub/Sub et Vertex AI . Stratégie Multi-Cloud et Migration : Contribuer à la stratégie Multi-Cloud du groupe, en assurant l'interopérabilité et l'intégration des services Data de GCP avec d'autres fournisseurs (AWS/Azure) ou les systèmes on-premise . Mener des phases de migration de systèmes de données existants (Legacy) vers la cible Cloud, en déterminant la meilleure approche (Re-platforming, Refactoring). Gouvernance et Sécurité (Cloud Data Security) : Définir la Landing Zone Data sur GCP , incluant les politiques de sécurité (IAM, KMS) et la gestion de la conformité réglementaire Data. Garantir la mise en œuvre de l' Infrastructure as Code (IaC) via Terraform pour le déploiement reproductible et sécurisé des plateformes Data. Optimisation et Conseil : Mettre en place des pratiques de FinOps pour optimiser les coûts liés au stockage et au traitement des gros volumes de données sur GCP. Fournir un leadership technique et un support aux équipes de Data Engineers et Data Scientists.

Activités de la mission : 1. Comitologie, documentation et cartographie data : · Préparation et animation d'instances transverses DSIM de présentation de projets Data et de validation des solutions techniques associées (league Design Data, diverses Guildes data dédiées) · Documentation des assets data de la plateforme DSIM (espaces SimDoc, Datahub + Datalab) · Cartographie des données et conception / développement d'outillage 2. Expertise Data : · Accompagnement technique / conseil Data / Big Data aux équipes projets (Datahub + Datalab) · Aide à l’analyse / Conception / Refonte d'assets data transverses (Datahub + Datalab) · Aide au suivi des évolutions et migrations de la stack technique de la plateforme DSIM 3. Facilitation sujets data : · Aide à la médiation inter projets · Aide à l'expression de besoin/spécifications technico-fonctionnelles

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons un/une ingénieur spécialisé dans l’exploitation et le support de plateformes Big Data. Role : assurer le maintien opérationnel des plateformes Spark et Airflow tournant sur Kubernetes : Bonne vision de l'univers prod dans la big data Bon niveau en Kubernetes attendu Anglais courant Disponible ASAP Bonnes pratiques d’exploitation de traitements data distribués. Connaissances en tuning Spark, gestion des ressources, profiling applicatif. Capacités rédactionnelles pour formaliser les procédures d’exploitation et de diagnostic. Compétences en scripting (Ansible, Python, Bash..) appréciées. Maitrise chaine CI/CD (Git, jenkins, Gitlab CI, ….)