Trouvez votre prochaine mission ou futur job IT.

Contexte de la consultation Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance. __________ 2. expertise technique et opérationnelle plateforme Data reposant notamment sur : • Kubernetes pour l’orchestration des composants ; • Apache Spark pour le traitement distribué de données ; • Apache Airflow pour l’orchestration des workflows ; • Starburst / Trino pour l’interrogation distribuée des données ; • les outils associés de supervision, logs, alerting, sécurité et déploiement. Le consultant interviendra en appui des équipes de production, d’infrastructure, de Data Engineering, d’architecture et des métiers afin d’assurer le maintien en conditions opérationnelles, l’analyse des incidents, l’optimisation des traitements et l’amélioration continue de la plateforme. __________ 3. Objectifs de la prestation La mission devra permettre d’atteindre les objectifs suivants : • assurer un support de niveau expert sur les incidents liés à Spark, Airflow, Starburst/Trino et Kubernetes ; • améliorer la stabilité opérationnelle des workloads Data ; • diagnostiquer et corriger les problèmes de performance, de consommation de ressources ou de fiabilité ; • accompagner les équipes projets dans la mise en production de nouveaux traitements ; • assister les métiers dans l’usage optimisé de la plateforme ; • définir et formaliser des bonnes pratiques techniques ; • optimiser le dimensionnement et l’allocation des ressources Kubernetes ; • contribuer à la réduction des coûts d’exploitation liés à une mauvaise consommation CPU, mémoire, stockage ou I/O ; • renforcer l’observabilité, le monitoring et les procédures d’exploitation ;

Prestation : Prestation d’expertise Data Platform Technique : Kubernetes — Spark — Airflow — Starburst Contexte : Dans le cadre de l’exploitation, de la sécurisation et de l’amélioration continue de sa plateforme Data, l’entreprise souhaite s’appuyer sur une expertise externe spécialisée autour des technologies Apache Spark, Apache Airflow et Starburst/Trino, déployées et opérées sur une infrastructure Kubernetes. Cette plateforme constitue un socle critique pour l’exécution de traitements de données, l’orchestration de chaînes applicatives, l’exposition de services analytiques et l’interrogation distribuée de données par les équipes métiers, projets et Data. Les enjeux principaux sont les suivants : • garantir la stabilité et la disponibilité de la plateforme ; • améliorer la qualité du support production ; • réduire les incidents récurrents ; • optimiser l’usage des ressources Kubernetes ; • accompagner les équipes métiers et techniques dans leurs usages ; • renforcer les bonnes pratiques d’exploitation, de tuning et d’industrialisation ; • améliorer la performance des traitements Spark, des DAG Airflow et des requêtes Starburst/Trino. La prestation attendue s’inscrit dans un contexte de production, avec des exigences fortes en matière de disponibilité, de maîtrise des incidents, de sécurité, de traçabilité et de performance.

Nous recherchons un(e) Data Engineer AWS Senior pour intégrer l’un de nos partenaires grand compte situé en Île-de-France. Vous rejoindrez une équipe agile et interviendrez sur des projets Data à forte valeur ajoutée. Dans ce cadre, vos missions seront les suivantes : Développement & intégration • Participation aux spécifications techniques • Développement de flux et pipelines de données Tests & support • Tests et recette • Support et maintenance des solutions Collaboration • Collaboration avec les équipes métiers et techniques Vous évoluerez dans un environnement technique comprenant AWS (EMR, S3, Lambda, Iceberg), Spark, Airflow et SQL.

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.

Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, rédaction de spécifications fonctionnelles générales et détaillées - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements.

Résumé Le consultant Data Scientist / Data Engineer aura pour mission de concevoir et optimiser des systèmes de machine learning pour le traitement et l'analyse de données à partir de sources multi-données. Ce que nous recherchons Excellentes compétences en Python , avec une maîtrise de Polars et/ou Pandas . Expérience en traitement automatique du langage naturel (NLP) et en fine-tuning de modèles de machine learning légers . Expérience en Scala et Apache Spark pour les parcours orientés Data Engineering . Capacité à concevoir, développer et évaluer des pipelines de données . Familiarité avec les frameworks d’agents IA , notamment LangGraph . Capacité à adapter et évaluer des systèmes de machine learning sur différents contextes géographiques, linguistiques et domaines de données. Expérience dans l’ orchestration et l’optimisation de pipelines pour l’ingestion de données à grande échelle provenant de multiples sources.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Bonjour, pour le compte de notre client du secteur de l'energie. Nous somme à expert technique BI.. Il est attendu qu’il maîtrise les socles Databricks et PowerBI. Databricks (Spark, Delta Lake, pipelines, optimisation) ETL / Data Engineering (Python, SQL, pipelines de données) un niveau avancé sur les technos suivante ; PowerBI (modélisation, DAX, déploiement) Modélisation de données BI / architecture de la donnée Veille & vision de l'évolution du marché BI (analytique agentique, BI conversationnelle) Pratiques Agile / Scrum (Jira, Confluence) et un niveau confirmé sur : Azure (Synapse, Data Factory, Storage) Outillage agentique IA & GenAI appliqués à la donnée (talk to your data, GenBI, agents data)

Contexte de la mission Dans le cadre de l'optimisation et de l'unification de ses capacités analytiques transversales, l'entreprise recherche un consultant Data Analytics Engineer autonome pour une mission d'intégration, de modélisation et de restitution des données Corporate stratégiques du groupe. Cette initiative vise à fournir une vision consolidée et exploitable des indicateurs clés provenant de diverses sources internes, essentielles à la prise de décision stratégique et opérationnelle. Objectifs de la mission -Établir et sécuriser des connexions techniques robustes et évolutives avec les systèmes sources Corporate identifiés (ERP, Plateformes Financières, RH, ITSM etc.). -Extraire et charger les données des domaines fonctionnels Corporate clés : finance, ressources humaines, référentiels, achats, etc. -Concevoir et implémenter des pipelines d'ingestion automatisés fiables et performants, garantissant l'intégrité et la fraîcheur des données. -Structurer et modéliser les données dans un entrepôt de données (Data Warehouse Snowflake) de manière logique, modulaire, réutilisable et optimisée pour l'analyse et la restitution. -Mettre en place des mécanismes de gouvernance des données : gestion des métadonnées, logiques de rafraîchissement, suivi de la qualité des données et gestion des erreurs. -Développer des vues et agrégats de données spécifiques aux besoins de restitution et d'analyse des différents départements Corporate. -Documenter de manière exhaustive les pipelines d'ingestion, les modèles de données (logique et physique), les règles de transformation et les points de reprise pour assurer la maintenabilité et la transférabilité.

Dans le cadre du renforcement de la plateforme Data, notre client recherche un expert pour accompagner la mise en place d’une Data Platform moderne dans un contexte d’industrialisation et de structuration des pratiques Cloud & Data. Les missions principales sont : Intégration et configuration des composants de la plateforme Data Industrialisation des déploiements (CI/CD, automatisation) Mise en œuvre des pratiques GitOps Accompagnement des équipes sur l’utilisation de la plateforme Contribution à l’évolution de l’écosystème Data

Introduction & Résumé Ce poste a pour but d'optimiser et d'unifier les capacités analytiques. Un consultant Data Analytics Engineer autonome est recherché pour intégrer, modéliser et restituer les données stratégiques du groupe. L'objectif principal est de fournir une vision consolidée et exploitable des indicateurs clés pour la prise de décision. Responsabilités Établir des connexions techniques sécurisées avec les systèmes sources (ERP, Finances, RH, etc.). Extraire et charger des données issues de différents domaines fonctionnels. Concevoir des pipelines d'ingestion automatisés fiables. Structurer et modéliser les données dans un Data Warehouse (Snowflake). Mettre en place des mécanismes de gouvernance des données. Développer des vues et agrégats spécifiques pour l'analyse. Documenter les pipelines d'ingestion et les modèles de données. Exigences clés Expérience en intégration de données depuis des systèmes d'entreprise complexes (ERP, CRM, finance, RH). Maîtrise des techniques d'ingestion et de transformation dans un environnement cloud (idéalement Snowflake). Compétences solides en data modeling analytique. Expérience en orchestration de pipelines de données. Capacité à travailler en méthodologie Agile (Scrum). Autonomie et bonnes compétences en communication. Atouts supplémentaires Connaissance des processus métiers dans l'hôtellerie ou secteur similaire. Autres Détails Situation : Projet d'intégration dans un environnement technique varié. Outils : Snowflake, Airflow, DBT, SQL, Python, Git, Confluence, Jira.

Vous rejoindrez notre équipe en charge d'exploiter les données de l'ensemble du back office dans un Datalake (Hadoop) afin d'alimenter un dataware communautaire stockée sur une base de données Exadata. Vos missions consisteront à contribuer: Assurer la conception détaillée des nouveaux traitement Spark Scala, Rédiger les spécifications fonctionnelles générales et détaillées, Assurer le développement sous SPARK/ SCALA, Formaliser les plans de tests, Exécuter les tests unitaires, tests d'intégration, Résoudre les anomalies lors de la phase d'intégration fonctionnelle et de recette utilisateur, Assurer le packaging et le déploiement pré-production et production, Optimiser les traitements afin de garantir la qualité de service, Mettre en oeuvre des solutions permettant une reprise des traitements en cas d'incidents de production, Accompagner les équipes dans le déploiement, Assurer un suivi des environnements,

Dans le cadre de l'évolution et de la modernisation d'un écosystème Data au sein d'une Direction Technique Informatique d'un grand acteur de la protection sociale, nous recherchons un Architecte Expert Big Data Hadoop Cloudera (CDP) pour concevoir, faire évoluer et maintenir des plateformes Big Data en environnement Hors-Prod et Production. La mission s'articule autour de trois axes majeurs : la participation aux projets d'évolution du socle Hadoop existant (évolutions logicielles et matérielles, sécurité, définition d'architecture, rédaction de dossiers), le maintien en conditions opérationnelles de la plateforme (administration, supervision, gestion des incidents, support aux équipes études et exploitation), et la contribution à un projet stratégique de nouvelle Plateforme DATA (étude d'impact, préconisation des choix techniques, définition des standards et normes, mise en œuvre et transfert de connaissances aux équipes exploitation). L'environnement technique s'appuie sur la distribution Cloudera CDP (HDFS, YARN, Hive, Impala, Spark, Ranger, Knox, Zookeeper, Iceberg) , avec des langages Shell, Python et Spark, un OS Linux RedHat, et un écosystème complémentaire incluant Kafka, PostgreSQL, Kubernetes et Ansible. Ce poste requiert une forte autonomie, une capacité à travailler en équipe pluridisciplinaire et une disponibilité pour des interventions ponctuelles en dehors des heures ouvrées.

Contexte : migration de On premise vers GCP En tant que Data Engineer, vous serez au cœur de notre stratégie data. Vous concevrez et mettrez en œuvre des solutions innovantes pour collecter, transformer et stocker nos données massives. Votre expertise technique sera essentielle pour les projets et offrir des insights précieux à nos équipes métiers. Vos missions : Conception et développement: Définir et mettre en œuvre des architectures de données robustes (data lakes, data warehouses). Concevoir et développer des pipelines de données automatisés (ETL). Optimiser les performances des traitements de données. Technologies: Maîtrise des langages de programmation : Python, Scala, SQL. Expérience avec les outils de traitement de données : Spark, Hadoop, Kafka. Connaissance des bases de données relationnelles et NoSQL. Expérience avec les clouds (GCP) Collaboration: Travailler en étroite collaboration avec les équipes métiers. Participer à la définition de la roadmap data.

Contexte de la mission Description du besoin : La mission consiste à assurer le maintien en conditions opérationnelles des socles Hadoop Cloudera Hors-Prod et Prod et la participation aux projets d’évolution technique de ces socles. Activités principales : Administration et exploitation des socles Hadoop : supervision, optimisation, gestion des incidents et des performances ; Capacity planning : suivi et mise en place d’outils et procédures ; Maintenance proactive : application des correctifs, mises à jour, suivi des évolutions technologiques ; Rédaction de procédures d'administration et d’exploitation ; Intégration avec l'outillage de l'écosysteme DSI pour l'exploitation du SI Support expertise aux équipes Etudes et exploitation Projets d’évolution des architectures techniques (évolutions logicielles et matérielles, sécurité, amélioration de l’existant, évolution des fonctionnalités techniques ou fonctionnelles) : la participation attendue peut se situer sur le pilotage, la définition d’architecture et la rédaction des dossiers, la mise en œuvre. Hadoop est le périmètre technique principal d’exécution de la mission ; cependant des compétences supplémentaires sur d’autres solutions Data seront très appréciées. La mission nécessite à la fois une totale autonomie et une capacité de travail en équipe et de communication. Des astreintes ou interventions ponctuelles en HNO pourront être ponctuellement demandées.