Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous recherchons un Analytics Engineer pour rejoindre une équipe dédiée à la centralisation et à la fiabilisation des données dans un environnement data-driven. Votre mission consistera à concevoir et maintenir des pipelines de données (Azure Data Factory, Databricks, Spark SQL) pour alimenter un datamart utilisé par les métiers via des outils self-BI (Power BI, BusinessObjects). Vos missions principales : Concevoir et développer des pipelines d’ingestion via Azure Data Factory , en assurant leur robustesse et leur évolutivité. Transformer et optimiser les données en utilisant Spark SQL (Databricks) pour répondre aux besoins métiers. Maintenir et améliorer les indicateurs de qualité des données , en garantissant leur cohérence et leur fiabilité. Implémenter des tests unitaires pour sécuriser les pipelines et assurer la stabilité des solutions. Collaborer avec les équipes techniques et métiers pour affiner les besoins et proposer des améliorations continues. Participer à la maintenance des outils de monitoring pour suivre les performances et la santé des applications. Ce poste est idéal pour un professionnel souhaitant impacter directement la stratégie data d’une organisation en pleine transformation digitale.

Data Engineer Nantes •Langages de programmation et scripting (ex : SQL, Python, Java, Bash/Shell scripting, …) •Bases de données (ex : Base, Data Warehouse, Data Lake, Data Platform / Lakehouse, …). •Traitement des données (Frameworks Big Data, comme Apache Spark, Pipelines ETL/ELT, Streaming, …) •Cloud Computing (ex : Azure, Concepts cloud, stockage et calcul distribués, …) •Modélisation des données et architecture (ex : Modélisation des données relationnelles et dimensionnelles, modèle en étoile, en flocon, compréhension des architectures Data Lake, Data Warehouse, et Data Platform / Lakehouse, …) •Gestion et optimisation des schémas pour les performances. •DevOps et ingénierie logicielle (ex : outils CI/CD, conteneurs et orchestration, versionnement via Git/GitHub pour le suivi du code source, surveillance et journalisation, …) •Outils de gestion des données et gouvernance (Qualité des données : Vérification des duplications, gestion des erreurs, validation… Gouvernance des données : Connaissance des politiques comme le RGPD, gestion des catalogues, Sécurité des données…) 07/04/2026 Mission longue Ce poste est ouvert à la pre-embauche Le Data Engineer est un expert en gestion des données, qui est chargé de la conception et de la maintenance de l’infrastructure data du périmètre en responsabilité Tâches : Infrastructures de données : •Cartographie et documente les sources de données. •Assure la maintenance des différentes applications données (Data) déployées en production et des infrastructures. •Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité. •Structure les bases de données (sémantique, format, etc.). •Contribue à la gestion des référentiels de données. Intégration des données : •Capte et stocke, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l’extérieur de l’entreprise. •Assure la supervision et l’intégration des données de diverses nature qui proviennent de sources multiples. Vérifie la qualité des données qui entrent dans la Data Platform et s’assure de leur sécurité. •Nettoie la donnée (élimination des doublons…) et la valide pour une utilisation aval. •Animation des communautés : •Anime la communauté technique qui met en oeuvre les dispositifs prévus ou nécessaires à l’application de la politique de la donnée de l’entreprise. Veille technologique : •Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables. •Propose des évolutions pour les infrastructures et solutions de données en place. Compétences Technique : •Langages de programmation et scripting (ex : SQL, Python, Java, Bash/Shell scripting, …) •Bases de données (ex : Base, Data Warehouse, Data Lake, Data Platform / Lakehouse, …). •Traitement des données (Frameworks Big Data, comme Apache Spark, Pipelines ETL/ELT, Streaming, …) •Cloud Computing (ex : Azure, Concepts cloud, stockage et calcul distribués, …) •Modélisation des données et architecture (ex : Modélisation des données relationnelles et dimensionnelles, modèle en étoile, en flocon, compréhension des architectures Data Lake, Data Warehouse, et Data Platform / Lakehouse, …) •Gestion et optimisation des schémas pour les performances. •DevOps et ingénierie logicielle (ex : outils CI/CD, conteneurs et orchestration, versionnement via Git/GitHub pour le suivi du code source, surveillance et journalisation, …) •Outils de gestion des données et gouvernance (Qualité des données : Vérification des duplications, gestion des erreurs, validation… Gouvernance des données : Connaissance des politiques comme le RGPD, gestion des catalogues, Sécurité des données…) Compétences Métier : •Compétences analytiques et mathématiques (Compréhension des statistiques pour interpréter les données et aider les équipes de Data Science, Familiarité avec les bases de l’apprentissage automatique et des modèles d’IA, …). •Résolution de problèmes : Capacité à identifier des inefficacités et à proposer des solutions. •Communication : Présentation claire des concepts techniques à des publics non techniques. •Adaptabilité : Apprendre rapidement de nouvelles technologies dans un domaine en constante évolution

Data Engineer Nantes Le Data Engineer est un expert en gestion des données, qui est chargé de la conception et de la maintenance de l’infrastructure data du périmètre en responsabilité Compétences Technique : •Langages de programmation et scripting (ex : SQL, Python, Java, Bash/Shell scripting, …) •Bases de données (ex : Base, Data Warehouse, Data Lake, Data Platform / Lakehouse, …). •Traitement des données (Frameworks Big Data, comme Apache Spark, Pipelines ETL/ELT, Streaming, …) •Cloud Computing (ex : Azure, Concepts cloud, stockage et calcul distribués, …) •Modélisation des données et architecture (ex : Modélisation des données relationnelles et dimensionnelles, modèle en étoile, en flocon, compréhension des architectures Data Lake, Data Warehouse, et Data Platform / Lakehouse, …) •Gestion et optimisation des schémas pour les performances. •DevOps et ingénierie logicielle (ex : outils CI/CD, conteneurs et orchestration, versionnement via Git/GitHub pour le suivi du code source, surveillance et journalisation, …) •Outils de gestion des données et gouvernance (Qualité des données : Vérification des duplications, gestion des erreurs, validation… Gouvernance des données : Connaissance des politiques comme le RGPD, gestion des catalogues, Sécurité des données…) Le Data Engineer est un expert en gestion des données, qui est chargé de la conception et de la maintenance de l’infrastructure data du périmètre en responsabilité Tâches : Infrastructures de données : •Cartographie et documente les sources de données. •Assure la maintenance des différentes applications données (Data) déployées en production et des infrastructures. •Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité. •Structure les bases de données (sémantique, format, etc.). •Contribue à la gestion des référentiels de données. Intégration des données : •Capte et stocke, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l’extérieur de l’entreprise. •Assure la supervision et l’intégration des données de diverses nature qui proviennent de sources multiples. Vérifie la qualité des données qui entrent dans la Data Platform et s’assure de leur sécurité. •Nettoie la donnée (élimination des doublons…) et la valide pour une utilisation aval. •Animation des communautés : •Anime la communauté technique qui met en oeuvre les dispositifs prévus ou nécessaires à l’application de la politique de la donnée de l’entreprise. Veille technologique : •Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables. •Propose des évolutions pour les infrastructures et solutions de données en place. Compétences Technique : •Langages de programmation et scripting (ex : SQL, Python, Java, Bash/Shell scripting, …) •Bases de données (ex : Base, Data Warehouse, Data Lake, Data Platform / Lakehouse, …). •Traitement des données (Frameworks Big Data, comme Apache Spark, Pipelines ETL/ELT, Streaming, …) •Cloud Computing (ex : Azure, Concepts cloud, stockage et calcul distribués, …) •Modélisation des données et architecture (ex : Modélisation des données relationnelles et dimensionnelles, modèle en étoile, en flocon, compréhension des architectures Data Lake, Data Warehouse, et Data Platform / Lakehouse, …) •Gestion et optimisation des schémas pour les performances. •DevOps et ingénierie logicielle (ex : outils CI/CD, conteneurs et orchestration, versionnement via Git/GitHub pour le suivi du code source, surveillance et journalisation, …) •Outils de gestion des données et gouvernance (Qualité des données : Vérification des duplications, gestion des erreurs, validation… Gouvernance des données : Connaissance des politiques comme le RGPD, gestion des catalogues, Sécurité des données…) Compétences Métier : •Compétences analytiques et mathématiques (Compréhension des statistiques pour interpréter les données et aider les équipes de Data Science, Familiarité avec les bases de l’apprentissage automatique et des modèles d’IA, …). •Résolution de problèmes : Capacité à identifier des inefficacités et à proposer des solutions. •Communication : Présentation claire des concepts techniques à des publics non techniques. •Adaptabilité : Apprendre rapidement de nouvelles technologies dans un domaine en constante évolution

Almatek recherche pour l'un de ses clients Un Développeur Mobile / Data Engineering sur Chatillon. Description détaillée 1) Développement mobile -Assurer la maintenance évolutive et corrective d’une application mobile en React Native. -Garantir une expérience utilisateur fluide, performante et conforme aux bonnes pratiques (optimisation, modularité, testabilité). -Implémenter de nouvelles fonctionnalités et les tests associés, en suivant une démarche Clean Code (sécurité, maintenabilité). 2) Data Engineering -Concevoir, développer et implémenter des solutions Big Data Analytics. -Construire et industrialiser les pipelines de données (collecte, transformation, traitement) dans le Data Lake. -Développer des notebooks avancés sous Databricks (SQL, Framework Spark). -Rédiger la documentation technique (DAT, release notes, etc.). -Réaliser les tests unitaires et assurer la qualité des livrables. -Contribuer à la maintenance évolutive et corrective des traitements. -Livrer dans un environnement DevOps (CI/CD) et maîtriser les outils associés. Profil recherché -Expérience confirmée en développement d’applications React Native en production (minimum 5 ans). -Expérience en Data Engineering sur Azure / Databricks / Spark / SQL (minimum 3 ans). -Maîtrise des APIs REST. -Bonne connaissance de Git et première expérience en CI/CD / DevOps. **Compétences techniques** -React Native – Expert – Impératif -Databricks – Confirmé – Impératif -Spark – Confirmé – Impératif -SQL – Confirmé – Impératif Localisation : Chatillon + 2 jrs de TT

Almatek recherche pour l'un de ses clients, Un Data Analyst Sur Massy. Maîtrise parfaite du SQL et d'au moins un langage de programmation (Python, R). Maîtrise d'outils de datavisualisation avancés (Tableau, Looker Studio). Maîtrise des bonnes pratiques de code: test de cohérence, commentaires, documentation, etc Excellente rigueur: capacité à gérer une tâche détaillée et cadrée dans un ticket Jira de A à Z en respectant tous les points spécifiés capacité à documenter l’ensemble de ses rendus: périmètre d’analyse (période, type d'agrégation, etc), documentation technique et fonctionnelle de façon à ce que toute personne dans l’équipe puisse reprendre facilement ses analyses Expérience avec l’environnement GCP préférable (BigQuery notamment) Expérience avec des bases de données volumineuses (Big Data) et des outils associés (Hadoop, Spark) est un plus. Connaissance des techniques de machine learning est un plus Compétences analytiques : Excellente rigueur et capacité à gérer des projets complexes: capacité à prendre du recul sur la cohérence des analyses et sur les ordres de grandeurs Excellentes capacités analytiques, de résolution de problèmes et de pensée critique Capacité à construire des plans d'analyse détaillés et à gérer des tâches de A à Z incluant une proactivité dans la résolution de problèmes rencontrés Capacité à interpréter les résultats d'analyses complexes

On cherche un(e) Data Engineer pour renforcer une équipe qui fait tourner la plateforme data au quotidien. Le sujet est très concret : ramener des données qui viennent de partout , les centraliser proprement , les rendre fiables , et garder une plateforme qui tient la charge (et qui ne casse pas en prod au premier pic). Vous travaillerez avec un Product Owner, un Data Steward et d’autres data engineers. On est sur une logique : ingestion, standardisation, stockage, et tout ce qui va avec côté run (monitoring, reprise, sécurité, doc). Vos missions : Collecter et centraliser des sources hétérogènes (API, fichiers, bases, événements). Construire des pipelines robustes : gestion des erreurs, reprises, backfills, alerting, qualité. Développer les traitements en Python / SQL / Spark (volumes en hausse, donc on fait attention à la perf et aux coûts). Orchestrer les flux avec Airflow . Structurer le stockage sur Cloud Storage avec une approche Delta Lake (évolution de schémas, merge/upsert, partitionnement, rétention). Industrialiser l’ensemble : Terraform / Terragrunt , GitLab CI/CD , environnements propres (dev/staging/prod). Contribuer à la gouvernance et à la conformité : catalogage et métadonnées via Dataplex + documentation utile (pas un wiki fantôme). Environnement technique : Python, SQL, Spark Airflow (orchestration) GCP : BigQuery, Dataproc, Pub/Sub, Cloud Storage Delta Lake Terraform + Terragrunt GitLab + GitLab CI/CD Méthodes : Agile (Scrum/Kanban)

Développeur Mobile React Native / Data Engineer (H/F) Localisation : Île-de-France Télétravail : 2 jours remote / 3 jours sur site Type de contrat : Mission longue durée Démarrage : ASAP Description du poste Dans le cadre d’un projet stratégique au sein d’un grand groupe, nous recherchons un profil hybride capable d’intervenir à la fois sur une application mobile existante et sur des traitements de données en environnement cloud. Missions principales • Assurer la maintenance et l’évolution d’une application mobile développée en React Native • Concevoir et développer de nouvelles fonctionnalités • Corriger les anomalies et optimiser les performances • Participer aux phases de tests et aux mises en production • Intervenir sur des pipelines de données • Développer et maintenir des notebooks Databricks • Manipuler et transformer des données via Spark • Rédiger et optimiser des requêtes SQL • Travailler dans un environnement Microsoft Azure Environnement technique React Native, Databricks, Spark, SQL, Azure

Contexte Dans le cadre de la mise en place et de l’évolution d’une plateforme DATA centralisée, nous renforcons son équipe avec un Data Ingénieur confirmé. Cette plateforme permet l’intégration, la mise en qualité et la mise à disposition de données brutes ou retravaillées issues de différents producteurs, afin de répondre à des besoins métiers opérationnels et analytiques à grande échelle. Rôle et responsabilités Développement et ingestion de données Concevoir, développer et optimiser des jobs d’ingestion et de transformation de données en Python et Spark sur Databricks , avec gestion de gros volumes. Mettre en place et maintenir des flux de données entre sources externes (ex. bases Oracle) et Delta Lake sur AWS S3 . Orchestration et supervision Créer et orchestrer des workflows avec AWS Airflow et automatiser les traitements. Mettre en place des mécanismes de contrôle qualité et de validation des données pour garantir cohérence et fiabilité. Développer des jobs de monitoring pour détecter et corriger automatiquement les anomalies. Maintien en condition opérationnelle Assurer la disponibilité et la performance des jobs en production. Analyser et corriger les incidents et anomalies détectées. Contribution stratégique Participer aux ateliers de conception technique et fonctionnelle. Promouvoir les bonnes pratiques de développement et d’optimisation Big Data. Documenter les processus, architectures et scripts. Compétences techniques requises MUST : Python Spark Databricks SQL SHOULD : AWS (S3, Glue, Airflow, CloudWatch, Lambda, IAM) COULD : Big Data (gestion et traitement de très gros volumes de données) WOULD : Git Méthodologies et outils : CI/CD avec GitLab JIRA / Confluence Méthodologie agile Scrum

Descriptif du poste Le bénéficiaire souhaite une prestation d'accompagnement afin de garantir la disponibilité, la performance et la résilience des services en production. Le/La SRE anticipe les risques, accompagne les équipes Dev/Prod et développe l'automatisation nécessaire pour assurer un fonctionnement optimal des plateformes, avec une spécificité sur la gestion des applications Data et IA. Responsabilités principales Suivi de la fiabilité, l'intégrité et la qualité de la plateforme en production Définition et suivi des SLO/SLI ; rétablissement du service en cas d'incident Participation aux projets dès le cadrage et anticipation des impacts sur la production Automatisation des opérations et réduction du travail manuel Mise en place d'un monitoring, de l'alerting et des dashboards pertinents Pilotage de l'obsolescence et contribution à la sécurité opérationnelle Contribution à la communauté SRE : bonnes pratiques, partage d'expérience Compétences clés Techniques : Connaissances des solutions Data & AI (ex : Airflow, Spark, Starburst, Domino AI …) Linux (RHEL), Docker, Kubernetes / OpenShift Automatisation & IaC : Git, Jenkins (CI/CD), Ansible, Terraform Scripting : Python, Shell, YAML Observabilité & Monitoring : ELK, SysDig, Dynatrace, Grafana Supervision / Scheduling : Control-M Cloud : IBM Cloud

Notre client dans le secteur Immobilier recherche un/une Data Engineer H/F Description de la mission: Offre de mission – Data Engineer Contexte et objectif de la mission Notre client est composé de plusieurs filiales et structures de services partagés (IT, RH, juridique, finance, marketing). Le groupe est engagé dans une transformation digitale avec des enjeux autour de la gouvernance de la donnée, de l'harmonisation des systèmes d'information entre filiales et de la structuration d'une plateforme data moderne. La DSI pilote un programme de refonte de l'infrastructure data et souhaite renforcer son équipe avec un Data Engineer expérimenté capable de construire et maintenir des pipelines robustes, de structurer les flux de données entre les différentes entités du groupe et d'alimenter les outils de restitution. Missions principales Le/la consultant(e) interviendra au sein de l'équipe Data pour : • Concevoir, développer et maintenir des pipelines de données (ingestion, transformation, chargement) • Administrer et exploiter Azure Synapse Analytics comme socle de la plateforme data • Modéliser les données (modélisation dimensionnelle, data warehouse, data lakehouse) • Écrire et optimiser des requêtes SQL complexes sur les bases du groupe • Développer des scripts et orchestrateurs en Python pour l'automatisation des flux • Connecter les sources de données à Power BI et garantir la qualité des données exposées aux analystes • Contribuer à l'harmonisation des données entre les filiales du groupe • Participer à la gouvernance de la donnée (documentation, qualité, traçabilité) Stack technique Compétences obligatoires : • Azure Synapse Analytics : maîtrise obligatoire • SQL : maîtrise obligatoire (requêtes complexes, optimisation) • Python : maîtrise obligatoire (ETL, orchestration, scripting) • Power BI : bonne connaissance (alimentation des modèles) Environnement complémentaire apprécié • Azure Data Factory / Azure Data Lake • Spark / PySpark • Outils de versionning (Git) • Notions de modélisation dimensionnelle Profil recherché Compétences techniques : • Expérience confirmée sur la conception et le maintien de pipelines de données en environnement cloud Azure • Solide maîtrise de SQL et des environnements analytiques (Synapse, DWH) • Bonne maîtrise de Python dans un contexte data engineering (ETL, automatisation) • Capacité à exposer des données propres et fiables vers des outils de BI • Connaissance des bonnes pratiques de qualité et gouvernance de la donnée Compétences comportementales : • Autonomie et rigueur dans les développements • Adaptabilité dans un environnement multi-filiales en transformation • Sens du détail et souci de la qualité de la donnée • Bonnes capacités relationnelles pour collaborer avec les équipes métiers et IT • Dynamisme et réactivité face aux priorités Atout majeur • Certification Microsoft Azure (DP-203 Data Engineer ou équivalent) appréciée

Bonjour a tous, Profil recherché : Solution Architecte expérimenté avec une double compétence Python/IA et maîtrise du vibe coding, capable de concevoir des architectures innovantes tout en accompagnant une équipe de développeurs dans un contexte agile et international. Hard Skills : • 10 ans d'expérience minimum en développement Python avec une expérience confirmée en architecture de solutions IA/ML • Expérience significative en tant que Tech Lead IA avec accompagnement et montée en compétences d'équipes de développement • Expérience démontrée et expertise reconnue en vibe coding avec utilisation avancée d'outils IA (GitHub Copilot, Cursor, Claude, ChatGPT) • Capacité à former et coacher les équipes sur les meilleures pratiques de développement assisté par IA • Expertise confirmée en architecture de solutions IA/ML et intégration de modèles d'intelligence artificielle en production • Maîtrise avancée de Python 3.8+ et des bonnes pratiques de développement • Expertise en frameworks ML/DL : TensorFlow, PyTorch, Scikit-learn, Hugging Face Transformers • Expérience confirmée avec les LLMs (fine-tuning, RAG, prompt engineering, agents IA, orchestration) • Maîtrise des frameworks modernes : FastAPI, LangChain/LlamaIndex, Streamlit/Gradio • Connaissance des architectures microservices, API REST/GraphQL, event-driven, architectures orientées données • Expérience des plateformes Cloud (AWS, Azure, GCP) et services IA Cloud (SageMaker, Azure ML, Vertex AI, Bedrock) • Connaissance approfondie des technologies MLOps et pipelines CI/CD pour modèles IA • Maîtrise SQL et NoSQL, Vector Databases (Pinecone, Weaviate, Milvus) • Expertise en DevOps, automatisation des tests, conteneurisation (Docker/Kubernetes) • Expérience en data engineering et pipelines de données (Airflow, Spark, Kafka) • Connaissance des outils de versioning et collaboration (Git, GitLab/GitHub) • Un plus : Connaissance Java/Spring pour interactions avec legacy systems Soft Skills : • Excellentes capacités de leadership technique et de mentorat • Esprit critique développé face au code généré par IA et capacité à valider la qualité • Pédagogie et capacité à transmettre les bonnes pratiques du vibe coding à l'équipe • Esprit d'innovation et de veille technologique active sur l'IA • Rigueur dans la conception architecturale et les bonnes pratiques • Autonomie et force de proposition • Initiative dans la résolution de problèmes complexes • Très bon relationnel et capacité à communiquer avec différents interlocuteurs (techniques et métiers) • Esprit agile et pragmatique : équilibre entre vitesse et qualité • Capacité à fédérer une équipe autour d'une vision technique Anglais Courant.

Contexte Ouverture d’une nouvelle entité chez le client. Le Data Engineer interviendra dans un environnement IA / Big Data avec forte dimension cloud et DevOps. Missions Identification et analyse des besoins Participation aux ateliers d’idéation Rédaction de documentations techniques détaillées Définition des spécifications projets IA Proposition de solutions algorithmiques adaptées Interaction avec les infrastructures data Intégration et maintenance de solutions d’IA Gestion d’environnements Big Data, cloud et on-premise Mise en place DevOps / DevSecOps / MLOps Implémentation de pipelines CI/CD Mise en place de dépôts de code Contribution à une culture agile et sécurisée Communication et partage Partage de connaissances au sein de l’entité Communication sur les avancées et retours d’expérience Accompagnement à la montée en compétence de l’équipe Compétences techniques attendues Développement : Python, SQL, Spark, Scala Frameworks ML : pandas, numpy, scikit-learn ETL / pipelines : Apache Nifi, Talend, Kafka Big Data / Cloud : S3, Hadoop, MapReduce Bases de données : PostgreSQL, MySQL, MongoDB, Cassandra DevOps / MLOps : Docker, Gitlab, Kubernetes Profil recherché Expérience confirmée en environnement Data / IA Forte capacité d’analyse et de structuration À l’aise dans un contexte de création d’entité

Concevoir et développer des AI agents (LangChain, LangGraph, LangFlow ou équivalent) Mettre en œuvre des solutions basées sur LLMs et RAG Concevoir des architectures scalables (évaluation, monitoring, testing, déploiement) Participer au cycle complet : design, MVP, itérations et industrialisation Mettre en place des frameworks réutilisables pour accélérer les développements Assurer une veille active sur les nouvelles approches IA Environnement technique Python, PyTorch / TensorFlow, Spark, Databricks, AWS, SQL, Airflow, Delta Lake

Contexte Intégration d'une équipe de développeurs data (Java, Spark, Spring) dont le rôle est la mise en place de pipelines de données à destination de vues NoSQL (Cassandra, MongoDB, Elasticsearch). Expérience requise Développement objet en environnement de production Expérience de 5 ans minimum en développement data Expérience dans un grand groupe (expérience de l'inertie et des contraintes d'un groupe) Expérience sur tout le cycle de vie d'une application (besoin, conception, développement, déploiement, maintenance) Expérience souhaitée en amélioration d'une solution existante (contrainte de SLA, performance, montée en charge, refactoring, voir refonte)

Je recherche pour un de mes client un Développeur Big Data sur Lyon CONTEXTE DE LA MISSION Le client, dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l’accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la prestation est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs. DESCRIPTION DE LA MISSION Rattaché au responsable Big Data, le profil aura pour principales missions : - de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) - d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date) - de mettre en place des extractions à partir de ces données, - d’assurer le support niveau 2, - de faire appliquer les consignes aux utilisateurs, - de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes - de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. LIVRABLES ATTENDUS ET ENVIRONNEMENT TECHNIQUE Les principales missions confiées seront les suivantes : - Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets - Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation - Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe - Optimisation des traitements de la plateforme et ceux des utilisateurs - Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et "clients" (Groupes de protection sociale). La connaissance de Power BI et SAS sont des plus. Exemples de livrables attendus : - Code source documenté - Plan de tests / fiches de test - Bilan - Bordereau de livraison - Manuel d’installation - Dossier d’exploitation - JIRA documentée Environnement technique : - Hadoopa Cloudera - Hive - Impala - Python - Shell - Spark - Linux - SQL - VBA - Git - Jupyter Des connaissances de l’écosystème de la protection sociale sont les bienvenues (retraite complémentaire idéalement).

Contexte Mon client recherche dans la continuité du développement de l'écosystème Digital, un UI//UX Data Designer, ils poursuivont la construction du pilier décisionnel : DataHub Mission Le chantier Cockpit a pour objectif de construire des outils de pilotage afin d'assister dans la prise de décision. Dans ce chantier, le Design System DataViz a été construit avec l'objectif de rendre les informations complexes accessibles et exploitables grâce à une visualisation claire et intuitive. La construction du Design System DataViz est au coeur de la construction des outils de pilotage (chantier Cockpit). Il s'agit de construire un langage commun pour l’ensemble des métiers en standardisant les éléments design et les composants visuels Power BI. Contenu détaillé de la prestation : Vous allez travailler étroitement avec le directeur de projets Design System DataViz, les équipes Data et les métiers. Le but de la prestation consiste à l'accompagnement UX/UI design dans la production DIRECTION DES SYSTEMES D'INFORMATION Le but de la prestation consiste à l'accompagnement UX/UI design dans la production et livraison d'éléments design et graphiques, de composants Power BI dessinés dans le cadre du design system DataViz, de maquettes Power BI. Comprendre les besoins et les enjeux à piloter ? Comprendre les connaissances nécessaires pour le pilotage et la décision Traduire les besoins/enjeux en conception et en design en s'appuyant sur le design system actuel Par exemple : o Mettre en place les scénarisations des KPI o Mettre en place la hiérarchisation visuelle par typographie et graphique o Mettre en place les filtres interactifs… Concevoir / produire les éléments de design pour répondre au besoin conception Produire / enrichir / standardiser le design system - les éléments design pour conception (ex: palette de couleurs contrastées, encadrés et pictogrammes, graphiques enrichis et dessinés…) Produire / faire évoluer / enrichir / standardiser le design system es composants Power BI pour Dashboard Maintenir / faire évoluer / produire la bibliothèque design system conception (éléments design) Maintenir / faire évoluer / produire la bibliothèque design system Power BI (composants PBI dessinés) Produire les maquettes Power BI Conception / réalisation des outils de pilotage pour les différents enjeux / métiers Réalisation des éléments design Réalisation des éléments Power BI dessinés Réalisation des maquettes / reportings PBI dynamiques Enrichissement et gestion de nos dictionnaires design system Rédaction des cahiers des charges, spécifications fonctionnelles et techniques nécessaires Garant de la qualité de réalisation Le(la) consultant(e) va travailler sur les environnements (Figam, PowerBI, Azure, Databricks, SQL, …) co-managé par les équipes Data Factory ainsi que les équipes DCLD (direction client digital). Modalité de la Prestation Livrables Design system – éléments de conception UIUX Design system – composants Power BI dessiné Reportings/Maquettes Power BI dynamique Cahiers des charges / CR / Dictionnaires Présentation / Documentation Technique Figma Power BI / DAX Cloud Azure Databricks SQL Python, Spark, Scala Spyder…