Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Au sein de l'équipe Data, vos fonctions consisteront notamment à : Participer à l'estimation de la complexité des chantiers techniques liés à la montée de version SPARK (3.4) Concevoir et développer les traitements applicatifs en collaboration avec les intervenants internes à l'équipe, ou externes à celle-ci (architectes techniques, architectes data, experts sur des technologies liées...) Rédiger les dossiers de conception et documentations techniques nécessaires Concevoir et exécuter les cas de tests unitaires / d'intégration Faire des revues de code croisées avec les collègues de l'équipe Contribuer à l'installation et au déploiement des composants Participer activement aux rétrospectives afin de garantir le process d’amélioration continue Assurer la qualité et le suivi des développements, en participant à la correction des problèmes de production

Nous recherchons un Data Engineer Spark/Scala Objectif global : Développement sur le Hub Risque avec les technos Spark/Scala. Les livrables sont: Programmes développés Dossier de conception technique Dossier de tests unitaires Compétences techniques: Spark Scala - Confirmé - Impératif Big Data - Confirmé - Impératif Description détaillée: Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : - Socle Big Data (OI1) : o Compute : Yarn o Storage: HDFS (avec chiffrement pour C3), Hive o Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : - MoveNAStoHDFS - Moteur d'ingestion v2 - Spark Scala - Dictionnaire de données - Socle Data Science : o DataiKu Automation Frameworks/langage/outils utilisés: - Spark 3 - HQL Prestation sur Bordeaux. 2 à 3 jours de présence sur site requise.

Les missions sont : Les consultants retenus auront pour mission : • Administration et optimisation de clusters HDP/CDP • Installation, configuration et maintenance des clusters. • Gestion des mises à jour et des patchs de sécurité. • Surveillance des performances et optimisation des ressources. • gestion/administration de clusters Kubernetes • Automatisation des déploiements avec Operators…, etc. • Sécurisation et monitoring des environnements conteneurisés. • Orchestration des workflows avec Apache Airflow : • Développement et optimisation des DAGs pour la gestion des pipelines de données. • Gestion des dépendances et optimisation des temps d’exécution. • Intégration avec les autres outils de l’écosystème. • Traitement et analyse des données avec Apache Spark : • Développement et optimisation des jobs Spark (batch et streaming). • Gestion des performances et tuning des jobs. • Intégration avec les systèmes de stockage distribués. • Optimisation des requêtes et accès aux données avec Starburst : • Configuration et administration de Starburst. • Optimisation des requêtes SQL distribuées. • Sécurisation et gestion des accès aux différentes sources de données. Français/Anglais

Descriptif du poste Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur IKS (Kubernetes IBM) et bientôt sur OpenShift : Apache Spark Apache Airflow/Astronomer Starburst (trino) Dans le cadre du renforcement de notre capacité de support sur la nouvelle offre "DATAHUB V2", nous recherchons des prestataires spécialisés dans l'exploitation et le support de ces plateformes. Missions La prestation visera à : Assurer le maintien en condition opérationnelle en production des plateformes (Airflow, Spark, Starburst) Intervenir dans la gestion des incidents, l'analyse des root causes et la résolution Participer à l'optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l'optimisation de l'orchestration Airflow, à la gestion des catalogues Starburst Accompagner les équipes métiers dans l'utilisation efficace et sécurisée des plateformes Contribuer à la documentation et à l'amélioration continue de l'écosystème d'exploitation

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Contexte Nous recherchons un(e) Développeur(se) Spark / Java pour intervenir sur la mise en place d’un socle SIG (Système d’Information Géographique) dédié à la gestion des risques climatiques. Le projet vise à industrialiser des modèles de calcul définis par une direction actuarielle afin d’intégrer et croiser des données géographiques, topographiques, satellites et métier, pour produire des scores de risques climatiques (inondation, sécheresse, tempête, etc.) dans un environnement Google Cloud Platform (GCP). Objectifs de la mission Comprendre et analyser les modèles de calcul définis par les actuaires Participer aux phases de conception de la solution Réaliser les développements en Spark Java, avec des librairies géospatiales Accompagner la montée en compétence sur la mise en œuvre de traitements Spark / Java Déployer les développements dans un environnement Google Cloud Platform Produire la documentation et assurer sa transmission aux parties concernées Anticiper les phases d’exploitation et de maintien en conditions opérationnelles Assurer un reporting régulier sur l’avancement Livrables Solution applicative développée et testée Documentation mise à jour Suivi interne mis à jour Profil recherché +5 ans d’expérience sur Spark & Java Expérience sur des traitements Big Data et pipelines de calcul Connaissance de librairies géospatiales dans Spark (fort plus) Expérience sur une solution équivalente type Apache Beam (plus) Capacité à produire de la documentation claire Autonomie, rigueur, bonne communication Environnement technique Java Apache Spark Librairies géospatiales Google Cloud Platform (GCP) Plus : Apache Beam

En tant que Data Engineer, vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science. Expérience attendue : 3 à 8+ ans en ingénierie Data. Vous correspondez au/à la Data Engineer que nous recherchons si : Vous évoluez efficacement au sein d’équipes agiles et pluridisciplinaires , en collaboration étroite avec les équipes Data, IT et métiers Vous faites preuve d’un fort esprit analytique et d’une grande rigueur Vous êtes autonome , proactif et doté d’un solide sens des responsabilités Vous êtes capable de communiquer clairement avec des interlocuteurs techniques comme non techniques Vous savez prioriser vos tâches , gérer les contraintes et respecter vos engagements Vous disposez d’un bon esprit de synthèse et êtes orienté résultats et valeur métier Vous avez une bonne connaissance des environnements Business Intelligence , Big Data et des architectures Lakehouse Vous avez déjà travaillé sur des plateformes Data modernes (Cloud) Vous maîtrisez SQL comme langage d’interrogation des données et avez des notions de modélisation de données (architecture médaillon, modèle en étoile …) Vous disposez d’un bagage en software engineering , vous permettant d’écrire un code robuste, lisible, maintenable et testable, notamment en Python Vous appliquez les bonnes pratiques de développement : structuration du code, modularité, gestion des dépendances, conventions de nommage Vous êtes sensibilisé aux principes de qualité logicielle (tests unitaires, tests d’intégration, revue de code) Vous êtes à l’aise avec les outils de versioning ( Git ) et les workflows collaboratifs associés Vous savez concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

Almatek recherche pour l'un de ses clients Un Data Engineer Spark/Scala sur Bordeaux. Afin de renforcer l'équipe de développement, on recherche un Data Engineer expérimenté et connaissant les technos suivantes : Solutions utilisées : -Socle Big Data (OI1) : *Compute : Yarn *Storage: HDFS (avec chiffrement pour C3), Hive *Sécurité des données: Ranger, Ranger KMS, Ldap, Kerberos Frameworks/langage/outils utilisés : -MoveNAStoHDFS -Moteur d'ingestion v2 -Spark Scala -Dictionnaire de données -Socle Data Science : *DataiKu Automation Frameworks/langage/outils utilisés: -Spark 3 -HQL Localisation : Bordeaux + 2 à 3 jours de présence sur site requise

Profil : Data Engineer Profil expérimenté avec des connaissances dans les déclaratifs réglementaires de l'Assurance-Vie Compétences techniques requises : Maîtrise avancée de Java Spark, y compris Java 11 et SparkSQL. Connaissance approfondie de l'écosystème Big Data, en particulier Hadoop, Spark et Kafka. Expérience significative en Build et en Run dans des environnements Big Data. Utilisation avancée d'outils DevOps tels que GitLab, Jenkins, Nexus, Maven, Docker, Kubernetes, ArgoCD, Sonar, etc. Solide compréhension des pratiques Agiles/SAFe et compétence dans l'utilisation de JIRA. Excellente maîtrise de Hive et Shell pour la manipulation et la transformation de données. Expérience confirmée avec des clusters on-premise MapR, y compris la gestion et l'optimisation. Compréhension approfondie des domaines de l'assurance, en particulier Assurance vie et Prévoyance. Connaissance avancée des bases de données relationnelles et non relationnelles. Excellentes compétences de communication pour collaborer efficacement avec les équipes. Leadership technique pour encadrer et orienter les membres de l'équipe. Esprit d'initiative et capacité à résoudre des problèmes techniques complexes. Capacité à travailler dans un environnement Agile et à gérer les priorités en conséquence. Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.

Dans le cadre de la création d’une nouvelle plateforme Data , le Data Engineer Senior intervient sur l’ensemble du cycle de vie de la donnée . Il conçoit, développe et maintient des pipelines de données batch et streaming en Spark et Python , contribue à la mise en place d’une architecture Lakehouse moderne , et garantit la qualité, la fiabilité et la sécurité des données . Le rôle inclut l’ industrialisation des traitements (CI/CD, DataOps), l’observabilité, la documentation et une forte collaboration avec les équipes techniques et métiers.

En tant que Data Engineer Senior, vous interviendrez sur l’ensemble du cycle de vie de la donnée. Tâches à réaliser : Concevoir, développer et maintenir des pipelines d’ingestion batch et streaming Implémenter des traitements Data robustes, industrialisés et observables Participer à la construction d’une architecture Lakehouse moderne Garantir la qualité, la traçabilité et la fiabilité des données Contribuer à l’industrialisation (CI/CD, DataOps, automatisation) Collaborer étroitement avec les Data Architects, Platform Engineers, Product Owners et équipes métier Appliquer les bonnes pratiques de sécurité by design et de conformité Participer à la documentation et au transfert de connaissances

Client : TRANSPORT Poste : Consultant Système Vidéoprotection Expérience : +10 ans Localisation : Noisy le Grand Démarrage : ASAP Objectifs/Descriptif de mission : L’équipe Sûreté et Services Vidéo a en charge la conception, l’ingénierie de maintenance et pérenne : - des logiciels de supervision de la Sureté hébergés en Datacenter - du service vidéoprotection et de ses constituants : solutions type Vidéo Management System (Milestone dans le cas présent), des services d’infrastructures associées, d’applications clientes, d’équipements Vidéo (caméras, décodeurs). L’ensemble repose sur une infrastructure dédiée et utilise des protocoles réseaux spécifiques type Multicast. Avec 12 000 caméras déployées et 2,3 Po de données stockées, le service de vidéoprotection du client est un des plus importants d’Europe. Activités d’architecture Systèmes industriels Activités menées au niveau Système Vidéo : o Définir les architectures de référence vidéo et veiller à ce que les principes d’ingénieries génériques soient déclinés pour l’ensemble des projets, o Maintenir et alimenter un référentiel d’architecture (ex : architecture de référence, méthodologie de conception, roadmaps, notes de cadrage stratégiques, standards techniques, etc…), o Piloter ou contribuer à la définition ou mise à jour de schémas directeurs pour les services de communication de TSI, o Contribuer à des programmes de gestion d’obsolescence du système Vidéo, o Réaliser des études de cadrage en amont des projets et le cas échéant mener des études de marchés, o Réaliser des études technico-économiques sur des sujets innovants et le cas échéant piloter des POC (« Proof of concept »), o Réaliser de la veille technologique en cohérence avec les orientations stratégiques de l’entreprise et animer le partage d’informations au sein de l’organisation, o De manière ponctuelle, rédiger ou contribuer à rédiger des dossiers de spécification générale. o Valider les cahiers de tests des produits / sous-systèmes et leurs cohérences vis-à-vis du système o Valider les stratégies de migration et de déploiement des produits / sous-systèmes et leurs cohérences vis-à-vis du système.

Site : Vannes, 3 jours sur site par semaine Date de démarrage : asap Nationalité et langues parlées : français Durée mission : jusqu'au 31/12/2025 Mission : intervention pour le compte du Chapitre Data à Vannes Nb années d'expérience : 5 à 7 ans Profil : Data Engineer confirmé Compétences techniques - Langage : Spark - spark streaming et batch (requis), Kafka (apprécié) java (apprécié) shell (apprécié) Stack Hadoop Cloudera Base de données : (type Hdfs, Hive, Hbase, Phoenix, MongoDB) DEVOPS : GIT, Jenkins, Artifactory, XL Release, ELK, Grafana Scrum (cadre agile entreprise) Compétences techniques souhaitées – appréciées BDD Teradata, xDI, SQL Data viz : Microstrategy

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

ans le cadre d’un programme de transformation Data mené au sein d’une grande organisation, une équipe projet pluridisciplinaire travaille à la mise en place d’une nouvelle plateforme Data. Nous recherchons un Data Engineer senior disposant d’une expérience confirmée sur les traitements de données en Spark et Python , capable d’intervenir sur l’ensemble de la chaîne de valeur de la donnée. Responsabilités principales En tant que Data Engineer Senior, vous serez amené à : Concevoir, développer et faire évoluer des pipelines d’ingestion de données en batch et en temps réel Mettre en œuvre des traitements Data fiables, industrialisés et facilement observables Participer à la définition et à la construction d’une architecture Lakehouse moderne Assurer la qualité, la traçabilité et la cohérence des données tout au long de leur cycle de vie Contribuer aux démarches d’ industrialisation et d’automatisation (CI/CD, DataOps) Travailler en étroite collaboration avec les architectes Data, les équipes plateforme, les responsables produit et les métiers Appliquer les principes de sécurité by design et veiller au respect des exigences de conformité Produire la documentation technique et participer au partage de connaissances au sein des équipes