Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

Client : Entreprise de transport Poste : Architecte technique Senior DSM Expérience : Plus de 8 ans TJM d’achat max : 5 15€ Localisation : Banlieue parisienne Deadline réponse : 09/12 Démarrage : 01/01/2025 Durée : Mission très longue DESCRIPTION DE LA MISSION Objectifs La prestation, objet du présent cahier des charges, est une prestation à temps plein de Data Engineer Senior Scala/Spark. Vous interviendrez en tant que contributeur individuel sur l’étude, le chiffrage, la réalisation et l’exploitation de tâches liées à la constitution de traitements Data complexes. Les projets sont menés en équipe de 2 à 6 Data Engineers, accompagnés d’opérateurs, d’architectes et encadrés par un chef de projet. Description détaillée des tâches qui constituent la mission Dans le cadre de cette prestation, il est notamment demandé de réaliser les livrables décrits ci-dessous. S'agissant d'un projet mené en méthodologie agile, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est variable mais toujours constitué sur la base d’US (User Stories). Les livrables liés aux US sont donc variables mais suivent généralement une recette commune liée à la Definition of Done du projet. Ces livrables sont réalisés par l'équipe projet, sans responsabilité de production individuelle. Les sprints s’échelonnent généralement sur 2 semaines. Contenu général des sprints : Développement des US et tests associés ; Documentation du projet, mapping des données, modélisation des pipelines, documents d’exploitation ; Mise en place du CI/CD sur l’usine logicielle ; Mise en place du monitoring ;

Bonjour, Nous recherchons pour notre client grand compte un Expert Datastage PX – flux inter-applicatifs – transition Python / Spark – environnement SAFe . Nous étudions – prioritairement – les candidatures qui nous sont adressées à freelance à insyco.fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour au format Word Date de prochaine disponibilité et mobilité Tarif journalier Merci d’indiquer la référence KTR/PXPY/4994 dans l’objet de votre message Le prestataire intervient sur un socle data existant reposant majoritairement sur Datastage PX , complété par des traitements en PySpark , comprenant un volume important de traitements, de jobs et de chaînes ordonnancées, avec de fortes dépendances entre applications. La prestation couvre notamment : L’exploitation quotidienne du socle Datastage PX La maintenance corrective et évolutive des traitements data L’optimisation de chaînes Datastage complexes L’administration de l’outil Datastage La gestion des incidents data La mise en place et l’adaptation de nouveaux périmètres de données La participation aux travaux de modélisation des données à destination des usages décisionnels La gestion et l’évolution de flux inter-applicatifs entre applications du SI Dans un contexte de transformation du SI data, la prestation inclut également : L’accompagnement d’un projet de décommissionnement d’un socle historique Le remplacement de sources existantes par des flux issus d’un environnement cloud (AWS) L’impact et l’adaptation de nombreuses chaînes Datastage existantes La réécriture progressive de traitements Datastage vers Python et Spark / PySpark Des travaux transverses en parallèle sur : des pipelines CI/CD appliqués aux flux data un outil de gouvernance de la donnée (Apache Atlas : métadonnées, rôles, sécurité) La prestation s’exerce dans un environnement Agile à l’échelle (SAFe) , avec un fonctionnement en train agile, une coordination transverse entre plusieurs équipes et une forte dépendance aux équipes de recette.

🏭 Secteurs stratégiques : Banque d’investissement PAS DE FULL REMOTE NI SOUS TRAITANCE MERCI 🗓 Démarrage : ASAP 💡 Contexte /Objectifs : Le département a lancé un programme stratégique, qui comporte plusieurs projets d'harmonisation des processus et outils. L'un de ces streams a pour vocation de constituer un datalake sur une stack Hadoop, afin de servir les besoins en data et reporting. Ce datalake a également pour vocation de devenir la brique centrale de l'architecture du SI . Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake. Passionné par les données, capable de s’adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. 🤝Principales missions : Les tâches suivantes seront confiés au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme • Eventuellement mettre en œuvre une couche d'APIs afin d'exposer nos données

Nous sommes à la recherche d’un Développeur Big Data Java/Scala – Projet Migration DataHub V2 Objectif de la mission : Assurer un service de développement Big Data dans un environnement distribué à forte volumétrie. Accompagnement sur les phases de conception, développement, industrialisation et maintien des traitements. Stack et compétences techniques requises : Apache Spark (maîtrise attendue) Scala (langage principal sur la squad) SQL (avancé) Java (notions de base à confirmées) Kafka (bonnes bases sur les événements, topics) Apache Airflow (idéalement une première expérience) Écosystème Hadoop : HDFS, Hive, Yarn (bonnes bases requises) Cloud (une première expérience Cloud valorisée, idéalement GCP ou AWS) CI/CD : Jenkins, Gitflow, notions de DevOps Méthodologie Agile : backlog, rituels, communication proactive Responsabilités principales : Étude et conception technique des batchs Développement Spark/Scala pour traitement de données volumineuses Récupération, transformation, enrichissement, restitution Création de batchs de publication Kafka Participation à la maintenance de la chaîne CI/CD Collaboration étroite avec les Business Analysts pour garantir qualité et lisibilité des libellés Gestion autonome de certains sujets (reporting, suivi, coordination) Profil recherché : Confirmé (3 à 6 ans d’expérience sur des environnements similaires) Proactif, rigoureux, à l’aise dans les contextes techniques exigeants Capacité à interagir avec des interlocuteurs techniques et fonctionnels Démarrage : ASAP Durée : mission longue (visibilité +12 mois)

Dans le cadre de notre développement, nous recherchons un Expert Big Data pour accompagner un acteur majeur du secteur bancaire sur des projets stratégiques liés à la transformation et à l’optimisation de ses plateformes de données. Le consultant aura un rôle clé dans l’architecture et la mise en œuvre des pipelines Big Data, garantissant performance, scalabilité et conformité aux exigences métier et réglementaires. Objectifs de la mission : Conception et développement de pipelines Big Data Définir et mettre en place des architectures de traitement de données complexes. Développer et optimiser des workflows Spark et Airflow pour des traitements batch et temps réel. Assurer la qualité, la fiabilité et la performance des pipelines. Support stratégique et technique Conseiller les équipes sur les choix technologiques et les bonnes pratiques Big Data. Participer à la définition de la stratégie de données et à la roadmap technique. Collaborer étroitement avec les équipes métier et IT pour anticiper les besoins et prioriser les évolutions. Gouvernance et qualité des données Garantir la conformité des pipelines aux normes de sécurité et réglementaires du secteur bancaire. Mettre en place des mécanismes de supervision, de monitoring et d’alerte. Assurer la documentation technique et fonctionnelle des solutions déployées.

Contexte: Dans un contexte de structuration et de montée en maturité des usages Data au sein d’une Direction Financière, la mission vise à renforcer les capacités analytiques autour de la prévision du chiffre d’affaires. L’objectif est de concevoir et d’industrialiser un produit Data stratégique permettant une projection automatisée et multidimensionnelle du chiffre d’affaires (produits, zones géographiques, canaux de vente, infrastructures). Le consultant interviendra au cœur d’une organisation Finance & Data, en tant que référent Data Finance, à l’interface entre les équipes Finance, Data et Produit. Missions: Concevoir, maintenir et faire évoluer un produit Data de projection du chiffre d’affaires Développer et industrialiser des modèles de prévision intégrant des mécanismes basés sur les volumes Permettre des ajustements manuels des projections par les équipes métiers Garantir la qualité, la fiabilité, la traçabilité et l’exploitabilité des données Développer et maintenir des pipelines de données sous Dataiku Implémenter des traitements SQL avancés et des flux de transformation complexes Exploiter Spark / PySpark pour gérer des volumétries importantes Automatiser, monitorer et documenter les chaînes de traitement Mettre en œuvre des contrôles de qualité et contribuer à la gouvernance des données financières Rendre les modèles explicables et actionnables pour les équipes Finance Mettre à disposition les données projetées dans le datalake Collaborer étroitement avec les équipes Finance, Data et Produit Participer aux rituels agiles et au suivi des livrables via des outils de gestion de projet

Intégré(e) au sein d’une équipe Agile, vous participerez à : La conception et la mise en place de pipelines ETL performants L’ingestion, la transformation et la qualité des données La gestion et l’optimisation des flux Data dans un environnement Azure / Databricks / Spark L’automatisation des traitements et le monitoring des workflows La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels La collaboration avec les équipes métier et Data pour répondre aux enjeux opérationnels

En tant que Business Analyst expérimenté, vous êtes responsable du cycle de vie complet de l'intégration des flux de paiement : Coordination et Pilotage des Flux : Animer et coordonner les différentes équipes impliquées : Équipes M3 (ERP), Spark (Middle Office), Équipes de Développement (Front/Back) et le Partenaire PSP. Garantir l'alignement des parties prenantes sur les objectifs du projet et les spécifications techniques et fonctionnelles. Analyse et Spécification Fonctionnelle : Recueillir, analyser et formaliser les besoins métier en lien avec l'outil de paiement (processus de commande, annulation, remboursement, gestion des fraudes, etc.). Rédiger les Spécifications Fonctionnelles Détaillées (SFD) et les user stories claires et exploitables pour les équipes de développement. Suivi et Validation des Développements : Assurer la transmission et l'interprétation des spécifications aux équipes de développement. Réceptionner et valider les livrables techniques en vous assurant de leur conformité avec les spécifications initiales. Tests et Recette (E2E/UAT) : Concevoir et exécuter les tests de bout en bout ( End-to-End Tests ) pour valider l'intégralité de la chaîne de paiement. Coordonner et piloter les tests d'Acceptation Utilisateur ( User Acceptance Tests - UAT ) avec les équipes métier.

Bonjour ☺️ Nous recherchons un DATA ENGINEER orienté sur les technologies SPARK / SCALA / PYTHON/ AWS pour le compte de notre client ! Mission : Maintenir la plateforme en conditions opérationnelles : Garantir la disponibilité des données et des services de la plateforme, Assurer la communication avec les utilisateurs de la plateforme, Répondre aux demandes de données (données ad hoc, analyses d’anomalies), Développer les correctifs et évolutions nécessaires, Contribuer à la qualité des données et à l’industrialisation de leur exploitation. Concevoir et développer des services et pipelines de données fiables et performants : Mettre en place des flux de données (acquisition, transformation, export), Concevoir et modéliser les données, Développer et optimiser les pipelines de transformation, Réaliser les tests unitaires et d’intégration, Garantir la qualité des développements via les revues de code, Ordonnancer et gérer les dépendances entre traitements, Déployer sur l’ensemble des environnements, Enrichir et maintenir la documentation de la plateforme. Profil recherché : Minimum 5 ans d'expériences dans un contexte de grande volumétrie de données, Capacité à collaborer avec une pluralité d'interlocuteurs en même temps, Excellent esprit d’équipe, Capacité d'adaptation, Maitrise impérative de : Spark Scala, Python et SQL, Expérience significative sur AWS. Apprécié : Connaissance de Dataiku, Méthodologie Scrum/Safe, Airflow N'hésitez pas à envoyer votre CV !

Missions principales Contribuer au développement et à l’industrialisation des traitements Big Data. Intervenir en transverse auprès des différentes équipes (IT et métiers). Challenger les besoins métiers et proposer des solutions techniques pertinentes. Participer à l’amélioration continue des performances et de la qualité des données. Environnement technique Environnement technique : SPARK, CLOUDERA, HADOOP, Java, Hive Profil recherché – Hard & Soft Skills 5 à 8 ans d’expérience en environnement Big Data (Spark / Hadoop / Hive / Java). Solide culture data et environnement distribués (type Cloudera). Excellente capacité de prise de recul et de compréhension des enjeux métiers. Aisance relationnelle et posture transverse : capacité à challenger et à accompagner les équipes métiers. Présence à Vannes 3 jours par semaine - Non négociable

· Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes. · Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL (Trino), tuning des jobs Spark. · Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l’optimisation des requêtes. · Mise en place de l’approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD/FluxCD. · Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs.

Data Engineer Spark/Scala Paris o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Au sein de la DSI Finance de la DSI, le poste recherché porte sur le besoin d’un Data Engineer Spark/Scala confirmé (5-6 ans d’expérience). Objectifs et livrables Objectifs Le prestataire intégrera le projet d’intégration en coordination avec le chantier assiette comptable de référence en tant que Data Engineer. Les développements sur ce chantier s’appuient sur la plateforme Datalake Finance, basée sur la distribution Hadoop HortonWorks qui collecte les données des différents systèmes de synthèse afin de répondre aux nouveaux besoins de reporting Finances & Risques (COREP, calcul RWA, IFRS9, etc.…) Les tâches seront les suivantes : • la mission consistera à prendre part aux développements, au sein du datalake pour acquérir les nouvelles sources de données, les assemblées et les distribuées aux consommateurs, tout en étant garant de la pérennité et la non-régression de l’outillage déjà en place • Vous participerez à la conception et à l’implémentation de ce projet et serez amené, à ce titre, à travailler en méthode Agile avec de nombreux acteurs métiers et les équipes de maintenance Compétences techniques o Expérience dans la mise en œuvre de technologies et frameworks Big Data et NoSQL (Hadoop, Kafka, Spark, Scala, Hive, SolR, HBase, Kerberos) o Spark / Scala : confirmé o A l'aise avec le programmation fonctionnelle (connaissance des librairies ZIO, MONIX, CATS appréciée) o Expérience de travail dans un environnement Agile ; avec outils et méthodologies associés (Confluence, Jira, Scrum, Kanban) Compétences demandéesCompétences Niveau de compétence Apache Kafka Avancé Apache Hadoop Confirmé Apache Hive Avancé SCALA Confirmé Spark Confirmé

Dans le cadre d’un programme stratégique de pilotage financier, nous recherchons un Ingénieur Logiciel Data Cloud AWS confirmé (+7 ans d’expérience) pour rejoindre une équipe de développement et d’ingénierie orientée données et services cloud. Vous interviendrez sur la conception, l’implémentation et l’amélioration continue des services AWS nécessaires au traitement, à l’analyse et à la planification financière. Le contexte est exigeant : réglementaire, sécurité, performance, optimisation des coûts et démarche DevOps/DORA. Vous intégrerez une équipe de 9 personnes, dont un pôle cloud/data AWS déjà en place. Vos missions : Concevoir, développer et faire évoluer les services applicatifs AWS (Glue Spark, Lambda, Step Functions, Athena, S3, IAM). Intégrer les services aux différents écosystèmes techniques (plateforme Data, MDM, ZDP, Data Link, Anaplan). Proposer des optimisations, améliorer les architectures existantes, renforcer la robustesse et la performance. Prendre en compte les exigences métiers, réglementaires, sécuritaires et environnementales. Participer à une démarche d’amélioration continue (Lean, DevOps, DORA). Documenter les architectures, formaliser les conceptions, assurer un bon niveau de qualité. Implémenter les bonnes pratiques TDD / BDD. Collaborer en équipe dans un environnement cloud industriel avancé.

Merci de bien lire l'annonce ci dessous et vérifier que vous correspondez au besoin. Nous recherchons exclusivement des candidats basés à Vannes ou en Bretagne . Merci de ne pas envoyer de candidature si vous êtes situés hors de cette zone géographique. En tant que Data Engineer , votre mission principale sera de produire des solutions techniques robustes et performantes pour exploiter au mieux les données du client. Cependant, votre rôle ne se limitera pas à l’aspect technique : vous serez également un partenaire stratégique des métiers , capable d’identifier leurs besoins, de comprendre leurs enjeux et de proposer des solutions techniques adaptées. Vos responsabilités : Concevoir, développer et maintenir des pipelines de données performants et évolutifs Participer à la définition de l'architecture Data Développer les solutions de collecte et de stockage des données Mettre en place les tests unitaires et automatisés Garantir la qualité, la sécurité et l’intégrité des données tout au long de leur cycle de vie. Implémenter des solutions qui optimisent la gestion des données pour les équipes métier. Collaborer étroitement avec les équipes métier pour comprendre leurs objectifs stratégiques. Faciliter la communication entre les équipes techniques et les non-techniciens Vous serez à la croisée des chemins entre technique et métier , jouant un rôle clé pour transformer les données en un véritable levier de décision. Votre capacité à allier expertise technique et vision stratégique fera de vous un acteur indispensable pour relever les défis de l’entreprise.

Vous serez en charge du déploiement ainsi que du MCO/MCS de l’écosystème Cloudera (Cloudera Manager, services Cloudera Data Platform : HDFS, Vous interviendrez également sur la gestion d’une architecture Lake house , comprenant : Data Security : Apache Ranger Data gouvernance : Apache Atlas Data processing : Spark, Apache Zeppelin Data ingestion : NiFi Data analytics : Apache Impala Data lake : Hadoop, Apache Kudu Data serving : Hue Responsabilités Documenter les procédures d’exploitation et rédiger des rapports synthétiques Garantir le bon fonctionnement des services dans le respect des SLA Opérer en environnement de production en s’appuyant sur les processus ITIL (gestion des incidents, problèmes, changements) Communiquer en anglais avec les éditeurs (dont Cloudera) et les fournisseurs Automatiser les déploiements (fichiers de configuration, certificats, keystores) via Ansible Utiliser les outils DevOps (GitHub, Jenkins) pour le versionning et les pipelines Exploiter les environnements Linux et analyser les logs dans le cadre du traitement des incidents Être force de proposition concernant l’amélioration de l'exploitabilité, la robustesse et la supervision des services Participer aux réunions d’équipe, aux projets et aux différents comités, et assurer un reporting régulier Livrables attendus Dossier d’ingénierie de la plateforme Lake house Fiches et procédures d’exploitation Dossier de mise en production PV de mise en production

Nous recherchons un ingénieur Java senior, expérimenté en développement de solutions de traitement de données avec Spark, déploiement sur Kubernetes et conception de dashboards PowerBI, capable de travailler en autonomie et en collaboration avec des équipes multidisciplinaires. Missions principales : Développement de composants Java pour la collecte, le traitement et la transformation de données via API, fichiers ou bases de données. Conception et mise en place de traitements de données avec Spark . Déploiement, gestion et optimisation d’applications sur Kubernetes. Rédaction et maintenance de tests automatisés avec Cucumber pour assurer la qualité du code. Conception et développement de dashboards et rapports PowerBI. Collaboration avec les équipes infrastructure pour garantir la sécurité et l’intégration des applications. Participation à l’amélioration continue des applications et des process de développement. Profil recherché : Expérience : 5 à 8 ans en développement Java avec une expérience sur technologies de traitement de données (Spark, Kafka, etc.). Compétences techniques : Java et frameworks Spring/Hibernate Angular pour le développement d’IHM Kubernetes et bonnes pratiques DevOps Spark 3 en Java Cucumber pour tests automatisés Développement d’API REST/SOAP, OAuth2, TDD Conception de dashboards PowerBI Connaissance des architectures microservices et expérience cloud (GCP, AWS)