Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark à Paris

Votre recherche renvoie 35 résultats.
Astuce

Astuce

Utilisez des virgules pour rechercher plusieurs termes en même temps.

Exemple : sql, php correspond à sql OU php

Suivant
Freelance

Mission freelance Data Engineer (H/F)

CTG
Publiée le
Apache Spark
Finance
Kubernetes

3 ans
100-600 €
Paris, France

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

Freelance
CDI

Offre d'emploi Expert analyste fraude

Ela Technology
Publiée le
Apache Spark
SQL

2 ans
31k-200k €
Paris, France

Dans le cadre du développement de notre activité, nous recherchons un Expert analyste fraude . Contexte : Dans un contexte européen (interlocuteurs dans différents pays), vous accompagnerez un service de scoring temps réel sur des opérations par carte bancaire ainsi que des opérations en Instant Payment réalisées par wallet numérique. Equipe : 2 data science LCLF et scoring temps réel, 2 experts analystes fraude. Nous assurons un service de modélisation de scoring, visant à détecter et stopper la fraude en temps réel. Missions : Les missions (en partenariat avec un data scientist) sont les suivantes : · Recherche de fraude au quotidien aux moyens de paiement (carte volée) : wallet de paiement européen, virement instantané de compte à compte EPI (projet européen sur moyens de paiement) · Détection de fraude, voir les fraudes remontées (via des reportings) · Mise à jour des mesures anti-fraude au quotidien · Suivi opérationnel de la fraude · SQL : extraction de données, requêtes, vérifications · Forte composante donnée, orientée production. Les données sont stockées dans un environnement Big Data Hadoop et pourront être exploitées en SQL ou Spark. · Gestion des règles selon un modèle de scoring temps réel · Elaboration et Maintenance des règles de scoring temps réel Construction (via du code) et suivi du modèle de règle de scoring en temps réel · Ecriture de règle · Demande de mise en production des règles · Participation à l’élaboration des reportings · Echanges opérationnels avec le client

CDI
Freelance

Offre d'emploi Data Engineer Databricks

KLETA
Publiée le
Apache Spark
Azure
Azure Data Factory

3 ans
10k-68k €
Paris, France

Conception de l'architecture de données : Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier. Développement de pipelines ETL : Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks. Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée. Optimisation des performances : Optimiser les requêtes Spark pour améliorer les performances des traitements de données. Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark. Gestion des données en temps réel : Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming. Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés. Gestion de la qualité des données : Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données. Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité. Sécurité des données : Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles. Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données. Automatisation des workflows : Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification. Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données. Surveillance et gestion des opérations : Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring. Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données. Collaboration avec les équipes métier : Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting. Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks. Veille technologique : Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.

Freelance

Mission freelance Data Engineer (H/F)

CTG
Publiée le
Apache Spark
Finance
Python

3 ans
100-560 €
Paris, France

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

Freelance

Mission freelance DATA ENGINEER SPARK /SCALA

UCASE CONSULTING
Publiée le
Apache Spark
Azure
Databricks

3 ans
100-650 €
Paris, France

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances Expériences et formations Bac+3 à Bac+5 en informatique. Un bon niveau d’anglais technique est demandé. Expérience solide de 4/5 ans minimum en tant que Data Engineer dans le domaine recherché. 3 jours de télétravail par semaine Ca vous tente ? Postulez !! TEAM UCASE :)

Freelance
CDI

Offre d'emploi Lead développeur PHP Laravel / VueJS / Kafka H/F

HR-TEAM
Publiée le
Apache Kafka
Laravel
PHP

18 mois
50k-90k €
Paris, France

Dans le cadre d'un accroissement d'activité, nous recrutons un lead développeur PHP / Laravel / VueJS / Kafka H/F pour intégrer la DSI. Vos missions : - Suivre au quotidien la bonne prise en compte des principes établis, et de manière générale le respect des bonnes pratiques - Le cas échéant, aider les développeurs - Donner aux POs tous les éléments pour prioriser la backlog en conséquence - Compléter si besoin les consignes à respecter - Adapter la chaîne de CI si nécessaire - Suivre, encadrer et contrôler le travail des équipes off-shore - Prendre connaissance des nouveaux besoins et assister les POs dans la qualification et les macro-estimations. - Détecter des difficultés particulières, imaginer des esquisses de solution, se rapprocher de l’architecte pour envisager les options - Le cas échéant, effectuer la conception détaillée des solutions - Suivre l’exploitabilité et le comportement des applications - Surveiller régulièrement, avec les POs, le comportement des applications avec les outils disponibles - Le cas échéant, proposer/réaliser des dashboards supplémentaires, ou remonter le besoin d’amélioration - Rester en contact régulier avec les intégrateurs et les ops - Suivre et traiter les merge requests - Rester à l’écoute des pratiques et des technologies qui émergent - Contribuer, avec l’architecte et les autres tech leads, à l’animation technique des équipes - Concevoir et réaliser des storiesw - Participer au recrutement des développeurs

Freelance

Mission freelance Ingénieur de production - applications Projet PARME N4

KEONI CONSULTING
Publiée le
Apache
Java

12 mois
100-400 €
Paris, France

Contexte Objectif global : Intégrer Les applications Projet PARME MISSIONS : Environnement et contexte. La mission se déroulera au sein de la Production Applicative Suivi des Echanges qui est en charge de bout en bout de la production,de la performance et de la disponibilité des applications Paiement – SI Paiement de masse. Le SI est majoritairement composé d’applications gérant les échanges des paiements de masse de type MINOS, SEPA et Monétique, … entre le SI des banques et les systèmes de place (Core, step2). L’activité de l’entité est centrale au sein des équipes informatiques : infrastructure, études, sécurité, gouvernance. Particulièrement sur les nouvelles applications mises en oeuvre dans le cadre du Programme Paiement Groupe. La mission a pour enjeux la construction de l'autoroute des paiements pour le compte du client. Mission riche sur les enjeux métier, l’expérience d’exploitant et ses relations humaines. La mission consiste à, dans le respect des processus interne et des engagements pris avec le métier Paiement : A) Dans le cadre la gestion MCO des applications : - Installe, déploie, administre, exploite sur un ou plusieurs sites la solution validée et qualifiée en amont. - Assure le bon fonctionnement des systèmes d'information et des infrastructures en prenant en compte la disponibilité des ressources, la correction des incidents et le maintien en condition. - Installe et met en œuvre les nouveaux composants (applicatifs, techniques ou infrastructures) avec outils les environnements du SI et s'assurer de leur bon fonctionnement. - Diagnostiquer et traiter les incidents sur le périmètre confié. - Participer aux actions d'évolutions et de maintien en condition opérationnelle en veillant à leur qualité et propose des améliorations pour optimiser les ressources existantes et leur organisation. - Gérer les ressources du SI (en général) et vérifie leur disponibilité B) Dans le cadre des Projets , la mission consiste à, dans le respect des processus interne et des engagements pris avec le métier Paiement : - Analyser, cadrer et traiter les travaux d’intégration des évolutions des applications (d’origine métier ou infrastructure). - Veiller au respect des jalons et être garant d’avoir maîtrisé l’impact des interventions sur la qualité de service et dans le respect des exigences d’exploitation. - Traiter les demandes de déploiement des composants applicatifs, coordonner les acteurs et assurer la communication en cours d’opération, - Documenter les configurations, maintenir à jour toutes les documentations relatives à l’exploitation des applications et rédiger les consignes destinées aux différents centres d’expertises impliqués dans la délivrance du service.

CDI

Offre d'emploi DevOps Azure H/F

GREEN LINKS
Publiée le
Apache Maven
Azure
Docker

10k-75k €
Paris, France

En tant que Développeur(se) DevOps Azure H/F, vos missions seront les suivantes : - Concevoir et mettre en œuvre des infrastructures cloud avec Microsoft Azure, en utilisant des outils tels que Terraform, Docker, Maven, Kubernetes, ainsi que les services Azure AKS, Storage Account, Front Door, Key Vault, Container Registry. - Assurer la maintenance en condition opérationnelle des infrastructures cloud existantes. - Participer activement à l'amélioration des processus d'automatisation, notamment en ce qui concerne la mise en place de pipelines CI/CD.

Freelance
CDI

Offre d'emploi Expert Nifi

OMICRONE
Publiée le
Apache
Java

2 ans
10k-45k €
Paris, France

Dans le cadre du renforcement de notre équipe IT, nous sommes à la recherche d'un Expert NiFi passionné et expérimenté pour rejoindre notre entreprise dynamique et innovante. Missions : Conception, déploiement et optimisation des flux de données avec NiFi. Assurer la sécurité et la fiabilité des données traitées. Collaborer avec les équipes de développement pour intégrer les meilleures pratiques de traitement des données. Fournir un support technique et une expertise pour toutes les questions relatives à Apache NiFi. Participer activement à l'amélioration continue des processus et outils internes. Profil recherché : Expérience significative avec NiFi. Bonne connaissance des principes de l'intégration de données et de l'architecture des systèmes d'information. Compétences en programmation (Java, Python, etc.) sont un plus. Capacité à travailler en équipe et à communiquer efficacement. Esprit d'analyse et de résolution de problèmes. Maîtrise de l'anglais technique. Nous offrons : Un environnement de travail stimulant au sein d'une équipe dynamique et collaborative. Des projets variés et innovants. Si vous êtes motivé(e) à relever ce défi et à faire partie de notre aventure, envoyez nous votre CV

CDI

Offre d'emploi Data Engineer Azure Confirmé/Senior

Inventiv IT
Publiée le
Apache Spark
Azure
Azure Data Factory

48k-72k €
Paris, France

Dans le cadre de son développement, Inventiv IT recrute un Data Engineer Azure avec une expérience de 4 ans au minimum. Le Poste est basé à Paris. Rythme de Travail Hybride Apporter une expertise en Big Data permettant la manipulation de données Concevoir et conseiller les solutions permettant de traiter des volumes importants de données Mettre en place des bases de données et des pipelines Assurer la sécurité des traitement et leurs bon fonctionnement Développer en équipe, savoir recetter des traitements, les mettre en production et les maintenir Documenter son travail et savoir transférer son savoir Environnement technique indispensable : Azure, databricks, azure data factory , spark, scala, Kubernetes, ci/cd Répartition des missions : 30 % d’expertise Big Data 30 % de Conception de plateforme : conception et développement 30 % de mise en place : mise en place des bases de données, mise en production, sécurisation et suivi des traitements 10 % de projet : Recette - point projet - Documentation Vos Qualités : Force de proposition tout en respectant les règles imposés Esprit Analytique et de Synthèse Esprit d’équipe Sens de l’organisation

Freelance
CDI

Offre d'emploi Développeur Golang (h/f)

HR-TEAM
Publiée le
Apache Kafka
C/C++
Go (langage)

12 jours
64k-70k €
Paris, France

Au sein de la DSI et en particulier de l’équipe Backend Temps Réel, le Développeur Backend Senior participe à la conception, au développement et aux adaptations de modules ou d’applications pour répondre aux besoins des utilisateurs. Les missions principales sont les suivantes : • Développer et tester de nouvelles fonctionnalités sur les serveurs Backend Temps Réel permettant de délivrer le service aux utilisateurs, • Assurer le paramétrage, l’optimisation, la mise en place de la maintenance et l’évolution des fonctionnalités existantes. • Développer de nouvelles interfaces de restitution de données statiques et temps réel. • Réaliser le développement de certaines fonctionnalités temps réel, et en particulier de leur algorithmie. • Estimer, communiquer et respecter les temps de développement des fonctionnalités et correctifs. • Écrire du code de qualité, efficace, testable, testé, maintenable, réutilisable et documenté. • Force de proposition à l’amélioration des pratiques, processus et standards de développement interne.

Freelance

Mission freelance Ingénieur Etudes et Développement Python Airflow H/F

CTG
Publiée le
Apache Airflow
Docker
Flask

3 ans
100-600 €
Paris, France

Les principales activités sont : · Conception et mise en œuvre de services en Python · Développement de processus automatisés en utilisant la technologie Airflow · Support Technique des applications et des outils développés · Automatisation des processus de build, de test et de déploiement (intégration continue) · Rédiger et compléter les spécifications techniques · Estimer la charge · Réaliser la solution technique et la documenter · Assurer le déploiement et les tests sur les environnements hors production · Assurer la préparation à la mise en production

CDI

Offre d'emploi Data Engineer AWS Confirmé/Senior

Inventiv IT
Publiée le
Apache Spark
AWS Cloud
Databricks

48k-72k €
Paris, France

Dans le cadre de son développement, Inventiv IT recrute un Data Engineer AWS avec une expérience de 4 ans au minimum. Le Poste est basé à Paris. Rythme de Travail Hybride Apporter une expertise en Big Data permettant la manipulation de données Concevoir et conseiller les solutions permettant de traiter des volumes importants de données Mettre en place des bases de données et des pipelines Assurer la sécurité des traitement et leurs bon fonctionnement Développer en équipe, savoir recetter des traitements, les mettre en production et les maintenir Documenter son travail et savoir transférer son savoir Environnement technique indispensable : AWS, Databriks, Spark , Scala, Kubernetes Répartition des missions : 30 % d’expertise Big Data 30 % de Conception de plateforme : conception et développement 30 % de mise en place : mise en place des bases de données, mise en production, sécurisation et suivi des traitements 10 % de projet : Recette - point projet - Documentation Vos Qualités : Force de proposition tout en respectant les règles imposés Esprit Analytique et de Synthèse Esprit d’équipe Sens de l’organisation

Freelance
CDI

Offre d'emploi Bigdata Engineer Cloud

Digistrat consulting
Publiée le
Apache Kafka
Big Data

3 ans
40k-60k €
Paris, France

💼 Poste : Bigdata Engineer Cloud 🏭 Secteurs stratégiques : Banque d’investissement 📍Localisation : Ile de France 🗓 Démarrage : ASAP Expérience souhaité : 0 - 3 ans Principales missions sont : Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket

Freelance

Mission freelance Data Engineer (H/F)

CTG
Publiée le
Apache Spark
Cloud
Finance

3 ans
100-600 €
Paris, France

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

Freelance
CDI

Offre d'emploi Expert Kafka

KLETA
Publiée le
Apache Kafka
DevOps

3 ans
10k-85k €
Paris, France

Au sein de l'équipe, certaines de vos responsabilités seront : Gestion et développement de plusieurs clusters Kafka on premise Forte volumétrie de données (+35k messages / seconde) Monitorer les différents clusters Questionnement d'une possible migration vers Confluent Cloud, à challenger Ensemble de la palette DevOps (chaîne CI/CD, Jenkins, Ansible, Gitlab...) Capacité à travailler dans un contexte international Anglais courant mandatory ... Au plaisir de pouvoir échanger avec vous concernant l'opportunité.

Suivant

Au service des talents IT

Free-Work est une plateforme qui s'adresse à tous les professionnels des métiers de l'informatique.

Ses contenus et son jobboard IT sont mis à disposition 100% gratuitement pour les indépendants et les salariés du secteur.

Free-workers
Ressources
A propos
Espace recruteurs
2024 © Free-Work / AGSI SAS
Suivez-nous

Nouveauté ! Avec Free-Work MyBusiness, vous pouvez désormais gérer votre facturation, vos clients et votre activité facilement. C'est gratuit et sans engagement !