Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance .

Du monitoring des principaux KPI du système et la misé en œuvre des nouveaux KPI. La data ingénierie et l'exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift Assurer la supervision et débogage du système via Openshift S’assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow) Contrôler les volumes et consommations Hardware de la plateforme Débugger les pods en cas d’erreur Niveau de compétence Zookeeper, Ambari, Kafka .. Confirmé Hadoop Confirmé une expérience significative (>5 ans) sur l'architecture ou l'exploitation de plateforme big Data Confirmé Kubernetes & OpenShift (Certification souhaitée) Expert Scala, Spark Confirmé Zabbix Avancé

Data engineer senior Travailler l'architecture du produit avec le Tech Lead Mettre en place la stack technique Apporter une expertise sur la constitution de datasets & KPIs Assurer la qualité des traitements et des données Etre capable de créer des KPIs à partir des données du Datalake Maîtriser les modèles de données et les outils de transformation Mettre en place des indicateurs de mesure de qualité sur chaque développement engagé pour assurer la bonne mise à disposition de la donnée Mission située à Lille

Au sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ». Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective & évolutive de toutes les applications Big Data déjà en fonctionnement en production pour couvrir les besoins métier Il participe également à la construction du socle technique Big Data. Il a pour missions principales : · De développer les évolutions fonctionnelles & techniques des applications Big Data en fonctionnement en production métier, et notamment : · passer de la donnée brute à de la donnée propre, exposée sous forme de tables requetables dans le datalake (inférer les schémas de données, nettoyer et normaliser les données, publier les données) · consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake · les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, Web Services de scoring, …) · De gérer avec l'OPS responsable du suivi de production la transition en BAU de tous les projets métier (transfert de connaissance depuis les développeurs projets) · De gérer (support niveau 3) les analyses & reprises sur incidents en production des traitements Big Data & Web Services de toutes les applications en production, en coordination avec l'OPS assurant le suivi de production global, afin d'assurer la meilleure qualité de service des applications Big Data pour les métiers. (les développeurs projets originels restant support Niveau 4) Selon son profil, le Développeur Big Data pourra même : · piloter fonctionnellement l'OPS pour coordonner le bon fonctionnement en production des applications Big Data au global · De contribuer à la création du socle technique Big Data (librairies de fonctions, features communément utilisées avec les data scientists…) et industrialiser le cycle de développement de l'équipe · De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) · D'accompagner les développeurs plus juniors de l'équipe (coaching, code review, pair programming…)

Expérience et compétences requises - +5 ans d’expérience en tant qu’ingénieur en données ou BI, esprit orienté données - Expérience confirmée de Tableau, à la fois dans le développement de tableaux de bord et dans la connaissance des capacités et de la feuille de route du produit. - Expérience confirmée en SQL, Python et ou/Pyspark - Expérience avérée des projets agiles (Scrum et/ou Kanban) - Sensibilisation à la gestion des données et à la protection de la vie privée - La connaissance du secteur des services financiers est un plus. Compétences techniques : Très bonne connaissance de Tableau Server et Tableau Desktop. La connaissance de Power BI est un plus. Bon niveau en SQL et / ou Python / Pyspark Bonne connaissance de la modélisation des données décisionnelles (concepts Kimball, Inmon, Data Vault...) et des bonnes pratiques associées (dimensions à évolution lente, tableaux ponctuels, gestion des gouffres / pièges à vent, gestion de la capture des données de changement...). Bonne connaissance des environnements de datawarehouse et / ou des datalakes Bonne connaissance de l’un des outils suivants : DB2, Databricks ou Palantir Foundry est un plus. Connaissance des pipelines CI / CD (AzureDevOps, Jenkins, Artifactory, Azure Container Registry...) est un plus. Connaissance du développement d’API REST (Flask, FastAPI, Django...) est un plus La connaissance de typescript est un plus

Smarteo recherche pour l'un de ses clients, Un Data Analyst (Azure Databricks, Synapse, Power BI, Python, Pyspark) Sur Lyon /2j TT Description: projet autour de la gouvernance & la qualité de la donnée d'un client industriel stack technologique : Azure Databricks, Synapse, PowerBI, Python Si vous êtes disponible intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word. Smarteo recherche pour l'un de ses clients, Un Data Analyst (Azure Databricks, Synapse, Power BI, Python, Pyspark) Sur Lyon /2j TT Description: projet autour de la gouvernance & la qualité de la donnée d'un client industriel stack technologique : Azure Databricks, Synapse, PowerBI, Python Si vous êtes disponible intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Je recherche un Tech Lead Big Data – Expert Java - Spark : • Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) • Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution • Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

Nous recherchons un Lead technique Java Spark Mission: Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch.Compétences techniquesJava - Confirmé - Impératif Spark - Confirmé - Impératif Hive, Hbase, MongoDB ou S3 - Confirmé - Impératif Evènementiel : Kafka, Kafka Connect, KStream - Confirmé - Impératif

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

Almatek recherche pour l'un de ses clients, un expert Java Spark sur Paris Devenir le Pilier technique du socle Big Data en Java Spark pour aider les utilisateurs de différentes 6 squads à l’utiliser, répondre aux tickets, analyser les bugs et savoir coder les corrections et livrer (CI/CD Jenkins Maven) Rôle orienté RUN mais quelques évolutions peuvent toujours intervenir, avec donc la capacité de comprendre le besoin fonctionnel et développer l’évolution Gérer les clusters Hadoop MapR on-premise avec un accent sur l'optimisation des performances et le chargement de données en streaming (Kafka/MaprES) et en batch. Compétences techniques : Java Spark Hive, Hbase, MongoDB ou S3 Evènementiel : Kafka, Kafka Connect, KStream

🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Développeur – Big Data | Spark pour intervenir chez un de nos clients. 💻💼 Contexte : vos missions tournent autour de 4 axes : - Fournir une expertise en Big Data pour simplifier la manipulation des données. - Concevoir des solutions techniques pour le traitement massif de données. - Implémenter des solutions de stockage de données (SQL, NoSQL, etc.). - Assurer la sécurité et la lisibilité des pipelines de données pour faciliter l'analyse et la transformation. Voici un aperçu détaillé de vos missions 🎯 : - Création, maintenance, optimisation et sécurisation des bases de données pour garantir leur intégrité et leur performance. - Détection, proposition et suivi des optimisations des requêtes SQL, PL/SQL afin d'assurer l'efficacité des applications métier en termes de traitement des données. - Fournir un soutien aux équipes de développement en identifiant et en recommandant des solutions SGBD adaptées aux besoins métier, tout en assurant leur performance et leur pertinence. - Effectuer une veille technologique sur les outils utilisés dans le cadre du projet, afin de maintenir la pertinence et la compétitivité des solutions mises en œuvre. - Partager et dispenser des formations sur les bonnes pratiques en matière de gestion des bases de données, contribuant ainsi à l'amélioration continue des processus et des compétences au sein de l'équipe.

Contexte de la mission : Dans une équipe de 6 personnes en multi sites, le consultant participera aux développements informatiques sur les technologies Hadoop, HDFS, Hive, Spark Sql et PySpark, Sqoop MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes MISSIONS : · Participation au maintien en conditions opérationnelles · Conception · Développements · Livraisons · Recettes

Contexte de la Mission : Nous sommes à la recherche d'un Data Architect qui assumera la responsabilité complète de l'architecture des données. Cette personne devra avoir une solide compréhension des services disponibles dans Azure Analytics et travaillera en étroite collaboration avec plusieurs équipes . Elle jouera un rôle clé dans la conception de l'architecture des données et fournira un soutien tout au long du cycle de vie de la gestion des données. Tâches à Réaliser : • Assurer le leadership technique, participer au développement et représenter les ressources internes et externes de la plateforme. • Être un membre actif de l'équipe des architectes pour superviser le processus de gestion des données et fournir des conseils aux équipes de développement. • Être responsable de la conception et de la documentation de la solution dans votre domaine.

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Nous recherchons pour le compte d'un de nos clients un Data Engineer en gestion de données Azure, souhaitant contribuer à des projets innovants dans un environnement dynamique et en constante évolution. Vous aurez l'occasion de travailler sur des tâches variées allant de la gestion de base de données SQL sur Azure à l'automatisation des pipelines ETL et au développement de scripts Python pour le web scraping. xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx