Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance .

Du monitoring des principaux KPI du système et la misé en œuvre des nouveaux KPI. La data ingénierie et l'exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift Assurer la supervision et débogage du système via Openshift S’assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow) Contrôler les volumes et consommations Hardware de la plateforme Débugger les pods en cas d’erreur Niveau de compétence Zookeeper, Ambari, Kafka .. Confirmé Hadoop Confirmé une expérience significative (>5 ans) sur l'architecture ou l'exploitation de plateforme big Data Confirmé Kubernetes & OpenShift (Certification souhaitée) Expert Scala, Spark Confirmé Zabbix Avancé

Data engineer senior Travailler l'architecture du produit avec le Tech Lead Mettre en place la stack technique Apporter une expertise sur la constitution de datasets & KPIs Assurer la qualité des traitements et des données Etre capable de créer des KPIs à partir des données du Datalake Maîtriser les modèles de données et les outils de transformation Mettre en place des indicateurs de mesure de qualité sur chaque développement engagé pour assurer la bonne mise à disposition de la donnée Mission située à Lille

Au sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ». Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective & évolutive de toutes les applications Big Data déjà en fonctionnement en production pour couvrir les besoins métier Il participe également à la construction du socle technique Big Data. Il a pour missions principales : · De développer les évolutions fonctionnelles & techniques des applications Big Data en fonctionnement en production métier, et notamment : · passer de la donnée brute à de la donnée propre, exposée sous forme de tables requetables dans le datalake (inférer les schémas de données, nettoyer et normaliser les données, publier les données) · consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake · les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, Web Services de scoring, …) · De gérer avec l'OPS responsable du suivi de production la transition en BAU de tous les projets métier (transfert de connaissance depuis les développeurs projets) · De gérer (support niveau 3) les analyses & reprises sur incidents en production des traitements Big Data & Web Services de toutes les applications en production, en coordination avec l'OPS assurant le suivi de production global, afin d'assurer la meilleure qualité de service des applications Big Data pour les métiers. (les développeurs projets originels restant support Niveau 4) Selon son profil, le Développeur Big Data pourra même : · piloter fonctionnellement l'OPS pour coordonner le bon fonctionnement en production des applications Big Data au global · De contribuer à la création du socle technique Big Data (librairies de fonctions, features communément utilisées avec les data scientists…) et industrialiser le cycle de développement de l'équipe · De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) · D'accompagner les développeurs plus juniors de l'équipe (coaching, code review, pair programming…)

Le Machine Learning Engineer est un développeur au sein de l’équipe Engineering Open Big Data du Département Guilde Data, qui regroupe l’ensemble des expertises technologiques liées à l’ingénierie de la donnée, de l’automatisation et à l’exploitation des modèles de Machine Learning. Cette Guilde est dédiée au service et de ses équipes (Data office, Tribus, Business, Transformation Office etc.), afin de contribuer, en collaboration avec le Data Office, à la mise en oeuvre de projets d'Intelligence Artificielle puis les déployer et les maintenir en conditions opérationnelles. Votre rôle et vos missions : Vous aurez pour missions principales de développer les projets de Machine Learning demandés par le métier, et notamment : • Cadrer techniquement les projets et accompagner les Data Scientists dans la construction des modèles en veillant à respecter les bonnes pratiques d'ingénierie logicielle. • Mettre en place la démarche ML OPS • Déployer les modèles en production en respectant des contraintes de coûts, précisions et performances techniques. • Implémenter les outils permettant de monitorer ces modèles en production

Expérience et compétences requises - +5 ans d’expérience en tant qu’ingénieur en données ou BI, esprit orienté données - Expérience confirmée de Tableau, à la fois dans le développement de tableaux de bord et dans la connaissance des capacités et de la feuille de route du produit. - Expérience confirmée en SQL, Python et ou/Pyspark - Expérience avérée des projets agiles (Scrum et/ou Kanban) - Sensibilisation à la gestion des données et à la protection de la vie privée - La connaissance du secteur des services financiers est un plus. Compétences techniques : Très bonne connaissance de Tableau Server et Tableau Desktop. La connaissance de Power BI est un plus. Bon niveau en SQL et / ou Python / Pyspark Bonne connaissance de la modélisation des données décisionnelles (concepts Kimball, Inmon, Data Vault...) et des bonnes pratiques associées (dimensions à évolution lente, tableaux ponctuels, gestion des gouffres / pièges à vent, gestion de la capture des données de changement...). Bonne connaissance des environnements de datawarehouse et / ou des datalakes Bonne connaissance de l’un des outils suivants : DB2, Databricks ou Palantir Foundry est un plus. Connaissance des pipelines CI / CD (AzureDevOps, Jenkins, Artifactory, Azure Container Registry...) est un plus. Connaissance du développement d’API REST (Flask, FastAPI, Django...) est un plus La connaissance de typescript est un plus

Smarteo recherche pour l'un de ses clients, Un Data Analyst (Azure Databricks, Synapse, Power BI, Python, Pyspark) Sur Lyon /2j TT Description: projet autour de la gouvernance & la qualité de la donnée d'un client industriel stack technologique : Azure Databricks, Synapse, PowerBI, Python Si vous êtes disponible intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word. Smarteo recherche pour l'un de ses clients, Un Data Analyst (Azure Databricks, Synapse, Power BI, Python, Pyspark) Sur Lyon /2j TT Description: projet autour de la gouvernance & la qualité de la donnée d'un client industriel stack technologique : Azure Databricks, Synapse, PowerBI, Python Si vous êtes disponible intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Bonjour, Pour le compte de notre client, nous recherchons un data engineer spark / scala. Mission : Livrables n 1 : Sprint n 1 + Lot 1 : développement des US et tests associés ; + Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation ; + Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; + Lot 4 : Mise en place du monitoring ; LE PROFIL RECHERCHE Compétences métiers & outils : Les compétences technologiques attendues sont : + Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) + Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Compétences transverses + Aisance relationnelle + Esprit d’équipe et d’adaptabilité + Esprit de synthèse + Rigueur et esprit d’analyse + Autonomie + Force de proposition + Vous avez le sens des priorités et la capacité à gérer les délais + Vous aimez le travail en mode multi-projets + Appétence client, besoin métier et compréhension du fonctionnel + Mentoring et partage de connaissances

La prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des évolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets

Analyse des Exigences : Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement. Conception de Solutions : Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques. Développement de Pipelines de Données : Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données. Utiliser Spark Streaming pour le traitement en temps réel des flux de données. Optimisation des Performances : Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations. Gestion des Versions : Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark. Tests et Validation : Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression. Valider la qualité des données à différentes étapes du pipeline. Déploiement et Monitoring : Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité. Sécurité : Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données. Documentation : Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.

Package pyspark Documentation technique Compétences techniques PYTHON / PYSPARK / SPARK - Confirmé - Impératif Databricks/ datafactory/ azure devops - Confirmé - Impératif Integration GIT - Confirmé - Important Connaissances linguistiques Français Courant (Impératif) Description détaillée Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP , base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL , Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance . - Compétences requises : - Une bonne maitrise SQL / Pyspark / SPARK. -Avoir au moins 4/5 ans d'expérience en tant que Data engineer / utilisation de databricks. - Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops - Une bonne communication et être fort de proposition. - Connaissance des bonnes pratique de développement.

Je cherche un dispositif d’1 tech lead et 3 dév juniors pour la mise en oeuvre d’une Customer Data Platform Les compétences techniques demandées seront : • Apache Spark / PySpark • Apache Kafka • Apache Superset • Python • MongoDB / PyMongoDB • SQL/NoSQL Périmètre : • Instruire la conception technique détaillée • Réaliser les développements • Réaliser les tests unitaires, d’intégration et prendre part aux tests techniques en préprod (perf, cyber, etc.) • Réaliser de bout en bout (d’interopérabilité avec les autres systèmes) • Réceptionner et valider l’infrastructure nécessaire à la CDP • Préparer les livrables, les packages de production • Être garant des déploiements sur les différents environnement (CI/CD) • Participer à la rédaction du dossier d’exploitation (DEX) • Organiser la répartition des tâches • Encadrer le ou les développeur(s) junior(s) Ses qualités : • Compétences techniques solides • Familier du pilotage d’équipe et de la gestion de la relation avec l’éditeur • Capacité à fédérer • Facilité à entrer dans les sujets et les comprendre rapidement • Dynamisme, pro activité et rigueur, y compris dans les communications écrites et orales • Autonomie • Capable de challenger le métier • Connaissance du SI

Mission : Définition et implémentation de l’archi les applications Spark ainsi que pour les pipelines de prod de ML(évaluation des feature stores, refactoring de DAG Airflow) Accompagnement des Data Scientists lors de leur mise en prod Optimisation de la CI/CD Etc Expérience : 4 ans minimum en ML et/ou Data, NLP et traitement d’image Stack : Airflow, Delta Lake, Python, DataBricks, SQL, Spark, Ansible, Terraforl, etc Démarrage : ASAP Quasi Full Remote à l’issue du 1er mois Mission : Définition et implémentation de l’archi les applications Spark ainsi que pour les pipelines de prod de ML(évaluation des feature stores, refactoring de DAG Airflow) Accompagnement des Data Scientists lors de leur mise en prod Optimisation de la CI/CD Etc Expérience : 4 ans minimum en ML et/ou Data, NLP et traitement d’image Stack : Airflow, Delta Lake, Python, DataBricks, SQL, Spark, Ansible, Terraforl, etc Démarrage : ASAP Quasi Full Remote à l’issue du 1er mois

Nous recherchons un data engineer avec une expérience sur la construction de pipeline Spark scala dans kafka stream et dans un environnement BigData. Le profile st de base ouvert en nearshore a destination des profils marocain. Missions : Participer à la réalisation de l’ensemble des projets métiers (usages) Prendre en charge les demandes de corrections provenant d’incidents ou d’anomalies Participer à l’auto-formation et à la montée en compétences de l’équipe de développement Appliquer les bonnes pratiques et les normes de développement Mettre en pratique les méthodes devops Contribuer aux chiffrages des usages et à la constitution des releases Contribuer à l’automatisation du delivery Développer et documenter son code Livrables Travailler au sein d’une équipe SCRUM (PO, développeurs, QA, Support) Maitrise : BITBUCKET, CLOUD GCP, ELASTICSEARCH, JENKINS, KAFKA, SPARK Scala ou Java, Kubernetes, Docker, Ansible, GCS, BigQuery, GKE, Cloud Pub/Sub, Dataproc, BigTable. CI/CD (Git, Jenkins, Nexus, Docker Registry, ) Avro.

OS MISSIONS : Dans le cadre de notre croissance, nous recherchons un Data Engineer AWS F/H au sein de son pôle Datascience. TES MISSIONS : Conception des solutions BigData avec les architectes Data Mise en œuvre des techniques permettant la collecte, le nettoyage, l’organisation, la valorisation, la synthèse et la modélisation des données Développement de traitements de donnée distribués en mode batch ou streaming, Intégration des données sources de données dans l’environnement Big Data (datalake, datahub) Réalisation des tests Support Niveau 3 et maintien en conditions opérationnelles de la plateforme

Dans le cadre des projets de l’équipe et de ses travaux de construction ou d’évolution : - Contribuer aux projets d’intégration d’entités dans le dispositif DDF Groupe - - Accompagner les entités du Groupe dans la construction ou l’optimisation de leur dispositif LCB/FT/Fraude Techniques - Développement langage de type SQL, Python, Spark : Expert - Bases de données : Expert - Analyse BI : Expert - Excel : Expert - Powerpoint : Requis Livrables attendus : - Cadrage et estimation des coûts et délais - Etude et documentation technique dont les spécifications - Développements et codes auditables - Cahier et PV recette auditables - Simulations et analyse détaillées auditables - Présentations des travaux et des résultats obtenus - Documents et tableaux de synthèse - Comptes rendus - Modes opératoires