Trouvez votre prochaine offre d’emploi ou de mission Databricks

La mission : L’objectif est d’utiliser le projet Open Source Databricks Migrate pour déplacer nos clusters, pools, jobs, notebooks, experiments... d’un workspace vers un autre se trouvant dans un sous-réseau privé. Ceci afin d’être conforme au Security Framework, et aux préconisations de l’audit de Sécurité Bouygues 2020. La stratégie de bascule itérative des jobs via notre orchestrateur Airflow est déjà établie et partagée auprès des équipes Data Engineering, Data Science et Analytics. https://github.com/databrickslabs/migrate Les livrables : Migrer le workspace Databricks du Digital Data Lake Migrer le workspace Databricks du Data Hub Pub Migrer le workspace Databricks de l’équipe BI

Contexte de la mission Le ou la titulaire doit posséder des connaissances techniques et une vaste gamme de technologies, comme divers outils de gestion des données, pour simplifier le traitement, les essais, la préparation, le déploiement et la surveillance des données. Le rôle principal est d’améliorer la rapidité et la qualité du processus de développement des données en appliquant les principes DevOps au flux de données. À cette fin, diverses parties du pipeline de données doivent être automatisées pour livrer rapidement et efficacement. Méthodologie agile et bonnes pratiques DevOps. Livrables -Utiliser l’automatisation pour simplifier le traitement des données. Réduire le temps de développement et accroître la fiabilité des données -Promouvoir la réutilisation. Éviter de réinventer la roue . -Concevoir des biens d’ingénierie des données et élaborer des cadres pour les appuyer Templatize pipelines et processus de capture et de transformation des données o S’assurer qu’ils sont réutilisables/configurables pour inclure nativement la surveillance et la supervision -Normaliser et réutiliser les pépites couramment utilisées, les pipelines et l’infrastructure horizontale -Préparer, emballer et déployer les solutions dans l’environnement cible en promouvant la culture DevOps -Développer des tests de régression et fonctionnels automatiser les tests de développement et de déploiement -Généralement, il s’assure que toute opération qui est effectuée manuellement trois fois devrait être automatisée. -Permettre l’expérimentation et l’innovation rapides pour la livraison la plus rapide de nouvelles informations aux clients -Rechercher constamment des moyens de réduire les déchets et d’améliorer le flux de données, ainsi que d’adopter de nouvelles solutions et outils qui respectent les meilleures pratiques DataOps. -Gérer la production de pipelines de données et donner accès aux produits de données Compétences demandées Azure; Datadog; Terraform; Airflow; databricks / Anglais

1. Intégration des données dans DIAL (DataMarketplace) Documenter les données techniques des différents Data Domain (Customer, Account, Transaction ) Analyser le modèle de données du Core Banking System SAB afin de répondre aux besoins spécifiques des consommateurs groupe Extraire les données et les transformer dans le DDS France avant de les envoyer à DIAL Monitorer les pipelines mis en place, les documenter et proposer un run book efficace 2. Développement des pipelines de données dans le DDS France Développement des pipelines de données sur la plateforme Databricks (PySpark, SQL) Mise en qualité des données Respect des bonnes pratiques et de la modélisation du Lakehouse (DataVault) Déploiement des développements en mode CI/CD (Azure DevOps) 3. Projet NextDataViz Analyse les traitements existants sur DataStage (ancien Datawarehouse et Datamarts) afin de documenter et de réintégrer (après validation) les indicateurs dans la nouvelle architecture du DDS France Aider à l’intégration des nouvelles Golden Source

Data engineer Scala confirmé : Scala/Spark et SQL. Compétences demandées : - Scala / Spark - Azure DataFactory - Azure Devops - SQL - Databricks Vous avez une connaissance des bonnes pratiques que vous avez eu l’occasion de mettre en place dans vos précédentes missions. N’hésitez pas à candidater pour avoir pus d’informations ! A très vite.

Vous réaliserez les missions suivantes : - Comprehension du besoin métier / interaction avec le fonctionnel - Comprehension d’un modèle de données et s’en servir - Modélisation et organisation de la base de données afin d’assurer les performances dans des datasets - Conception des indicateurs - Maîtrise des technologies ainsi que des bonnes pratiques de développement au sein de l’équipe Connaissances techniques : Tableau Software, SQL, Datalake

Au sein des équipes Data, vous intervenez dans le cadre de projets et missions qui répondent aux enjeux clients d’exploitation des données. Vous participez aux phases d’avant-vente, aux études d’architecture, et à la réalisation des solutions et projets techniques (tant sur des forfaits que des missions en assistance technique auprès de nos clients). Vos missions principales consistent à : Analyser et qualifier les besoins et les problématiques métier de nos clients Participer à la définition et la mise en œuvre des solutions Data adaptées aux contextes des projets Collaborer avec les équipes Métiers dans leurs travaux d’identification et de documentation des données Collaborer avec les Consultants et des Ingénieurs spécialistes de la data sur les projets et œuvrer à la qualité de leur réalisation et des livrables Collaborer sur tous les domaines d’activité data : BI et Analytics, Big Data, Data Science et IA Collaborer en transverse avec les autres expertises (UX/UI, architectes logiciels et techniques, experts cloud et DevOps) afin de concevoir et délivrer les solutions les plus adaptées et performantes Faire du feedback au référent technique du projet Travailler dans un contexte agile et porter des approches novatrices

🎯Mettre en place :  Les habilitations d’accès aux ressources et la traçabilité des actions des utilisateurs dans le socle Data.  Le processus de MCO (à définir) et assurer ce MCO : monitoring centralisé des flux, alertes, exploitation des logs pour détecter les intrusions, tagagge etc...  Les sauvegardes et les tests PRI du socle Data.  Les actions techniques dans le socle Data pour le SSI, RGPD et FinOps (optimisation des ressources). 🎯 Créer les ressources dans Azure pour le data architecte. 🎯Surveiller des coûts Azure. 🎯Automatiser :  La mise à disposition des jeux de données des environnements et l’anonymisation des données le cas échéant.  Les déploiements dans les différents environnements et en production CI/CD : programmes, ressources et environnements Data. 🎯 Industrialiser MLOps avec le Dataengineer/Datascientist 🎯 Documenter et actualiser les processus DataOps DevOps. 🎯 Communiquer régulièrement ces processus à l’équipe.o Documenter l’architecture technique avec le data architecte.o Collaborer avec les équipes DevOps de la DSI. 🎯Accompagner l’équipe RUN Intégration/ESB. 🎯 Accompagner la Cellule data sur les connexions pour le datacatalog Datagalaxy.

Principales missions - Maîtrise des outils Databricks (création de jobs, cluster, notebook) et pouvoir requêter efficacement avec SQL - Maintien en condition opérationnelle de la plateforme en production (analyse et correction d’incidents, de defects) - Développement des jobs d’ingestion et transformation data Python avec Spark sur de gros volumes de données - Fournir une vision long terme, tant opérationnelle qu’en terme de stratégie de plateforme data - Accompagner et promouvoir les bonnes pratiques - Participer aux ateliers de conception techniques et fonctionnels - Rédaction et actualisation de la documentation technique Compétences techniques recherchées dans l’ordre de priorité : - MUST o Python o Spark o Databricks o SQL - SHOULD o AWS (S3, Glue, AirFlow, Cloudwatch, Lambda, IAM) - COULD o Big DATA - WOULD o GIT Méthodologies : - CI/CD avec Gitlab - JIRA / Confluence - Scrum

Notre client dans le secteur de l’industrie recherche un Data Engineer H/F Descriptif de la mission : Notre client industriel cherche le freelance Data engineer qui l’aidera dans ses nouveaux projets ! Au sein d’une équipe composée de 5 Data Engineer et 5 Data Analyst, l’objectif sera de prendre 2 à 3 projets en parallèles autour des données provenant de la production et des services support. Notre client a en ce moment des gros chantiers autour de sa donnée client et de sa donnée venant de la production. La stack technique est la suivante : - Talend - Technos Azure, Databricks, Data Vault, Spark ainsi que le Cloud Computing - Cloud Azure - Sensibilisation à la qualité logicielle et aux chaînes d’intégration continue (DevOps) Compétences / Qualités indispensables : Bonne maîtrise de l’outil Talend Maîtrise des technos Azure, Databricks, Data Vault, Spark ainsi que le Cloud Computing Bonne connaissance du cloud Azure Sensibilisation à la qualité logicielle et aux chaînes d’intégration continue (DevOps) Compétences / Qualités qui seraient un + : Anglais courant

Notre client leader mondial dans son domaine recherche un consultant Data engineer junior pour intervenir au sein de l’équipe BI. Le périmètre d’intervention est le suivant: Réaliser les projets BI (tout ou partie) sous la supervision du Tech lead Assurer du support utilisateur Documenter ses réalisations et procédures support Le candidat doit avoir une expérience avec : - Azure Data Factory (obligatoire) - Azure Databricks (obligatoire) - Python/PySpark (obligatoire) - Sql (obligatoire) - Azure Analysis Services et modélisation de cubes tabulaires (obligatoire) - Expérience significative de Power BI - Expérience en DAX - Expérience DevOps méthodologie CI/CD Intervention dans un environnement anglophone

Bonjour, VISIAN est une société de conseil spécialisée autour de l’innovation, la conception produit et la data. Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT: VASKA. Dans le cadre de ses projets clients, VASKA recherche un Data Engineer Python / AWS. Le profil recherché est un développeur expert en python avec une maitrise DevOps : - en capacité de faire du développement, expertise, coaching pour les developpeurs/Data Engineer, architecture, revue de code en python - maitrise les bonnes pratiques de développement ; il est garant de la qualité du code délivré - maitrise les techno DevOps notamment pour aider les data engineer et data scientists dans leur pipeline CICD (en lien avec les équipes INFRA) Le profil doit être autonome avec une bonne capacité analytique ; il travaillera sur de nombreux sujets (dev, sécurité, archi,..) et il sera en relation avec de nombreux interlocuteurs : équipe infra, archi, sécurité, dev et datascientist... Python Services AWS : EC2, Lambda, Cloudwatch, secret Managern, Airflow... API REST Unix / Docker Gillab CI, Jenkins Teraform Au sein de la DSI, un référent technique en python/devOps est recherché pour travailler sur les applicatifs Data : B2C Data Platform essentiellement (Databricks + CDH sous AWS : nombreux services à mettre en place) mais également Datawarehouse (Teradata/informatica), Marketing Automation (Eloqua), Data science (Databricks ML, SAS..) Si vous êtes à l’écoute du marché en ce moment je vous invite à postuler en m’envoyant votre candidature par mail. Bien à vous, Yohan

Bonjour, Je recherche actuellement un développeur sénior pour rejoindre un grand compte dans le secteur de l’énergie. Environnement Technique : - .NET Core - Vue.JS - Azure (functions / Storage / databricks) - Contexte DevOps (CI/CD / JENKINS / DOCKER) - Méthdologies (SCRUM/SAFE - TDD - BDD) Des notions d’architectures seraient un plus.

Dans le but d’être data driven les équipes ont besoin de réaliser des dashboards / cockpits pour prendre des décisions. Nous recherchons un Dataviz expert avec une expérience d’au moins 5 ans pour accompagner nos équipes peoplE. Livrables Nous cherchons un Expert Dataviz dont la première mission sera de construire les nouveaux cockpits d’animation de la performance e-commerce des sports. Ces dashboards seront produits sur Tableau et permettront de piloter l’ensemble des activités e-commerce. Tu seras leur interlocuteur privilégié et sera quasiment au quotidien avec eux. Pour remplir à bien sa mission, notre expert dataviz devra : comprendre le besoin métier / interaction avec le fonctionnel Comprendre un modèle de données et s’en servir. Maîtriser les bases de données et les outils de transformations. Apporter une expertise sur la conception des indicateurs Apporter une expertise sur la visualisation de la données Assurer la maîtrise des technologies ainsi que des bonnes pratiques de développement au sein de l’équipe Connaissances techniques : - 5 ans d’expérience minimum de Tableau - Certifié Tableau +++ - maitrise du SQL +++ - Expérience sur notre stack technique / Datalake : aws S3/Redshift/ databricks / DBT - Maitrise des outils BI +++

Nous sommes à la recherche d’un data engineer pour l’un de nos clients dans le secteur de l’industrie basé dans le nord de Paris qui aura comme missions : - Le développement des US et tests associés - Réalisation de la documentation projet, mapping des données, modélisation des pipelines, documents d’exploitation - Mise en place du CI/CD sur l’usine logicielle - Mise en place du monitoring Indispensables : maîtrise de l’API Scala Spark (batch principalement), maîtrise des techniques d’optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure ou AWS) Appréciées : écosystème Databricks, développement d’API HTTP, expérience sur la stack ELK Profil niveau expert souhaité (sur spark/scala) , test technique à prévoir dans le processus de sélection.