Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Poste : Ingénieur Databricks H/F Localisation : Paris la Défense Contexte : Renfort sur projet existant chez le client, rattaché à une équipe Capgemini Les élèments de la Missions sont les suivants: Implémentation de pipelines et administration de workspaces Databricks Compétences requises : Databricks Data Intelligence Platform, Spark, Spark SQL, Python, PySpark TOPS SKILLS : Databricks – Spark – Python Durée: 1 an minimum Expérience: 3 ans minimum Démarrage: ASAP TJM: 520€ Présence : 2j sur site/ 3J TT.

Ton quotidien chez Komeet sera rythmé par : Animation des ateliers afin d’étudier et cadrer les besoins clients Préconisation, conception et mise en œuvre des plateformes Data (datawarehouse, datalake/lakehouse ) Rédaction de dossiers d’architecture et spécifications techniques Mise en œuvre des stratégies d’exploitation de plateformes Data Construction et déploiement des pipelines de données (ETL / ELT) à l’aide de langage de programmation ou d’outils de type Low-Code Mis en œuvre des flux d’intégration (en batch ou streaming) de données structurées/non structurées et volumineuses. Tests, validation et documentation des développements Réalisation d'audits et projets d’optimisation Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Activité du client : Secteur bancaire Poste : Développeur Databricks Implémentation des différents modèles de données et des vues associées ainsi qu’un service « Datalab ». Service qui fourni un accès agile aux données du socle CFY (Système d'Information Risques et Finance) sous l'appliance Databricks Séniorité : à partir de 4 ans d'expériences Bac +5 Maîtrise de l'anglais Rôle : - Conception et développement autour de Databricks (solutions Agiles, - Développement dans Databricks, identification des uses cases (pertinence de l’usage, évaluation de la complexité, estimation des gains potentiels en fonction des abaques à leur disposition, etc.) - Assistance autour du lab Databricks, Supports techniques et fonctionnels aux projets et aux usagers des Datalabs - Analyse, études d’impacts et éligibilité - Conception, développement et Optimisation de traitements Databricks (Python / SQL) - Monitoring des activités et un bilan régulier / KPIs hebdomadaires - Restitutions avec les différents outils retenus ou à venir (actuellement Alteryx, Excel/PowerPivot, Power BI, …) Expertises technologiques : - DATABRICKS - Microsoft PowerBI - MySQL - Python - Teradata

Travailler sur la plateforme data permettant à tous les domaines producteurs de données de mettre à disposition dans un datalake de la donnée brute ou retravaillée. Cette plateforme data permet notamment de gérer les fonctions et données du périmètre métier. A ce titre elle permet de : - Intégrer et mettre en qualité des données brutes reçues des distributeurs - Mettre à disposition les données GRD exploitables pour toute utilisation par l'entité du client: besoins portés par tous les domaines métiers de nature opérationnelle ou analytique

Bonjour à tous, Je recherche pour un de mes clients dans le domaine de l'assurance un lead Dev Databricks : Objectif de la mission : Organiser l'architecture technique des projets développés et déployés sur la plateforme. Définir et accompagner la mise en place des pipelines CI/CD pour automatiser les processus de développement et de déploiement. Définir et accompagner la mise en place des outils de qualimétrie comme SonarQube pour garantir la qualité du code. Effectuer des revues de code régulières Définir et diffuser les bonnes pratiques (organisation du stockage, règles de nommages, framework de non régression de code…) de développement au sein des équipes. Accompagner la responsable des développeurs (profils data engineer) dans la bonne exécution de ses missions. Principaux attendus : Conception Technique : Définir l'architecture de développement technique des projets en utilisant Azure Data Factory, Databricks, et Power BI. Rédiger des spécifications techniques détaillées adaptées à l'environnement Azure. Toutes activités permettant de rendre exploitable et industrialisable la plateforme. Mise en Place CI/CD : Configurer et maintenir les pipelines CI/CD avec des outils compatibles Azure. Automatiser les processus de build, test et déploiement. Qualimétrie : Mettre en place des outils de qualimétrie (SonarQube ou équivalent) pour l'environnement Azure. Suivre et analyser les métriques de qualité du code.

[Contexte] Au sein de l'entité, le centre de services partagés est destiné à doter les entités et filières (Finance, Risques, Ressources Humaines…) de solutions informatiques globales. L'objectif du Bénéficiare concerne une Feature Team organisée en mode Agile, pour mener des travaux sur des projets du domaine du Risque de Crédit et des reportings réglementaires. La principale application concernée, Certification Factory (CFY), permet de réaliser la Cohérence Comptable de niveau 2 du Groupe SG, les ajustements bâlois et la consolidation du RWA Cette équipe réalise l’implémentation des différents modèles de données et des vues associées ainsi qu’un service « Datalab » qui est en charge de la conception et du développement de solutions tactiques au sein de l’écosystème CFY. Ce service fourni un accès agile aux données du socle CFY (Système d'Information Risques et Finance). Il complète le dispositif de Pilotage CFY sous l'appliance Databricks en permettant de couvrir en mode tactiques les besoins prioritaires de requêtage de données et nécessitant des croisements avec des sources externes à CFY : Restitutions réglementaires, Analyse de qualité de données, Tableaux de bord tactiques, etc... [La prestation consiste à contribuer à/au(x)] Conception et développement autour de Databricks de solutions Agiles/mode tactique en adéquation avec le contexte Datalab : Restitutions réglementaires, Analyse qualité des données, Tableaux de bord, outils de pilotage... • Développement dans Databricks, identification des uses cases (pertinence de l’usage, évaluation de la complexité, estimation des gains potentiels en fonction des abaques à leur disposition, etc.). • Assistance autour du lab Databricks, Supports techniques et fonctionnels aux projets et aux usagers des Datalabs. Analyse, études d’impacts et éligibilité

Contexte Compétences requises: le client fait évoluer sa plate forme Data. Nous cherchons un ou une expert avancée dans l'utilisation de Databricks pour le traitement et l'analyse de données à grande échelle. Solide compréhension des principes de l'ingénierie des données, de la modélisation des données et de l'optimisation des requêtes. Maîtrise des outils de gestion de code comme Git et des pratiques de CI/CD. Excellentes compétences en communication pour travailler efficacement avec les équipes internes et externes. Capacité à former et à encadrer les membres de l'équipe pour améliorer leurs compétences sur Databricks. Responsabilités: 1- Mise en place de la gestion de code avec Git (CI/CD): Développer et maintenir les pipelines CI/CD pour assurer le déploiement continu des développements Databricks. Collaborer avec les équipes de développement (reporting power bi et data science) pour intégrer les meilleures pratiques de gestion de code. 2-Définition et mise en place des bonnes pratiques en termes d'architecture: Concevoir et mettre en œuvre des architectures de données efficaces et évolutives sur la plateforme Databricks. Élaborer des normes et des directives pour garantir la cohérence et la qualité des solutions. 3-Coordination avec l'éditeur et les équipes du group One Data Team: Être le point de contact principal avec l'éditeur Databricks pour résoudre les problèmes techniques et obtenir un soutien. Collaborer avec les équipes internes pour comprendre les exigences métier et traduire celles-ci en solutions techniques efficaces. 4-Accompagnement de l'équipe dans la montée en compétence sur Databricks: Former et encadrer les membres de l'équipe sur l'utilisation optimale de Databricks, y compris les fonctionnalités avancées. Fournir un support technique et des conseils pour résoudre les défis rencontrés lors du développement et de la mise en production.

1- Mise en place de la gestion de code avec Git (CI/CD): Développer et maintenir les pipelines CI/CD pour assurer le déploiement continu des développements Databricks. Collaborer avec les équipes de développement (reporting power bi et data science) pour intégrer les meilleures pratiques de gestion de code. 2-Définition et mise en place des bonnes pratiques en termes d'architecture: Concevoir et mettre en œuvre des architectures de données efficaces et évolutives sur la plateforme Databricks. Élaborer des normes et des directives pour garantir la cohérence et la qualité des solutions. 3-Coordination avec l'éditeur et les équipes du group One Data Team: Être le point de contact principal avec l'éditeur Databricks pour résoudre les problèmes techniques et obtenir un soutien. Collaborer avec les équipes internes pour comprendre les exigences métier et traduire celles-ci en solutions techniques efficaces. 4-Accompagnement de l'équipe dans la montée en compétence sur Databricks: Former et encadrer les membres de l'équipe sur l'utilisation optimale de Databricks, y compris les fonctionnalités avancées. Fournir un support technique et des conseils pour résoudre les défis rencontrés lors du développement et de la mise en production.

Maîtrise de l'univers data : Votre expertise en data et modélisation des données forme la colonne vertébrale de notre exploration. Vous savez comment transformer des nébuleuses de données brutes en systèmes solaires d'informations structurées et exploitables. Architecte des flux de données : Vous êtes expert dans la gestion de la chaîne de transformation des données, de l'ingestion à la visualisation. Votre capacité à optimiser les processus de traitement et de calcul assure la fluidité et l'efficacité de notre exploration. Ingénieur de l'industrialisation : Grâce à votre habileté à industrialiser les flux de données, vous garantissez la scalabilité et la robustesse de nos systèmes, préparant notre architecture à l'inconnu. Créateur d'Outils Visuels : Votre talent dans la conception d'outils graphiques et la data visualisation illumine le chemin, permettant à tous de naviguer avec clarté dans le cosmos des données. Guide et Mentor : Vous accompagnez chaque projet data, assurant la compréhension et l'atteinte des objectifs. Votre capacité à analyser et comprendre les besoins métier, et à rédiger avec précision technique et scientifique enrichit la connaissance collective et solidifie notre quête. Arsenal Technologique : Votre maîtrise de Microsoft Azure Data Lake Storage, Spark / Scala, Git / Azure DevOps, Airflow / DataDog / Nifi, et plus encore, est l'arsenal qui nous propulse dans cette aventure. Chaque outil, chaque langage, est une étoile dans la galaxie de vos compétences, illuminant notre chemin vers l'avant-garde technologique.

• Recueillir et comprendre les besoins métiers des différentes unités demandeuses et utilisatrices de solutions de collecte , stockage de la donnée. • Développer les solutions techniques de collecte de la donnée et savoir développer des API en fonction des solutions d’exposition de la donnée, répondre aux besoins d’analyses statistiques, de production de requêtes et de tableau de bord. • Créer des requêtes complexes et restituer les résultats de manières compréhensibles pour répondre au mieux au besoin métier dans des délais courts. • Réaliser les tests unitaires et d’intégration et effectuer les mises en production.

Concevoir, développer et maintenir des pipelines de données ETL/ELT sur Azure Databricks. Optimiser les performances des pipelines de données pour assurer une ingestion et une transformation des données efficaces. Collaborer avec les data scientists et les analystes pour comprendre les besoins en données et fournir des solutions adaptées. Assurer l'intégrité, la qualité et la gouvernance des données tout au long du cycle de vie des données. Automatiser les tâches de traitement des données et créer des flux de travail reproductibles. Surveiller et dépanner les problèmes liés aux pipelines de données et aux environnements de traitement des données. Documenter les processus et les architectures de données. Participer à l'évaluation et à la sélection des technologies de données et des outils de l'écosystème Azure.

Notre client dans le secteur Retail recherche un/une Architecte Data H/F Description de la mission: Description du Poste: Nous recherchons un Data Architect expérimenté pour un client dans le secteur du retail. Le candidat idéal possédera une solide expérience en architecture de données et sera capable de travailler efficacement dans un environnement technique avancé et avec des équipes internationales. Environnement Technique: Azure: PowerBI, Azure Data Factory (ADF), Azure Machine Learning (AML) Databricks Snowflake dbt (data build tool) Compétences et Savoir-Être: Communication Pragmatisme Collaboration Contexte: Équipes Internationales Mission Longue Durée Temps Plein Compétences / Qualités indispensables : azure, powerbi, adf, aml, databricks, snowflake Compétences / Qualités qui seraient un + : dbt Informations concernant le télétravail : à définir

Cherry Pick est à la recherche d'un "ML Engineer" pour un client dans le secteur de la grande distribution et commerce de détail Missions : La maîtrise de Python et SQL comme langage de programmation est indispensable Maîtrise des librairies Python (numpy, pandas, scikit-learn) Maîtriser les méthodes statistiques de bases (analyses descriptives, ACP, classifications, échantillonnage, tests statistiques) Expérience avec les modèles prédictifs et comment évaluer leur efficacité Maîtrise des outils de développement : Git, Github, CI/CD, VSCode/Pycharm, Terminal Des fortes compétences en visualisation de données Expérience avec Databricks

Envie d’un nouveau challenge... CELAD vous attend ! Nous poursuivons notre développement et recherchons actuellement un(e) Data Engineer – Datamarts pour intervenir chez un de nos clients dans le secteur industriel. Contexte : Vous participerez au développement de Datamarts sur les données opérationnelles afin d'optimiser la mise à disposition des données et les performances des reports, en collaboration avec le Responsable du Pôle Data / Data Steward. Vos principales missions : - Concevoir des datamarts basés sur les données opérationnelles du datastore CDL - Définir la structure optimale des datamarts selon les besoins métiers - Valider les choix de structure avec le responsable du pôle Data - Développer et optimiser les datamarts avec les outils adéquats - Mettre en place des mesures de qualité des données - Documenter les travaux en anglais - Former les membres de l'équipe Data sur ce qui a été mis en place

CONTEXTE Projet : Plateforme avec (base de données + ETL) historique accueillant est les données Distributeurs. A ce titre elle permet de : - Intégrer et mettre en qualité des données brutes reçues des distributeurs - Distribuer les données distributeurs dans le SI. B2C Data Platform est la plateforme data permettant à tous les domaines producteurs de données de mettre à disposition dans un datalake de la donnée brute ou retravaillée. Cette plateforme data permet notamment de gérer les fonctions et données du périmètre métier de la Relation Réseau (SDSI) A ce titre elle permet de : - Intégrer et mettre en qualité des données brutes reçues des distributeurs - Mettre à disposition les données GRD exploitables pour toute utilisation par l : besoins portés par tous les domaines métiers de nature opérationnelle ou analytique RÔLE ET DESCRIPTION DE LA MISSION Principales missions Scrum - Le scrum master est responsable de l’auto-organisation et de la pluridisciplinarité de l’équipe, à ce titre il se doit de o clarifier au maximum le cadre de travail et les process afin de permettre à chaque membre de monter en responsabilité au maximum o promouvoir les bonnes pratiques afin que les développements soient à la qualité requise par l’organisation o coacher chaque membre de l’équipe et de l’organisation à respecter leur responsabilité (PO, autres Scrums, autres équipes, autres directions) - Compréhension des enjeux high level afin de pouvoir prioriser les travaux non métier (de la responsabilité du PO), et accompagnement du PO dans la compréhension technique et donc la priorisation des besoins métier - Gestion du staffing (Evolution de compétences, recrutement, sorties) - Gestion du budget o Suivi du budget par sujet / ligne budgétaire o Ventilation mensuelle, tenue et respect du budget - Gestion des outils de collaboration de l’équipe (Notamment : Jira, Confluence, Teams, Opentime, MyPortal) Principales missions Scrum - Rédiger et concevoir les besoins métiers en les décrivant clairement aux développeurs - Participer aux ateliers de présentation de besoin - Challenger la vision métier - Être force de proposition sur la conception technique - Valider fonctionnellement les développements notamment en requêtant efficacement - Fournir une vision long terme, tant opérationnelle qu’en terme de stratégie sur le produit - Accompagner et promouvoir les bonnes pratiques - Participer aux ateliers de conception techniques et fonctionnels - Rédiger et actualiser de la documentation technique

Cherry Pick est à la recherche d'un "Senior Analytics Engineer" pour un client dans le secteur du retail Objectifs et livrables Tu t’investis auprès des interlocuteurs métier et sur le terrain opérationnel afin de comprendre au mieux la problématique sur laquelle tu travailles. Tu imagines les solutions Data correspondantes en étant force de proposition et en respectant leurs contraintes et avec une bonne connaissance des analyses et outils existants. Tu identifies les données nécessaires à ton étude, tu t’assures de leur qualité et fiabilité. Tu effectues le nettoyage et la préparation préalables à l’application des méthodes statistiques et analytiques que tu auras choisi. NB : Tu respectes et promeus le cadre éthique de l’utilisation des données à caractère personnel. Tu développes et documentes tes analyses (data sourcing, hypothèses et méthodes analytiques) dans une logique Lean & Agile en respectant les standards appliqués au sein des équipes data analyses de Decathlon. Tu assures le monitoring des analyses existantes, anticipes les impacts et organises le support. Tu rends disponible les résultats de tes analyses via des interfaces simples et user friendly. Tu les accompagnes dans l’usage de celles-ci et dans l’application opérationnelle de tes études. Tu sais construire des dashboard efficient et user friendly