Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks à Paris

1- Mise en place de la gestion de code avec Git (CI/CD): Développer et maintenir les pipelines CI/CD pour assurer le déploiement continu des développements Databricks. Collaborer avec les équipes de développement (reporting power bi et data science) pour intégrer les meilleures pratiques de gestion de code. 2-Définition et mise en place des bonnes pratiques en termes d'architecture: Concevoir et mettre en œuvre des architectures de données efficaces et évolutives sur la plateforme Databricks. Élaborer des normes et des directives pour garantir la cohérence et la qualité des solutions. 3-Coordination : Être le point de contact principal avec l'éditeur Databricks pour résoudre les problèmes techniques et obtenir un soutien. Collaborer avec les équipes internes pour comprendre les exigences métier et traduire celles-ci en solutions techniques efficaces. 4-Accompagnement de l'équipe dans la montée en compétence sur Databricks: Former et encadrer les membres de l'équipe sur l'utilisation optimale de Databricks, y compris les fonctionnalités avancées. Fournir un support technique et des conseils pour résoudre les défis rencontrés lors du développement et de la mise en production.

Responsabilités: 1- Mise en place de la gestion de code avec Git (CI/CD): Développer et maintenir les pipelines CI/CD pour assurer le déploiement continu des développements Databricks. Collaborer avec les équipes de développement (reporting power bi et data science) pour intégrer les meilleures pratiques de gestion de code. 2-Définition et mise en place des bonnes pratiques en termes d'architecture: Concevoir et mettre en œuvre des architectures de données efficaces et évolutives sur la plateforme Databricks. Élaborer des normes et des directives pour garantir la cohérence et la qualité des solutions. 3-Coordination avec l'éditeur et les équipes du group One Data Team: Être le point de contact principal avec l'éditeur Databricks pour résoudre les problèmes techniques et obtenir un soutien. Collaborer avec les équipes internes pour comprendre les exigences métier et traduire celles-ci en solutions techniques efficaces. 4-Accompagnement de l'équipe dans la montée en compétence sur Databricks: Former et encadrer les membres de l'équipe sur l'utilisation optimale de Databricks, y compris les fonctionnalités avancées. Fournir un support technique et des conseils pour résoudre les défis rencontrés lors du développement et de la mise en production.

Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée

Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Conception de l'architecture de données : Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier. Développement de pipelines ETL : Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks. Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée. Optimisation des performances : Optimiser les requêtes Spark pour améliorer les performances des traitements de données. Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark. Gestion des données en temps réel : Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming. Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés. Gestion de la qualité des données : Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données. Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité. Sécurité des données : Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles. Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données. Automatisation des workflows : Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification. Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données. Surveillance et gestion des opérations : Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring. Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données. Collaboration avec les équipes métier : Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting. Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks. Veille technologique : Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.

Bonjour, VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data. Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT: VASKA. Dans le cadre de ses projets clients, VISIAN recherche un/e Data Engineer. Contexte : Le candidat intégrera un pôle Data à la DSI et une équipe projet qui sera responsable de migrer des flux d'intégration de données de POWER Center vers Databricks. Missions : Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée. Si vous êtes à l’écoute du marché en ce moment, je vous invite à postuler en m’envoyant votre candidature. Bien à vous, Justine

Notre client dans le secteur Énergie et ressources naturelles recherche un Data Engineering Senior H/F Descriptif de la mission: Notre client, acteur majeur des énergies, cherche un consultant Data Engineer Senior pour renforcer son équipe. Objectifs et livrables Nous recherchons une prestation de Data Engineering avec des compétences sur Python/PySpark/Databricks sous un environnement Azure Cloud. Le prestataire sera responsable de la conception, du développement et de la mise en production de l'architecture de données. Il devra notamment : - Collecter les exigences des métiers et des utilisateurs - Concevoir l'architecture de données - Concevoir les pipelines de données - Mettre en production l'architecture - Assurer la maintenance et l'évolution de l'architecture Contributions transverses : -Collaboration et participation aux activités au sein du Chapter -Assister aux réunions « Communities of Practice (CoPs) », -Contribuer aux projets transversaux tels que les « starter-kits », « l’inner-sourcing », etc.

Automatiser et industrialiser les pipelines de transformation de données qui servent aux dashboards, modèles IA et data analyses Construire et modéliser la semantic layer de domaine métier (commerce, supply, , etc.) ; définir la stratégie de nos stacks techniques et garantir la qualité des données exposées ; Maintenir et repenser les datasets et pipelines existants pour servir une plus large variété de use cases Permettre de l'analytique intelligente en construisant des datasets robustes, fiables et pertinents ;

Description et livrables de la prestation Dans le domaine DATA de la DSI Assurances Collectives du groupe, au sein de la Squad "Entrepot et compte client", nous cherchons le/la Data Analyste de la squad. La squad a la responsabilité de l'application Compte Client (développée en externe sous Oracle PBCS), d'une application de ventilation de données (en interne techno React/Azure), l'entrepot des collectives (Datawarehouse Oracle contenant tout l'historique des données des collectives depuis 20 ans), et participe aux projets BigData gérés dans le domaine. Tous les développements sont réalisés en mode Agile ScrumBan Le/la Data Analyste devra être capable de : - Rédiger des spécifications techniques (flux & ETL) - Rédiger des User Story - Faire des études d'impacts sur les modèles de données - Maitriser le SQL avancé sur un gros volume de données - Faire le linéage de données - Effectuer du data mapping avancé - Échanger avec les équipes ETL au Portugal (en anglais) - Effectuer la recette des flux

Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

L'application de gouvernance des modèles de ML pour notre client vise à interroger diverses ressources telles que Azure Machine Learning, Azure Databricks, AWS Databricks et AWS Sagemaker afin de récupérer les métadonnées des modèles d'IA qui y sont hébergés. Ensuite, ces métadonnées sont stockées et une API est mise en place pour permettre à un front-end de les consommer et de les afficher dans un tableau de bord, facilitant ainsi le suivi des modèles en termes de mise à jour, d'utilisation et de performance. L'équipe devra prendre en charge les tâches suivantes : Développement, mise à jour et maintenance du code infrastructure Terraform requis dans Azure et/ou AWS, en respectant les règles de sécurité et les pratiques internes du client. Gestion des workflows Github pour automatiser les déploiements et analyser le code. Développement, mise à jour et maintenance du code back-end permettant de récupérer les métadonnées provenant de Azure ML, Databricks ou Sagemaker. Stockage des métadonnées des modèles dans une base de données et mise à jour régulière de celles-ci. Exposition d'une API pour que les données soient consommées par un front-end (le front-end étant en dehors du périmètre du projet). Concernant la Plateforme LLM Hub du client : La plateforme LLM Hub du client fournit aux équipes de développement un accès aux LLM tels que OpenAI/Mistral via Azure, Claude via AWS Bedrock, et éventuellement d'autres à l'avenir. Son objectif est de centraliser la consommation des modèles, gérer le reporting de cette consommation et optimiser les coûts grâce à un provisionnement du débit. L'équipe devra également gérer les tâches suivantes pour la Plateforme LLM Hub : Développement, mise à jour et maintenance du code infrastructure Terraform nécessaire dans Azure et/ou AWS, en conformité avec les règles de sécurité et les pratiques internes du client. Gestion des workflows Github pour automatiser les déploiements et analyser le code. Développement, mise à jour et maintenance du code back-end permettant l'exposition des APIs d'OpenAI et Mistral sur un API Manager centralisé, ainsi que des fonctions permettant de suivre la consommation des applications sur Azure et AWS. Développement de plugins visant à faciliter, optimiser et accélérer le développement des applications exploitant les LLM. Possibilité d'utiliser des connaissances en React pour mettre à jour une interface web développée pour gérer une application de chatbot. Veille technologique sur les nouvelles solutions de LLM et leur intégration dans la plateforme. Les technologies utilisées comprennent : Terraform pour Azure et AWS, Azure OpenAI, Azure Mistral, AWS Bedrock, Github, Github Actions, Github Workflows, Python, dotnet, React, Azure Function, AWS Lambda, Azure API Manager, Azure Container Apps/Container Instance, CosmosDB et SQLDB. TJM : 550€ - 2 jours de télétravail par semaine