Trouvez votre prochaine offre d’emploi ou de mission freelance Databricks

Bonjour, VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data. Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT: VASKA. Dans le cadre de ses projets clients, VISIAN recherche un/e Architecte Databricks. Contexte : Notre client fait évoluer sa plate forme Data. Ils cherchent un ou une expert avancée dans l'utilisation de Databricks pour le traitement et l'analyse de données à grande échelle. Solide compréhension des principes de l'ingénierie des données, de la modélisation des données et de l'optimisation des requêtes. Maîtrise des outils de gestion de code comme Git et des pratiques de CI/CD. Excellentes compétences en communication pour travailler efficacement avec les équipes internes et externes. Capacité à former et à encadrer les membres de l'équipe pour améliorer leurs compétences sur Databricks. Responsabilités: 1- Mise en place de la gestion de code avec Git (CI/CD): Développer et maintenir les pipelines CI/CD pour assurer le déploiement continu des développements Databricks. Collaborer avec les équipes de développement (reporting power bi et data science) pour intégrer les meilleures pratiques de gestion de code. 2-Définition et mise en place des bonnes pratiques en termes d'architecture: Concevoir et mettre en œuvre des architectures de données efficaces et évolutives sur la plateforme Databricks. Élaborer des normes et des directives pour garantir la cohérence et la qualité des solutions. 3-Coordination avec l'éditeur et les équipes du group One Data Team: Être le point de contact principal avec l'éditeur Databricks pour résoudre les problèmes techniques et obtenir un soutien. Collaborer avec les équipes internes pour comprendre les exigences métier et traduire celles-ci en solutions techniques efficaces. 4-Accompagnement de l'équipe dans la montée en compétence sur Databricks: Former et encadrer les membres de l'équipe sur l'utilisation optimale de Databricks, y compris les fonctionnalités avancées. Fournir un support technique et des conseils pour résoudre les défis rencontrés lors du développement et de la mise en production. Si vous êtes à l’écoute du marché en ce moment, je vous invite à postuler en m’envoyant votre candidature. Bien à vous, Justine

Nous cherchons un Architecte Data expérimenté pour superviser la mise en place d'un datalake et d'un data warehouse, avec une expertise dans les environnements Legacy. Le candidat idéal devra non seulement posséder une expérience de 8 ans minimum en tant qu'architecte data, mais également être capable d'être force de proposition sur les architectures cibles, d'organiser les projets et d'assurer le déploiement réussi des solutions de données. Compétences techniques : • Expérience professionnelle minimale de 8 ans en architecture de données avec une expertise avérée en AWS et Databricks. • Capacité avérée à formuler des propositions sur l'architecture cible et à mener des projets complexes. • Orientation "delivery" forte avec une approche orientée résultats. • Connaissance approfondie des environnements Legacy et capacité à adapter les architectures en conséquence. Profil : • Diplôme en informatique, en génie logiciel ou dans une discipline similaire. • Excellentes compétences en communication pour expliquer des concepts complexes de manière simple et pédagogique. • Capacité démontrée à développer et présenter une vision claire sur l'utilisation des données à moyen et long terme. • Sensibilité à l'importance d'une gouvernance de données efficace et structurée. Savoir être : • Bon communiquant • Fédérateur • Rigoureux et méthodique • Facilitateur • Orienté delivery

1- Mise en place de la gestion de code avec Git (CI/CD): Développer et maintenir les pipelines CI/CD pour assurer le déploiement continu des développements Databricks. Collaborer avec les équipes de développement (reporting power bi et data science) pour intégrer les meilleures pratiques de gestion de code. 2-Définition et mise en place des bonnes pratiques en termes d'architecture: Concevoir et mettre en œuvre des architectures de données efficaces et évolutives sur la plateforme Databricks. Élaborer des normes et des directives pour garantir la cohérence et la qualité des solutions. 3-Coordination : Être le point de contact principal avec l'éditeur Databricks pour résoudre les problèmes techniques et obtenir un soutien. Collaborer avec les équipes internes pour comprendre les exigences métier et traduire celles-ci en solutions techniques efficaces. 4-Accompagnement de l'équipe dans la montée en compétence sur Databricks: Former et encadrer les membres de l'équipe sur l'utilisation optimale de Databricks, y compris les fonctionnalités avancées. Fournir un support technique et des conseils pour résoudre les défis rencontrés lors du développement et de la mise en production.

Responsabilités: 1- Mise en place de la gestion de code avec Git (CI/CD): Développer et maintenir les pipelines CI/CD pour assurer le déploiement continu des développements Databricks. Collaborer avec les équipes de développement (reporting power bi et data science) pour intégrer les meilleures pratiques de gestion de code. 2-Définition et mise en place des bonnes pratiques en termes d'architecture: Concevoir et mettre en œuvre des architectures de données efficaces et évolutives sur la plateforme Databricks. Élaborer des normes et des directives pour garantir la cohérence et la qualité des solutions. 3-Coordination avec l'éditeur et les équipes du group One Data Team: Être le point de contact principal avec l'éditeur Databricks pour résoudre les problèmes techniques et obtenir un soutien. Collaborer avec les équipes internes pour comprendre les exigences métier et traduire celles-ci en solutions techniques efficaces. 4-Accompagnement de l'équipe dans la montée en compétence sur Databricks: Former et encadrer les membres de l'équipe sur l'utilisation optimale de Databricks, y compris les fonctionnalités avancées. Fournir un support technique et des conseils pour résoudre les défis rencontrés lors du développement et de la mise en production.

Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée

Smarteo recherche pour l'un de ses clients, Un Data Architect sur Lyon / 2 jours de télétravail Description: UnData Architect qui aura pour mission de : Collecter les pratiques/besoins/usages/exigences Data qui ont été déployées au sein du métier Concevoir une architecture de données évolutive, en cohérence avec le schéma directeur du client Orienter l?équipe de développement et participer aux efforts de dev, au sein d?un collectif exclusivement composé de Data Architects et Data Engineers Conduire le changement auprès d?un métier qui pourrait offrir un peu de résistance Stack techno : Azure Databricks, Synapse, Power BI, Python, Pyspark Si vous êtes disponible intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Notre client, un grand compte du secteur de l'énergie, souhaite renforcer les capacités de développements d’une des feature team sur la technologie de développement Databricks (Databricks, Python, Spark SQL) dans un environnement 100% Cloud Azure (AKS, Docker, Azure Functions, Web API, Azure API manager, REDIS cache, Event hub, StreamAnalytics). Une expérience Azure passée serait appréciée. Nous sommes à la recherche d'un profil de développeur Databricks H/F. Les principales activités sont : Développements de pipelines Data permettant la construction et l’évolution de notre Datalake : Azure Databricks, Python, Spark SQL, Azure Blob Storages Participation aux déploiements sur les environnements de test et de production Maintien en condition opérationnelle des éléments logiciels en production Interaction avec les équipes de développement Web, IoT, SQL et Wonderware En fonction des autres compétences du candidats, d’autres activités pourraient être : Participation à des réunions de conceptions et de chiffrages Participation à des réunions de prises de décisions techniques Conseils techniques au Tech Lead / Architecte de l’équipe « Data » et de la plateforme Le candidat devra pouvoir s’intégrer dans un projet dynamique en méthodologie agile et dans une équipe de grande taille. Contexte : La plateforme digitale dédiée aux énergies renouvelables. Ce nouvel outil de gestion des données est connecté à l’ensemble des centrales de production d’énergies renouvelables du Groupe à travers le monde pour améliorer les performances des parcs éoliens et solaires. Avec cette plateforme, notre client souhaite faciliter la prise de décision des exploitants, permettre une maintenance prédictive et améliorer la rentabilité des installations. Contexte technique : Il s'agit d'une plateforme contenant de nombreux modules différents tous basés sur des technologies Schneider ou Microsoft. Il s’agit d’une plateforme totalement hébergée dans le Cloud et déployée dans une vingtaine de pays.

Le data engineer intègre une équipe en charge du lakehouse. De nombreuses challenges techniques sont attendus, la maitrise de l'outil DATABRICKS est un pre requis. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer) -Est en relation avec les équipes infrastructure afin d'assurer le cadrage et le déploiement des solutions valides -Support aux équipes consommatrices -Analyse d'anomalie et proposition solution court / moyen terme - Developpement sous Databrick (Python / SQL / Spark / Airflow) -Est force de propositions techniques, en capacité de faire un état des lieux sur les normes et process de devt et faire appliquer les recommandations.

Nos choix technologiques : - Talend - DataBricks - Snowflake - DBT - Starburst - Tableau / Power BI / Looker - AWS, Azure et GCP

Conception de l'architecture de données : Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier. Développement de pipelines ETL : Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks. Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée. Optimisation des performances : Optimiser les requêtes Spark pour améliorer les performances des traitements de données. Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark. Gestion des données en temps réel : Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming. Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés. Gestion de la qualité des données : Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données. Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité. Sécurité des données : Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles. Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données. Automatisation des workflows : Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification. Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données. Surveillance et gestion des opérations : Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring. Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données. Collaboration avec les équipes métier : Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting. Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks. Veille technologique : Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.

Au sein de l'équipe Big Data, l'équipe Engineering est responsable de l'alimentation du data lake, du delivery projet, et du fonctionnement des applications en production. C'est pour rejoindre cette équipe que nous recherchons un Développeur Big Data « Maintenance ». Le Data Engineer Senior « Maintenance » prend en charge la maintenance corrective & évolutive de toutes les applications Big Data déjà en fonctionnement en production pour couvrir les besoins métier Il participe également à la construction du socle technique Big Data. Il a pour missions principales : · De développer les évolutions fonctionnelles & techniques des applications Big Data en fonctionnement en production métier, et notamment : · passer de la donnée brute à de la donnée propre, exposée sous forme de tables requetables dans le datalake (inférer les schémas de données, nettoyer et normaliser les données, publier les données) · consolider ces données au fur et à mesure de leur alimentation récurrente dans le data lake · les exploiter pour atteindre la finalité business (exposition de business view, réintégration des résultats dans le SI, Web Services de scoring, …) · De gérer avec l'OPS responsable du suivi de production la transition en BAU de tous les projets métier (transfert de connaissance depuis les développeurs projets) · De gérer (support niveau 3) les analyses & reprises sur incidents en production des traitements Big Data & Web Services de toutes les applications en production, en coordination avec l'OPS assurant le suivi de production global, afin d'assurer la meilleure qualité de service des applications Big Data pour les métiers. (les développeurs projets originels restant support Niveau 4) Selon son profil, le Développeur Big Data pourra même : · piloter fonctionnellement l'OPS pour coordonner le bon fonctionnement en production des applications Big Data au global · De contribuer à la création du socle technique Big Data (librairies de fonctions, features communément utilisées avec les data scientists…) et industrialiser le cycle de développement de l'équipe · De mettre en place et de garantir le respect dans la durée d'un processus qualité sur l'ensemble du cycle de DEV (documents, tests unitaires / intégration / fonctionnels, commentaires, versionning, etc.) · D'accompagner les développeurs plus juniors de l'équipe (coaching, code review, pair programming…)

emagine is looking for a Senior Data Architect AZURE for its international client in the automobile sector Location : Lyon Onsite : 3 days a week Languages : Fluent in French and English Team : Marketing and communication *** suite Azure autour d’Analytics ***databricks expert ***le design de solution Role : responsible for the design, documentation of the solution Data Architect Azure with a good overall understanding of available services in the Azure Analytics stack. Work with DPO, Data Analyst, Data Engineer & Data Scientist and Architect community to define architect with right quality Technical lead and discussion with Business Stakeholders and Enterprise Architecture. Oversee data management process and provide guidance and direction to development teams Responsabilities : Data Architecture design Develop, document and maintain logical and physical data models. Skills and Profile : Team Player and able to work in a big structured company Experiences in Databricks ( EXPERT ), ADLS storage, SQL DB, ADF ( Azure Data Factory ) and Power BI Data Architecture design Azure Advanced Analytics technologies and frameworks Programming language: Python, Pyspark Agile ( Group discussions every 10 weeks ) You have excellent communication skills in French and English (C1 level) For full project details please apply with your latest CV or send a message to Sumi at this mobile phone number +-téléphone masqué-

Description : Nous recherchons un consultant certifié Databricks pour gérer, surveiller et améliorer la plateforme Databricks de notre client. Les responsabilités comprennent l'assurance de la santé de la plateforme, la satisfaction du client, les configurations du système et le dépannage. ATTENTION : MISSION 100% en ANGLAIS : anglais courant exigé et CV en anglais exigé. Date de début : 1er avril 2024 Date de fin : décembre 2024 + possibilité d'extension Secteur d'activité du client: Banque/ Assurance

Smarteo recherche pour l'un de ses clients, Un Data Analyst (Azure Databricks, Synapse, Power BI, Python, Pyspark) Sur Lyon /2j TT Description: projet autour de la gouvernance & la qualité de la donnée d'un client industriel stack technologique : Azure Databricks, Synapse, PowerBI, Python Si vous êtes disponible intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word. Smarteo recherche pour l'un de ses clients, Un Data Analyst (Azure Databricks, Synapse, Power BI, Python, Pyspark) Sur Lyon /2j TT Description: projet autour de la gouvernance & la qualité de la donnée d'un client industriel stack technologique : Azure Databricks, Synapse, PowerBI, Python Si vous êtes disponible intéressé, merci de me faire parvenir votre TJM ainsi que votre CV à jours en format word.

Bonjour, VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data. Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT: VASKA. Dans le cadre de ses projets clients, VISIAN recherche un/e Data Engineer. Contexte : Le candidat intégrera un pôle Data à la DSI et une équipe projet qui sera responsable de migrer des flux d'intégration de données de POWER Center vers Databricks. Missions : Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréciée. Le candidat doit maitriser le langage SQL et Python et avoir une bonne culture Data des best practices en terme de nettoyage, de transformation et modélisation de données Une certification sur Databricks est également fortement appréciée. Si vous êtes à l’écoute du marché en ce moment, je vous invite à postuler en m’envoyant votre candidature. Bien à vous, Justine

Architecte Data Azure et Snowflake . - Il maîtrise le panel des exigences fonctionnelles et non fonctionnelles à collecter afin d'assurer l'efficience opérationnelle et la pérennité de la data platform. - Expert et maîtrise tous les outils et services de l’écosystème Azure et a des facilités pour étendre votre champ de compétences. - proactif/ve sur la veille technique et la capitalisation et veille à garder toujours un temps d'avance sur l'état de l'art du secteur afin de pouvoir guider ses clients. - En tant qu'architecte expérimenté(e) il peut intervenir sur des missions opérationnelles pour concevoir la solution cible ou en phase de cadrage amont pour guider les choix et construire les roadmaps. - pédagogue et sait communiquer et vulgariser des réflexions complexes pour les rendre accessibles à tous.