Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Pour le besoin de mon client , je suis à la recherche d'un TechLead Data Engineer avec compétence sur la stack technique Spark/PySpark, Kafka, Hadoop, Python Langues : français, l'anglais est un plus Date de démarrage : ASAP .... . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... . . . .... . .... . .... . .... . .... . .... .

Le data engineer/Tech Lead intègre une équipe en charge du lakehouse pour le client. De nombreuses challenges techniques sont attendus. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analyse) -Cadrage technique des besoins émis par les consommateurs de la plateforme Data -Est garant de la mise en production des traitements au sein de la plateforme -Optimisation du code et de la capacité des VMs mise en œuvre pour chaque traitement -Garantit la disponibilité et l'outillage pour les équipes métier, ainsi qu'aux utilisateurs de la plateforme (data scientists / data analystes / data engineer)

Data Engineer Senior – Plateforme Data Cloud (H/F) Lyon – Mission longue durée – Temps plein Nous recherchons un Data Engineer senior pour intervenir sur une plateforme data stratégique au sein d’un grand environnement industriel en transformation. La mission s’inscrit dans une équipe dédiée à l’industrialisation et à la performance des pipelines data, sur une architecture cloud moderne à forte volumétrie. Missions • Concevoir et optimiser des pipelines d’ingestion et de transformation de données • Garantir la performance, la fiabilité et la scalabilité de la plateforme • Mettre en place des mécanismes de contrôle qualité des données • Automatiser et superviser les traitements data • Participer à la gouvernance et au cycle de vie de la donnée • Contribuer à l’optimisation des infrastructures cloud • Supporter les utilisateurs de la plateforme • Participer à la veille technologique Environnement technique Databricks sur AWS PySpark, Python, SQL avancé Architecture Data Lake et pipelines industriels Outils DevOps / DataOps (Git, CI/CD, ticketing) Méthodologie Agile à l’échelle (SAFe) Profil recherché Minimum 5 ans d’expérience en data engineering Expertise Databricks, AWS et PySpark Expérience en industrialisation de pipelines data Rigueur technique et autonomie Bon esprit d’équipe Anglais professionnel Connaissance du secteur industriel ou énergie appréciée. Conditions Mission longue durée avec visibilité Projet à fort impact Équipe technique experte Environnement cloud avancé

Nous recherchons un Data Engineer confirmé / senior pour intervenir au sein d’un acteur structuré du secteur des services, sur une plateforme data moderne basée sur Microsoft Azure . 🎯 Contexte de la mission Vous rejoindrez une équipe Data en charge de faire évoluer et industrialiser une plateforme analytique reposant sur Azure & Databricks , avec une forte interaction avec les équipes BI et métiers. ⚙️ Missions principales Concevoir et développer des pipelines de données sur Azure. Mettre en œuvre des traitements et transformations sur Databricks (PySpark / SQL) . Modéliser et structurer les données pour la consommation BI. Collaborer avec les équipes Power BI pour optimiser les datasets. Participer à l’industrialisation (CI/CD, bonnes pratiques, documentation). Contribuer à l’amélioration continue de l’architecture data.

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Architect Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

Concevoir, développer et opérer des pipelines de données robustes et évolutifs au sein d’environnements Cloud Mettre en place des mécanismes d’ingestion, de transformation et d’exposition de données provenant de sources multiples, structurées ou non Exploiter les services Cloud pour l’orchestration des flux, le stockage et le calcul distribué Développer des composants Data orientés usages analytiques et Intelligence Artificielle Participer à la mise en production et à l’industrialisation de modèles de Machine Learning et d’IA générative Optimiser la performance, la fiabilité et la maintenabilité des traitements et des pipelines Définir et appliquer des règles de qualité, de cohérence et de normalisation des données Contribuer à la structuration des référentiels data et aux démarches de gouvernance Produire et maintenir la documentation technique et fonctionnelle des flux et modèles de données Accompagner les équipes métiers et analytiques dans la formalisation des besoins Data Animer des ateliers de cadrage afin de traduire les usages fonctionnels en solutions techniques Jouer un rôle d’interface entre les équipes IT, Data Science et utilisateurs finaux Automatiser les déploiements et les traitements via des pipelines CI/CD Contribuer à la conception et à la sécurisation des architectures Data Cloud Intégrer les traitements selon les standards ETL/ELT et les bonnes pratiques DevOps

Descriptif du poste Expert reconnu en plateforme de données et architecture Lakehouse, incluant : Optimisation Spark / PySpark (AQE, broadcast joins, stratégies de caching, autoscaling de cluster). Politiques de cluster, configuration de cluster et pool, et optimisation des coûts. Monitoring, diagnostics et dépannage des performances à l'aide de métriques et event logs. APIs REST et CLI pour l'automatisation. Expert reconnu en utilisation de Delta Lake, incluant : Pipelines d'ingestion et de transformation (Bronze–Silver–Gold). Delta Live Tables pour les pipelines de production (CDC, expectations, orchestration). Structured streaming et traitement incrémental. Débogage des goulots d'étranglement de performance dans les workloads Delta (data skew, petits fichiers, auto-compaction). Expert reconnu en : Python pour l'ingénierie des données, programmation orientée objet, data science, tests unitaires (pytest) et packaging. SQL (SQL analytique, window functions, SQL Databricks). Spark / PySpark pour le traitement distribué et l'optimisation. Expert reconnu en utilisation de Unity Catalog, incluant : Implémentation du contrôle d'accès granulaire (sécurité au niveau des lignes et colonnes, vues dynamiques, masquage). Gestion des objets Unity Catalog à grande échelle (catalogs, schémas, tables, modèles et gouvernance des fonctions). Pratiques de développement sécurisé, protection des données et conformité réglementaire (RGPD, PII). Expert reconnu en Databricks Jobs et Workflows (orchestration des tâches, retries, monitoring), incluant : Databricks Repos et intégration Git / Gitflow. Déploiement des assets Databricks (notebooks, jobs, pipelines DLT) via des pipelines CI/CD. Databricks SQL editor et SQL Warehouses pour les dashboards ou pipelines de production. Infrastructure as Code utilisant Terraform (providers Databricks et Azure) et ARM templates. Maîtrise avancée de l'écosystème Databricks Machine Learning et Generative AI. Maîtrise avancée de MLflow (experiment tracking, model registry, model serving). Maîtrise avancée de la construction de pipelines ML utilisant Databricks AutoML, Feature Store et feature engineering. Expérience pratique avérée avec les outils de développement basés sur l'IA, incluant les workflows basés sur des agents. Bonne compréhension des normes d'interopérabilité émergentes telles que le Model Context Protocol (MCP) ou équivalent. Capacité à évaluer de manière critique et à intégrer de manière sécurisée les résultats générés par l'IA dans les workflows de développement.

Dans le cadre du projet DataBoost , nous recherchons un Analytics Engineer pour participer à la migration des rapports SAP Business Objects vers Power BI . Ce projet vise à décommissionner SAP BO en industrialisant l’intégration des données dans une architecture lakehouse moderne (Bronze → Silver → Gold), et à construire un référentiel analytics centralisé pour l’ensemble des datamarts. Vos missions consisteront à : Concevoir et développer des pipelines d’ingestion de données via Azure Data Factory (POC avec Airflow). Développer des pipelines d’intégration de données en PySpark (Spark Declarative Pipeline). Transformer et optimiser les flux de données en SQL avec le framework DBT . Développer de nouveaux indicateurs de qualité de données sur DBT. Garantir la qualité du code et le respect des normes de développement. Implémenter des tests unitaires pour assurer la fiabilité des solutions. Maintenir les outils de monitoring pour suivre les performances. Ce poste est idéal pour un professionnel souhaitant contribuer à une transformation majeure des outils BI et travailler sur une architecture data moderne .

Nous recherchons un Data Architect qui intégrera l'équipe stable dédiée à la Business Intelligence (BI) et à l'Analyse, avec un focus particulier sur le domaine Achats. Objectifs et livrables Ce que vous aurez à réaliser : En tant que Data Architect, vous veillerez à ce que les produits délivrés par votre équipe soient conformes à notre architecture cible globale. Pour soutenir cette fonction, nous cherchons un Data Architect spécialisé dans Azure, possédant une bonne compréhension des services disponibles dans la stack analytique Azure. Vous collaborerez avec le DPO, les Data Analysts, Data Engineers & Data Scientists de l'équipe, ainsi qu'avec la communauté d'architectes, afin de définir une architecture de qualité, apportant une valeur métier pertinente et assurant la maintenabilité à long terme. De plus, vous devrez faire preuve de compétences en leadership pour prendre en charge le rôle de lead technique et participer aux discussions avec les parties prenantes métier et l’architecture d’entreprise. Vous apportez un leadership technique, participez aux efforts de développement et représentez l’ensemble des capacités internes et externes de la plateforme. Vous êtes un membre actif de la guilde des architectes, chargé de superviser le processus de gestion des données et de fournir guidance et orientation aux équipes de développement. Vous êtes responsable de la conception et de la documentation des solutions dans votre domaine. Vous avez une expérience avec Databricks, ADLS Storage, SQL Database, Azure Data Factory (ADF) et Power BI. Vous avez l’expérience de la définition et de la gestion d’une architecture de données évolutive de bout en bout, en tenant compte de l’architecture d’entreprise et des normes du secteur. Vous maîtrisez le développement, la documentation et la maintenance de modèles de données logiques et physiques. Votre futur équipe Dans le cadre du domaine Achats, vous devrez relever de nombreux défis et aborder des sujets passionnants : Mettre en place des Data Products pour soutenir l’approche CAST (produits réutilisables partagés), conformément à notre stratégie. Contribuer à la définition de la feuille de route des initiatives BI & Analytics. Définir le Modèle de Données EDM et le mettre en œuvre en respectant les directives existantes. Participer à l’équipe de maintenance afin d’assurer la continuité des processus métier.

Contexte de la mission Le data developer/engineer recherché rejoindra l’équipe Factory Data utilisant les technologies data Azure : Tâches principales • Développer les flux d’ingestion via Fabric Data Factory (et compréhension de Azure Data Factory) ; • Développer les flux de transformation de données via Fabric Factory Notebook ; • Optimiser les Queries des transformations, en particulier en prenant en compte les coûts Azure associés ; • Contribuer à la modélisation du Lake House ; • Établir le Design technique, implémentation de l’architecture médaillon (argent & or) dans Microsoft Fabric ; • Établir le plan de tests unitaires (automatisables) de la solution ; • Suivre/exécuter les tests unitaires ; • Participer à l’estimation de l’effort lié aux activités de développement lors du cadrage de la demande ; • Rédiger la technique de documentation ; • Contribuer à l’amélioration continue (guidelines de développement) ; • Contribuer à la maintenance & résolution des incidents (production).

But principal Le prestataire Tech Lead a pour mission principale de : • Contribuer au delivery du produit • Assurer les choix techniques en collaboration avec la squad dans le respect des standards, • Faire comprendre les choix techniques & obtenir l’adhésion des parties prenantes • Interagir au quotidien avec les parties prenantes (métier, tech authority...) • Garantir la qualité logicielle de la prestation de l'équipe Veiller à la bonne mise en œuvre du plan de développement du produit. Missions • Être le garant technique de la squad en la soutenant dans ses choix et dans la mise en œuvre des bonnes pratiques et standards • Garantir la qualité du code et suivre les KPIs pour le suivi de produit • Contribuer techniquement à la production du code • Remonter les alertes et garantir la résolution de problèmes dans un environnement agile en étroite collaboration avec Delivery Performance, Talent et Chapter leads • Être garant de la bonne mise en œuvre technique du plan de développement du produit.

Context Démarrage ASAP pour une mission de Data Engineer au sein d’une grande équipe data industrielle. La mission s’inscrit dans le remplacement d’un congé maternité, avec une forte probabilité de continuité sur une autre équipe à l’issue de cette période. Environnement structuré, déjà composé de plusieurs freelances intégrés. Mission Collecter, analyser et exploiter les données pertinentes afin d’améliorer le pilotage des activités et la création de valeur. Accompagner les équipes métier dans le développement, le déploiement et l’exploitation de solutions data. Être le référent data pour les sujets d’exposition et d’exploitation des données industrielles. Concevoir et maintenir des pipelines data robustes et optimisés. Produire des analyses et visualisations accessibles aux équipes métiers. Garantir la qualité, la gouvernance et l’éthique des données. Maintenir à jour le catalogue des datasets et la documentation associée. Participer aux tests, à la mise en production et à la formation des utilisateurs.

Dans le cadre de sa stratégie Data & IA, notre client dans le secteur bancaire renforce ses équipes pour concevoir, entraîner, déployer et monitorer des modèles de Machine Learning, et intégrer les solutions d’IA Générative dans ses parcours clients et processus métiers. Vous rejoignez une équipe Data innovante, à la croisée des enjeux opérationnels, réglementaires et technologiques. Environnement technique : Modélisation & IA : Logistic Regression, XGBoost / LightGBM, SHAP, LIME, LLM (OpenAI, HuggingFace), LangChain, LangGraph ML Engineering : Python, Scikit-learn, MLflow, FastAPI, Pytest, GitHub Actions, Docker, Kubernetes Cloud & Big Data : Azure ML, Databricks, pySpark, Azure DevOps, Snowflake (atout) MLOps : CI/CD, Feature Store, API ML, Monitoring Drift, Backtesting, RAGAS, LLM as a Judge

Dans le cadre d'un projet en méthode agile, nous recherchons une profil Data Analyst Senior ayant une bonne maitrise de Databricks Prend en charge toute la partie processus de la gouvernance de la donnée, du bon usage des données, de la méthode de conduite des projets En charge de toute la partie devéloppement ; migration sur Databricks (pyspark) Maintenir à jour et enrichir le patrimoine documentaire associé aux projets traités Participation aux cérémonies agiles : sprint planning, daily, Maitrise SQL, Power BI Connaissance de l'environnement Power BI

Prestation d'analyse DATA et DATASCIENCE Le profil aura pour mission de répondre à des cas d'usage métiers, par l'utilisation de la DATA de la phase exploratoire à l'exposition via de la DATAVIZ Fort d'une expérience DATA, le prestataire devra également montrer une appétence particulière dans le domaine fonctionnel Définition de la prestation attendue : Rattaché à l'équipe Analyse de la donnée, l’intervenant aura pour principales missions : Mise en oeuvre de cas d'usage métiers par croisement de la donnée (ciblage, analyse de donnée ou datascience ) Développement et maintenance de produits DATA réutilisables Publication des résultats d'analyse avec de la DATAVIZ Respect des normes et bonnes pratiques au sein de l’équipe Accompagnement et acculturation des équipes métiers ou autres Python, Pyspark,SQL,Dataviz, Datascience Plateforme : BIG DATA Hadoop (CLOUDERA) Langages : Python, PySPARK, SQL Restitution : PowerBI (dataset, dataflow, rapports)

Maîtriser SQL et BigQuery, rédiger et optimiser des requêtes complexes pour extraire et analyser des données • Gérer et modéliser les données, concevoir des pipelines optimisés dans BigQuery en garantissant qualité, fiabilité et cohérence des analyses • Appliquer Python et ses bibliothèques analytiques (Pandas, NumPy, PySpark) pour les traitements et le prototypage de solutions data • Créer et optimiser des dashboards interactifs sous Looker Studio et Lokker, identifier et suivre les KPIs critiques pour le pilotage métier • Exploiter les bases de données relationnelles et NoSQL (PostgreSQL, MongoDB, DBL, etc.) • Comprendre et appliquer les architectures data modernes : Data Lake, Data Warehouse • Utiliser les environnements Cloud, notamment GCP ou Azure • Mettre en œuvre CI/CD avec GitLab CI et gérer le versionning avec Git • Appliquer les principes DevOps pour améliorer la fiabilité et l’efficacité des traitements • Travailler en méthodologies agiles, notamment Scrum, Sprint Planning et Backlog Refinement • Collaborer efficacement avec les équipes métiers et techniques pour produire des analyses fiables et exploitables