Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Mission DescriptiDescription de la mission Cette mission s'inscrit au sein de l'équipe en charge des solutions de reporting IT. Au sein d'une petite équipe agile, en tant que développeur Python / PySpark, vous travaillerez en étroite collaboration avec un analyste métier dédié dans l'environnement Cloud de BNP Paribas. Vos responsabilités incluront : Développer du code Python / PySpark (ou technologie équivalente) performant et évolutif. Concevoir et mettre en œuvre des solutions robustes. Déboguer les applications afin de garantir une faible latence et une haute disponibilité. Mettre en œuvre les mesures de sécurité et de protection des données. Respecter les directives de sécurité, notamment en assurant les mises à jour régulières des composants. Réaliser des revues de code des développements effectués par les autres membres de l'équipe. Environnement technique Bases de données relationnelles : SQL Server / PostgreSQL Python Airflow Livrables Mises en production logicielles mensuelles et trimestrielles. Sprints organisés toutes les deux semaines. Prérequis techniques Diplôme en informatique ou en ingénierie. Expérience préalable en tant que développeur Python. Bonne maîtrise d'un framework Python (Django, Flask, PyCharm). Dans le cadre de cette mission, PyCharm est utilisé comme environnement de développement principal. Connaissance de TFS comme outil de tests. Maîtrise de Flask. Remarque : La mention « PyCharm comme framework » dans le texte original semble être une erreur, car PyCharm est un environnement de développement (IDE) et non un framework. Il est probable que l'annonce veuille simplement indiquer que PyCharm est l'outil utilisé par l'équipe.

Senior Databricks Engineer - Long Term Mission - Full Remote Avanda is a Swiss IT Consultancy. We are currently looking for a Senior Databricks Engineer to join our international team at our global end client. This is a long-term opportunity. You can work remotely with a few business trips to Zurich, CH. THE ROLE You will join a B2B Sales Data Aggregation programme built on Databricks. The goal is to unify CRM data from Salesforce, Microsoft Dynamics 365, and Excel/SharePoint into a single harmonised platform and deliver high-quality data products and KPI dashboards for senior leadership. YOUR RESPONSIBILITIES Design and build ETL pipelines and CDC/incremental connectors for Salesforce & Dynamics 365 using Databricks-native patterns (Auto Loader / Structured Streaming / Jobs) Implement Bronze → Silver transformations using Delta Lake and reusable SQL/Notebook templates Develop PySpark notebooks and apply Delta Lake optimisations (compaction, Z-order, caching) Build automated data-quality checks and deliver KPI dashboards for C-level stakeholders Set up monitoring, alerting, and job orchestration (Databricks Jobs / Observability) Document architecture and data lineage (Unity Catalog / Delta time-travel) Requirements 5+ years of data engineering experience 3+ years with Databricks and Delta Lake Strong PySpark / Python and SQL skills Proven experience integrating Salesforce & Dynamics 365 (APIs, CDC, Bulk API) Solid background in data modelling, ETL design, and incremental/CDC approaches Experience with Azure cloud services and Databricks workspace administration Experience building data quality frameworks and monitoring English mandatory; German is a plus

Notre client, acteur majeur du retail, recherche son futur Data Scientist (H/F) à Paris, pour développer les modèles d'IA exploitant ses données consolidées dans Microsoft Fabric au service de la performance de son réseau d'agence Vos missions : * Intégré à l'équipe data, vous contribuez à la mise en place et à l'industrialisation des flux de données dans un environnement Microsoft Dynamics 365 et Microsoft Fabric. * Intégrer les données Dynamics 365 (Sales, Finance, Supply Chain) via Dataverse * Concevoir les pipelines dans Microsoft Fabric (Data Factory, Dataflows Gen2) * Construire et maintenir le Lakehouse OneLake et les modèles analytiques Structurer la donnée pour Power BI et les cas d'usage IA * Garantir la qualité, la gouvernance et la fiabilité des données * Optimiser les performances et les coûts Les compétences techniques : * Microsoft Fabric (OneLake, Data Engineering, Data Factory) * Services Azure Data * SQL avancé * Python (PySpark, notebooks Fabric) * Dynamics 365 / Dataverse * Power BI

Notre client, acteur majeur du retail, recherche son futur Data Scientist (H/F) à Paris, pour développer les modèles d'IA exploitant ses données consolidées dans Microsoft Fabric au service de la performance de son réseau d'agence Vos missions : * Intégré à l'équipe data, vous développez des modèles au service de la performance commerciale et logistique, en lien étroit avec le Data Engineer. * Construire des modèles prédictifs : prévision des ventes, optimisation des stocks, recommandation produits * Exploiter les notebooks Fabric (Python, Spark) pour l'entraînement et le test * Passer des POC à l'industrialisation des modèles dans l'écosystème Microsoft * Collaborer avec le Data Engineer pour la mise en production * Tester, suivre et améliorer la performance des modèles (précision, ROI) * Documenter et fiabiliser les modèles déployés Les compétences techniques : * Python (pandas, scikit-learn, PySpark) * Microsoft Fabric (Data Science) * Machine learning * Forecasting * Azure ML * SQL

Contexte du poste : Nous recherchons un Data Engineer afin d’intégrer l’équipe DATA technique de notre client, acteur majeur du secteur des médias et du digital. L’équipe est en charge des traitements d’ingestion, de transformation et d’exposition des données du groupe : audience web et mobile, marketing digital, base clients, contenus éditoriaux, offres commerciales ou encore logistique de distribution. Dans un contexte de transformation de la plateforme DATA, le socle technique migre actuellement d’un environnement Cloudera on premise vers Snowflake. Missions principales : Développer et maintenir les flux d’ingestion et de transformation de données Participer à la migration des traitements Cloudera / Hive / Hadoop vers Snowflake Développer des traitements en Python, SQL et éventuellement PySpark Exploiter différentes sources de données : API, Kafka, RabbitMQ, fichiers plats, bases relationnelles Assurer le suivi de production, analyser les incidents et mettre en place les correctifs Participer aux revues de code et aux bonnes pratiques via Git Rédiger et maintenir la documentation technique des traitements Mettre en place des contrôles de cohérence et de qualité des données

● Maîtriser SQL et BigQuery, rédiger et optimiser des requêtes complexes pour extraire et analyser des données ● Gérer et modéliser les données, concevoir des pipelines optimisés dans BigQuery en garantissant qualité, fiabilité et cohérence des analyses ● Appliquer Python et ses bibliothèques analytiques (Pandas, NumPy, PySpark) pour les traitements et le prototypage de solutions data ● Exploiter les bases de données relationnelles et NoSQL (PostgreSQL, MongoDB, DBL, etc.) ● Utiliser les environnements Cloud, notamment GCP ou Azure et mettre en oeuvre CI/CD avec GitLab CI et gérer le versionning avec Git