Mission freelance Palantir Foundry (Obligatoire) : Lead Data Palantir Foundry F/H

Projet : Migration de databricks vers la plateforme palantir foundry

❑ Concevoir l’architecture de la data platform Foundry : structuration en objets, types, dossiers, datasets.

❑ Définir une modélisation de données sémantique à travers l’Ontology (types d’objets, relations, propriétés).

❑ Mettre en place des structures scalables et gouvernées (Data Mesh, Domaindriven Design Foundry).

❑ Superviser la conception des pipelines Code Workbook, Code Repositories ou

Contour :

❑ Pipelines batch, temps réel, ou déclenchés par événements.

❑ Choix entre Spark (Java/PySpark), SQL Transformation, Python Transforms ou Object Workflows.

❑ Définir les stratégies d’orchestration (scheduling, triggers, lineage, rerun policy).

❑ Optimiser les performances (partitioning, caching, broadcast hints…).

❑ Structurer et maintenir une Ontology claire et normalisée :

❑ Définition des Object Types, Properties, Actions, Relationships, Permissions.

❑ Aligner les objets métiers avec les équipes Produit / Métier.

❑ Superviser les politiques de sécurité et accès RBAC dans l’Ontology et dans

l’espace organisationnel (Spaces).

❑ Assurer la traçabilité (lineage) et le versionnement des objets.

❑ Mettre en place une stratégie de tests de pipelines (tests unitaires via pytest dans code repos, assertions dans transformations).

Projet : Migration de databricks vers la plateforme palantir foundry

❑ Concevoir l’architecture de la data platform Foundry : structuration en objets, types, dossiers, datasets.

❑ Définir une modélisation de données sémantique à travers l’Ontology (types d’objets, relations, propriétés).

❑ Mettre en place des structures scalables et gouvernées (Data Mesh, Domaindriven Design Foundry).

❑ Superviser la conception des pipelines Code Workbook, Code Repositories ou

Contour :

❑ Pipelines batch, temps réel, ou déclenchés par événements.

❑ Choix entre Spark (Java/PySpark), SQL Transformation, Python Transforms ou Object Workflows.

❑ Définir les stratégies d’orchestration (scheduling, triggers, lineage, rerun policy).

❑ Optimiser les performances (partitioning, caching, broadcast hints…).

❑ Structurer et maintenir une Ontology claire et normalisée :

❑ Définition des Object Types, Properties, Actions, Relationships, Permissions.

❑ Aligner les objets métiers avec les équipes Produit / Métier.

❑ Superviser les politiques de sécurité et accès RBAC dans l’Ontology et dans

l’espace organisationnel (Spaces).

❑ Assurer la traçabilité (lineage) et le versionnement des objets.

❑ Mettre en place une stratégie de tests de pipelines (tests unitaires via pytest dans code repos, assertions dans transformations).

❑ Automatiser la documentation des pipelines et objets via Workbooks ou descriptions intégrées.

❑ Superviser la data lineage dans le UI (Foundry Data Lineage Tool).

❑ Suivre la performance des jobs via Monitoring & Metrics Foundry.

❑ Intégrer Foundry avec des systèmes externes :

❑ Systèmes sources : S3, Azure Blob, SAP, Kafka, API, DB (Snowflake, Oracle…)

❑ Utiliser des outils comme OSDK, Edge Synapse, HyperAuto, Fusion selon les cas d’usage.

❑ Définir les contrats de données inter-domaines (ex: use_external_systems, object exports).

❑ Encadrer les développeurs Foundry : validation de PR, revue de pipelines, support technique.

❑ Travailler en lien étroit avec les équipes métiers pour transformer des besoins business en objets Foundry exploitables.

❑ Participer à la formation interne sur l’outil et aux ateliers d’adoption Foundry.

❑ Être garant de la cohérence cross-domain, de la scalabilité, et de la fiabilité.

❑ Implémenter le déploiement automatisé via , foundry-cli, foundry-devtools.

❑ Mettre en place une convention de nommage, des templates de pipelines, et un catalogue de composants réutilisables.

❑ Versionner les artefacts et objects (types, views, code, pipelines) avec Git.

❑ Piloter des cas d’usage complexes : fusion de données géospatiales, IoT, ML/AI, événements en streaming.

❑ Utiliser des features avancées : Object Explorer, Map app, Code Assist, Function Mapping

❑ Expérimenter des intégrations avec les produits Foundry internes

❑ Optimiser le temps de développement en mettant en place l’utilisation de notebook

❑ L’utilisation de No code/Low code pour gagner en terme de temps de développement avec pipeline builder

❑ Mise en place de Lightweight transforms pour réduire et diminuer le temps de traitement pour les grosses volumetrie de traitement (Polars)