Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Spark

ContexteDans le cadre de la transition vers une architecture Data Mesh, nous recherchons un(e) Data Product Engineerspécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst (Trino). La mission consiste à concevoir, collecter, intégrer, construire et opérer des jeux de données fiables, auto-descriptifs et interopérables, en collaboration avec les domain teams et les data owners. MissionsConcevoir des flux de données et des Data Products Développer des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData Développer des requêtes SQL optimisées pour Starburst/Trino (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet) Automatiser les pipelines de données (ETL/ELT) avec des outils comme Airflow, dbt, ou Starburst Galaxy Configurer des accès sécurisés (RBAC, row-level security) et des politiques de gouvernance (tagging, lineage) Collaborer avec les domain teams pour identifier les sources de données et les cas d'usage Documenter les data products (métadonnées, ownership, qualité) via des outils comme Amundsen, DataHub, ou Starburst Discover Participer à la définition des standards d'interopérabilité (formats communs, APIs de données) Monitorer la performance (latence, coût des requêtes) et la qualité des données (frais, complétude) Mettre en place des alertes et des dashboards (Grafana, Metabase) pour le suivi des data products Contribuer à l'amélioration continue de la plateforme Starburst (scaling, caching, federation) Compétences techniques requisesTalend RealTime BigData : expérience avancée en développement de pipelines sur Talend Studio en mode batch ou route (runtime) Starburst/Trino : expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques) Data Modeling Pipelines : expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration Stockage : connaissance des formats Iceberg, Parquet, S3 Gouvernance : familiarité avec les outils de sécurité (Ranger, RBAC) DevOps/DataOps : pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes) Langages : SQL avancé (mandatory), Python (Pandas, PySpark), bash Compétences transverses (Data Mesh)Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance) Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers) Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées) Soft SkillsEsprit collaboratif : travail avec les équipes métiers, data scientists, et DevOps Pédagogie : capacité à expliquer des concepts techniques à des non-experts Autonomie : prise d'initiative dans un cadre agile Environnement techniqueExpertise écosystème zoo Hadoop Connaissance / maîtrise Data Connaissance / maîtrise technique de l'environnement DevOps Maîtrise technique de l'environnement Data Expertise couche d'accès et d'échange (Kafka, Nifi, …) Expertise Java, Scala, Python, Hive, Spark Expertise ETL, Bash Expertise SQL / NoSQL

ContexteDans le cadre du programme ITAM et la mise en place du Group Global Inventory ainsi que l'alimentation industrielle de la CMDB Group, le bénéficiaire renforce ses activités autour du produit BMC Helix Discovery. MissionsResponsable Discovery Data product : Développement des query API Discovery en regard des besoins production Construction des data sets dans l'outil de query engine Exposition du data product à la consommation opérationnelle Interfaçage au MCP pour alimenter l'IA Production MCO et optimisation des query et data sets DevOps Discovery : Configuration et paramétrage de BMC Discovery : configurer et paramétrer BMC Discovery pour collecter les données d'actifs informatiques, telles que les périphériques réseau, les logiciels, les matériels, etc. Intégration des données de BMC Discovery : intégrer les données de BMC Discovery dans le système de nettoyage des données pour enrichir les données existantes. Définition des règles de correspondance : définir des règles de correspondance pour associer les données de BMC Discovery avec les données existantes dans le système. Mise en place de la synchronisation des données : mettre en place la synchronisation des données entre BMC Discovery et le système de nettoyage des données. Gestion des erreurs et des exceptions : gérer les erreurs et les exceptions qui peuvent survenir lors de la collecte, de l'intégration et de la synchronisation des données. Outils & EnvironnementBMC Helix Discovery (mandatory) Starburst (Data product, MCP, AI) Spark / Pyspark ServiceNow ITSM (change, incident, problem, request) Jira / Confluence Nice to have : Tableau Server / Tableau Desktop / PowerBI / Dataikku Talend Real Time Big Data / ESB, ETL, EAI Talend Data Catalogue PostGreSQL / Apache Kafka / S3 storage Environnement techniqueL'expert utilisera BMC Discovery et d'autres outils pour collecter et intégrer les données, pour ensuite les exposer en data products afin d'alimenter des IA. DonnéesTravail avec des données d'actifs informatiques, notamment des informations sur les périphériques réseau, les logiciels, les matériels, etc. Système de nettoyage des donnéesL'expert doit comprendre le fonctionnement du système de nettoyage des données et comment les données de BMC Discovery peuvent être intégrées pour améliorer la qualité des données.

Astrelya est un cabinet de conseil franco/suisse, en très forte croissance depuis sa création en 2017, spécialisé dans la transformation digitale, l'excellence opérationnelle et l'innovation technologique. Il est composé de 300 expert passionnés. Le cabinet accompagne ses clients sur l'ensemble du cycle de transformation, depuis la phase de cadrage jusqu'à la mise en œuvre opérationnelle, avec une expertise forte en Data/IA, Cloud, DevOps et méthodes agiles. Astrelya se distingue par un modèle fondé sur la proximité, la confiance et une culture humaine forte, qui place les collaborateurs au cœur de la création de valeur. Dans le cadre de notre développement, nous recherchons un Data Engineer – Plateforme Data B2C AWS / Databricks Contexte Vous rejoignez un programme stratégique de refonte d'une plateforme B2C à l'échelle mondiale, dans un environnement Agile Scrum. Description du poste En tant que Data Engineer, vous jouez un rôle clé dans la conception, le développement et l'évolution de la plateforme Data. Vous intervenez à la fois comme leader technique et acteur opérationnel avec pour objectif de garantir la qualité, la performance, la fiabilité et la maîtrise des coûts de la plateforme, tout en contribuant à la valorisation des données. Responsabilités principales Concevoir et développer des architectures Data cloud-native sur AWS, basées sur Databricks Garantir la qualité, la cohérence et la fiabilité des données tout au long de leur cycle de vie. Participer activement au développement conception et développement de pipelines Data ; traitements batch et streaming ; optimisation des performances. Définir, mettre en œuvre et promouvoir les bonnes pratiques de Data Engineering Mettre en place des mécanismes de monitoring et de contrôle de la qualité des données Piloter l'optimisation des coûts AWS et Databricks liés aux traitements Data dans une démarche FinOps. Accompagner les Data Engineers et développeurs Collaborer étroitement avec les équipes Produit et IT, dans un environnement international et multiculturel. Stack technique Data & Cloud Databricks AWS : S3, EC2, RDS, Lambda Langages & Frameworks Java SQL Apache Spark DevOps & CI/CD GitHub Enterprise ArgoCD SonarQube Intégration & Services Kafka PostgreSQL Collaboration & Agile Jira Confluence Agile Scrum Soft Skills Leadership technique : capacité à guider, structurer et faire grandir une équipe Data. Vision transverse : compréhension des enjeux métiers, Data et Cloud, et capacité à les mettre en perspective. Communication : aptitude à vulgariser des concepts techniques et à communiquer efficacement avec différents interlocuteurs. Esprit collaboratif et interculturel : capacité à travailler efficacement avec des équipes internationales. Proactivité et adaptabilité : capacité à anticiper les risques liés à la qualité, aux coûts et aux performances, et à évoluer dans un contexte Agile.

Contexte Au sein de la Direction Digital et Data, vous intégrerez le Data Lab en charge de l'ensemble des projets BI et Data pour les enseignes et les fonctions d'appui du Groupement (Intermarché, Netto, Supply Chain, Immo Mousquetaires, …). En tant qu'Ingénieur devOps, votre mission principale sera de participer au déploiement des projets data du Groupement. La plate-forme utilisée est le Cloud Microsoft Azure. Vous êtes polyvalent et savez communiquer avec les différentes équipes. Afin d'assurer un niveau de sécurité conformes aux exigences du groupement sur les applications du Datalab, vous savez organiser des ateliers, suivre et rendre compte de l'avancement des sujets de sécurisation liés aux résultats d'audit, et apporter des solutions ou des pistes de réflexion en accords avec votre expertise de sécurité de la plateforme cloud Azure, notamment sur la mise en place d'applications Web et d'API. Vous ferez partie d'une équipe d'une dizaine de collaborateurs et travaillerez dans un environnement Agile. Le contexte vous plaît ? Découvrez votre quotidien au sein de votre future équipe. Vos missions-Construire des infrastructures Cloud Public (principalement sur Azure)-Industrialiser les architectures cibles et configurer les équipements (CI / CD) -Mettre en place des procédures et outils de surveillance permettant de garantir la haute disponibilité des infrastructures. -Participer aux phases de validation technique lors des mises en production ou des évolutions. -Collaborer avec les équipes de développement, sécurité et projets dans la réalisation de la transformation Vos atouts pour réussir De formation supérieure en informatique, vous justifiez d'une expérience de 4-10 ans dans un contexte Data. Vous disposez des connaissances sur les outils et méthodologies suivants : -Cloud Azure-Infrastructure as a code (ARM, YAML) -Intégration et déploiement continu (Git, Azure DevOps) -Services Big Data : Azure DataLake, Azure EventHub, Azure Databricks, Azure Data Factory, Power BI-Services Web : Azure FunctionApp, Azure WebApp-Micro-services/containers (AKS) -Base de données : SQL DB, CosmosDB La connaissance de ces langages de programmation serait un plus : Spark et Scala.

Nous recherchons un·e Directeur·trice de Projets IA. Vous interviendrez sur des environnements critiques, fortement régulés et à forts enjeux métiers, au cœur des initiatives d'intelligence artificielle et d'innovation. Vous piloterez des projets IA de bout en bout, depuis les phases de cadrage et d'idéation jusqu'à la mise en production à l'échelle, en assurant la coordination transverse entre équipes techniques, métiers et fonctions de gouvernance. Voici un aperçu détaillé de vos missions : 🎯 Piloter des programmes IA de bout en bout : cadrage, POC, industrialisation et mise en production de solutions (LLM, RAG, assistants métiers) Définir la stratégie IA & roadmap : alignement business/IT, suivi des KPI et reporting CODIR Structurer la gouvernance IA : gestion des risques, conformité (EU AI Act, DORA, NIS2), documentation réglementaire Coordonner les équipes : interface transverse Data/IA, DevOps, Risk, Compliance et métiers Conseiller & innover : benchmark des solutions IA, accompagnement du top management, diffusion de la culture IA Environnement technique : 🧑‍💻 IA & Data : LLM (OpenAI, Mistral, LLaMA…), RAG, NLP, Cloud / Infra : GCP, Kubernetes, Docker Data stack : Python, Spark, SQL/NoSQL, pipelines ETL/ELT DevOps : CI/CD, MLOps, monitoring Sécurité & conformité : ISO 27001, RGPD, EU AI Act, DORA, NIS2

Nous recherchons un·e Directeur·trice de Projets IA. Vous interviendrez sur des environnements critiques, fortement régulés et à forts enjeux métiers, au cœur des initiatives d'intelligence artificielle et d'innovation. Vous piloterez des projets IA de bout en bout, depuis les phases de cadrage et d'idéation jusqu'à la mise en production à l'échelle, en assurant la coordination transverse entre équipes techniques, métiers et fonctions de gouvernance. Voici un aperçu détaillé de vos missions : 🎯 Piloter des programmes IA de bout en bout : cadrage, POC, industrialisation et mise en production de solutions (LLM, RAG, assistants métiers) Définir la stratégie IA & roadmap : alignement business/IT, suivi des KPI et reporting CODIR Structurer la gouvernance IA : gestion des risques, conformité (EU AI Act, DORA, NIS2), documentation réglementaire Coordonner les équipes : interface transverse Data/IA, DevOps, Risk, Compliance et métiers Conseiller & innover : benchmark des solutions IA, accompagnement du top management, diffusion de la culture IA Environnement technique : 🧑‍💻 IA & Data : LLM (OpenAI, Mistral, LLaMA…), RAG, NLP, Cloud / Infra : GCP, Kubernetes, Docker Data stack : Python, Spark, SQL/NoSQL, pipelines ETL/ELT DevOps : CI/CD, MLOps, monitoring Sécurité & conformité : ISO 27001, RGPD, EU AI Act, DORA, NIS2