Trouvez votre prochaine offre d’emploi ou de mission freelance PySpark

Contexte de la mission En renfort de l’entité Solutions Data , le Data Engineer Senior interviendra dans un environnement hybride Cloud / On-Premise (cible On-Premise) pour participer activement aux activités Run, Build, Expertise et Accompagnement . 🚀 Missions principales Participer à l’élaboration du design technique des produits logiciels. Contribuer à la recherche et mise en œuvre de solutions techniques adaptées. Prendre en charge une partie des développements . Accompagner et coacher les autres développeurs (optimisation de code, bonnes pratiques). Collaborer avec l’ architecte Data pour l’intégration des produits dans le SI. Garantir la qualité des produits logiciels livrés. Accompagner les directions métiers dans la réalisation de leurs cas d’usage Data. 🔧 Compétences obligatoires Spark / Java (maîtrise avancée) Python (maîtrise avancée) SQL (maîtrise avancée) Cloud AWS : S3, Glue, Redshift, Step Functions, Lambda CI/CD : Git, Jenkins ETL : XDI et/ou ODI 🌟 Compétences souhaitées (atouts) Docker Terraform Power BI / Business Objects 📍 Localisation Mission basée à Châtillon (92) .

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

Nous recherchons un AWS Data Engineer (niveau Tech Lead) pour rejoindre nos équipes dans le cadre d’un projet stratégique autour de la donnée au sein d’un environnement cloud à forte volumétrie. 🎯 Vos missions principales : Concevoir, développer et optimiser des pipelines de données robustes, scalables et sécurisés sur AWS. Intervenir sur l’ensemble du cycle de vie Data : BUILD (architecture, développement, intégration) et RUN (optimisation, monitoring, support). Définir et faire évoluer les bonnes pratiques d’ingénierie data au sein des équipes. Collaborer avec les équipes métiers pour comprendre les besoins et proposer des solutions performantes et industrialisées . Garantir la qualité, la fiabilité et la performance des traitements de données dans un contexte exigeant.

VOTRE QUOTIDIEN RESSEMBLERA A… Vous rejoignez notre client et serez en charge de : Configurer, structurer, déployer Azure Data Lake et DataBricks Développer et industrialiser des pipelines d’ingestion robustes sur Apache NiFi à partir des différentes sources, en tenant compte des contraintes techniques (mémoire, réseau…) Mettre en place et maintenir une instance Unity Catalog pour renforcer la gouvernance et permettre le Data self-service Environnement Technique : Azure Data Lake, Databricks, Apache NiFi, Unity Catalog, Python, Pyspark, SQL Le poste est basé en périphérie de Marignane (13) . Dans le cadre de vos fonctions, vous pourrez bénéficier de 1 jour de télétravail par semaine après votre intégration. Vous devez impérativement être véhiculé.e pour pouvoir accéder sur site.

Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Pyspark/AWS Missions: Concevoir, développer et optimiser des pipelines de données robustes, performants et scalables. Encadrer et apporter une expertise technique sur les choix d’architecture et de stack. Déployer et orchestrer des traitements distribués (PySpark, Glue). Concevoir et exposer des APIs de données. Industrialiser et automatiser les environnements via Terraform et des pipelines CI/CD. Garantir la fiabilité, la performance et la sécurité des flux et services de données en production. Collaborer avec les équipes Produit, Data et Développement pour intégrer les besoins métiers dans les solutions. Partager les bonnes pratiques et contribuer à la montée en compétences de l’équipe. Si vous êtes actuellement à l'écoute du marché, je vous invite à m'envoyer votre candidature. Bien à vous, Nadia

Dans une logique d’amélioration continue de l’expérience client, un acteur majeur du retail souhaite mettre en œuvre un chatbot SAV intelligent basé sur des technologies d’ IA générative . Ce chatbot sera accessible via les canaux digitaux (site web, application mobile) et devra répondre de manière instantanée, précise et contextualisée aux demandes fréquentes liées au service après-vente : suivi de commande, garantie, retour produit, assistance à l’utilisation, etc. Nous recherchons un expert ou lead IA générative capable de : Réaliser un audit technique et fonctionnel Proposer une architecture agentique adaptée Développer un agent IA performant et scalable Mettre en production un projet basé sur LangChain , LangGraph , et des bases vectorielles Intégrer des outils de test (type RAGAS ) et de modélisation (type MCP ) Livrables attendus Audit technique Recommandations d’architecture Développement de l’agent IA Mise en production Documentation technique

Expertise technique GenAI • Développer les briques techniques nécessaires à l’exécution des agents GenIA (API, orchestrateurs, connecteurs, sécurité, monitoring, vectorisation…). • Garantir la robustesse, la scalabilité et la maintenabilité des composants sur Databricks. • Déployer les composants techniques en collaboration avec l’équipe Plateforme. Conception et développement d’agents GenIA • Participer à la définition fonctionnelle des agents avec le tech lead et l’architecte en lien avec le Product Owners et les métiers. • Développer les agents en intégrant les modèles IA via des frameworks comme LangChain. • Tester, valider et optimiser les performances des agents. Travail en équipe projet dans une Squad • Travailler sous l’animation d’un Scrum Master, en collaboration avec un Tech Lead et un Architecte. • Participer aux rituels agiles (daily, sprint planning, review, rétrospective). • Être force de proposition sur les choix techniques et les bonnes pratiques de développement.

Nous recherchons un Data Engineer pour une mission longue. Vous interviendrez dans un environnement cloud GCP moderne, en lien avec les équipes internes et les différents produits data. Ses principales missions incluront : -Conception et déploiement des pipelines data : construire, maintenir et optimiser des pipelines robustes, scalables et documentés. -Orchestration et automatisation : configurer et maintenir des workflows via Airflow et Kedro pour garantir l’intégration et la transformation continue des données. -Industrialisation et infrastructure : assurer le déploiement et la maintenance des environnements via Terraform et Terragrunt, dans le respect des bonnes pratiques CI/CD (GitLab). -Support aux équipes : accompagner les utilisateurs dans leurs usages et le requêtage des données (BigQuery, SQL, Python). -Collaboration et partage : participer aux instances de la communauté data engineering, échanger sur les bonnes pratiques, contribuer à la documentation technique. Environnement technique : Langages: Python, SQL, PySpark // Orchestration & Framework : Airflow, Kedro Cloud : Google Cloud Platform (GCP), BigQuery Infrastructure as Code : Terraform, Terragrunt Versioning & CI/CD : GitLab, GitLab CI/CD // Méthodologie : Agile (Scrum, Kanban)

🎯 Contexte du poste Nous recherchons un Data Engineer confirmé afin d’accompagner un projet de migration stratégique de notre plateforme Data. Le consultant interviendra au sein d’équipes techniques et métiers pour assurer la transition et l’optimisation des flux de données. 🛠️ Missions principales Concevoir, développer et maintenir des pipelines de données performants et scalables. Assurer la migration des traitements Talend vers Spark sur EMR (Amazon Elastic MapReduce). Mettre en place des modèles de données et des tables optimisées avec Apache Iceberg. Garantir la qualité, la fiabilité et la performance des flux de données. Collaborer avec les équipes Data, DevOps et métiers pour accompagner la transformation de la plateforme. 📌 Compétences techniques requises Talend : expertise dans les flux existants et leur migration. Spark (PySpark/Scala) sur EMR : maîtrise des traitements distribués et optimisation. Apache Iceberg : connaissance des formats de tables modernes (partitionnement, évolutivité, performance). DevOps (nice to have) : CI/CD, Docker, Kubernetes, Terraform, GitLab. Cloud AWS : maîtrise des services liés au Big Data (S3, EMR, Glue, etc.). 🌍 Soft skills et linguistique Anglais courant (fluent) : échanges réguliers avec des équipes internationales. Autonomie, capacité d’adaptation, esprit d’analyse. Bon relationnel et aptitude au travail en équipe agile. 🚀 Profil recherché Minimum 4/5 ans d’expérience en tant que Data Engineer. Expérience significative dans des projets de migration de flux Data. Capacité à intervenir dans des environnements complexes et à forte volumétrie de données.

Contexte Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins. Missions Assurer le rôle de Data Engineer et développeur d’API au sein de la squad. Exploitation/production : supervision des traitements, corrections, optimisation des performances. Gestion de la dette technique : refactor, qualité, sécurité. Architecture : revue de l’existant et propositions d’évolutions . Développements projets : pipelines de données et APIs d’exposition.

Nous recherchons un(e) Ingénieur(e) en Intelligence Artificielle / Data Scientist pour structurer et porter nos projets IA, en collaboration étroite avec les équipes R&D, produit et en réponse aux besoins clients. Vous intégrez une équipe Tech d’une vingtaine de personnes, organisées en squads produits, et serez impliqué(e) sur l’ensemble du cycle de développement, aux côtés des Tech Leads et Architectes, avec une réelle influence sur les choix d’architecture. Selon vos envies, vous pourrez aussi contribuer aux comités transverses R&D (technique, agile, innovation...). Projets en cours : Analyse automatique de documents réglementaires (NLP + NER) Génération automatisée de workflows, formulaires et rapports intelligents Intégration d’agents IA dans l’interface utilisateur Déploiement de moteurs de recherche sémantique (RAG hybride, reranking, vector search…) Stack technique : IA / Data : Python, Pandas, Scikit-learn, Hugging Face, FastAPI, OpenAI API, PyTorch, TensorFlow (ouvert à d’autres outils) Bases de données : MariaDB, PostgreSQL, MongoDB, Elasticsearch, bases vectorielles (Chroma, Activeloop…), graphes (Neo4J…) DevOps : Docker, Swarm > Kubernetes, GitLab CI/CD Environnement général : PHP / Symfony, Vue.js 3 / TypeScript, Jira, Confluence, architecture microservices Profil recherché : Diplôme Bac+5 en informatique, mathématiques appliquées, IA ou équivalent (école d’ingénieur ou université) Minimum 3 ans d’expérience en Data Science, modélisation et intégration technique, avec idéalement des projets IA à votre actif Compétences techniques essentielles : Maîtrise avancée de Python et des principaux outils IA, Data Science, Machine Learning Bonne compréhension des enjeux liés aux produits SaaS BtoB (performance, robustesse, monitoring) Solides compétences en SQL et gestion de bases relationnelles Maîtrise des bases de données vectorielles (Chroma, Activeloop…) et techniques d’embedding (Word2Vec, GPT…) Connaissance des techniques NER, embeddings, chain of thought, RAG, function calling… Familiarité avec les environnements cloud (Azure, Google Cloud, AWS) Atouts supplémentaires : Connaissance des éditeurs de code assisté par IA (Cursor, Github Copilot) Expérience avec les bases orientées graphes (Neo4J, OrientDB…) Connaissances web PHP / Symfony / Vue.js / TypeScript Vous souhaitez relever des challenges techniques ambitieux et rejoindre une équipe dynamique au cœur d’un projet innovant ? Ce poste est fait pour vous !

Nous recherchons un ingénieur Big Data confirmé pour intervenir sur une plateforme Datalake de grande envergure. Vous apporterez votre expertise technique sur l’exploitation et l’évolution d’un écosystème Big Data complexe et moderne, et contribuerez à son maintien en condition opérationnelle ainsi qu’à son amélioration continue. Vos principales missions : Assurer le maintien en conditions opérationnelles de la plateforme Big Data (MCO, incidents, demandes projets/utilisateurs). Contribuer à l’ implémentation et à l’automatisation des solutions. Réaliser et suivre les mises en production . Participer à l’ amélioration continue des outils et processus d’exploitation. Communiquer et accompagner les utilisateurs finaux. Produire les livrables attendus : Récapitulatif mensuel des tickets traités (incidents, demandes). Statut bimensuel des projets en cours.

Dans le cadre d’un projet pour l’un de nos clients dans le secteur de la finance , nous recherchons un Data Engineer avec une forte expertise en Python , Spark , et Git . La mission s’inscrit dans un environnement Big Data et suit une méthode Agile . Objectifs de la mission Le consultant contribuera à : Développer de nouveaux modèles et indicateurs Industrialiser ces développements dans un environnement de production APIser les services Produire une documentation fonctionnelle et technique Livrables attendus Développements en Python et Spark Scripts d’intégration (Shell, éventuellement Perl / PHP) Documentation technique & fonctionnelle Services API Code versionné sous Git / GitHub Méthodologie Travail en mode Agile / Scrum

Rejoignez notre équipe innovante Data Fabric et jouez un rôle moteur dans l'élaboration des infrastructures de données de nouvelle génération. Nous construisons des Platform Data & Data Market Place complexes, nécessitant des solutions d'ingénierie robustes et scalables. Votre expertise sera déterminante pour transformer les données brutes en Data Products fiables et gouvernés, directement exploitables par l'entreprise. 🎯 Vos Missions Principales Conception et Développement des Pipelines : Concevoir, coder et optimiser des pipelines de données ETL/ELT (Batch et Streaming) utilisant Spark et les langages Scala et/ou Python . Implémenter des solutions de traitement et de transformation sur Databricks (Delta Lake) et/ou Snowflake . Industrialisation DataOps : Mettre en œuvre les pratiques DataOps et DevOps (CI/CD, tests automatisés, monitoring) pour automatiser et fiabiliser le déploiement des Data Products . Gérer et optimiser les ressources et l'infrastructure Big Data sur les environnements Cloud (AWS et/ou Azure) . Architecture et Expertise : Contribuer activement à l'évolution de l'architecture Data Fabric et à la modélisation des données. Garantir la performance, la qualité et la sécurité des données au sein de la Data Market Place . Collaboration : Travailler en étroite collaboration avec les équipes métier, les Data Scientists et l'IT pour assurer l'alignement des solutions techniques avec les objectifs business. ⚙️ Environnement et Compétences Techniques Requises Big Data & Processing (Expertise Indispensable) : Maîtrise d' Apache Spark (Scala ou Python/PySpark). Expérience solide avec Databricks et/ou Snowflake . Cloud Computing : Excellente connaissance d'au moins un des fournisseurs : AWS (S3, EMR, Kinesis, Glue) ou Azure (ADLS, Synapse Analytics, Azure Databricks). Langages : Expertise en Python ou Scala . Une connaissance de Java est un plus. Maîtrise du SQL . Industrialisation : Solide expérience en DevOps/DataOps (Git, CI/CD). Connaissance des outils d'infrastructure as Code (Terraform, CloudFormation) et de conteneurisation (Docker, Kubernetes) appréciée. LES + : Power BI, Talend Exemple de mission : · Évaluer les solutions techniques, · Garantir la performance et la disponibilité des plateformes data, · Implémenter et Orchestrer les pipelines de données, · Contribuer à l’amélioration de la qualité des données en synergie avec les équipes techniques, produits et métiers (définition des métriques, déploiement et monitoring des indicateurs, implémentation des règles du contrôle d’accès, documentation), · Participer au programme de migration de données et de modernisation des plateformes data (stockage et stratégie de data Lake, bases de données, SAP S4/HANA modules SD, MM, FI, SCM).

Nous recherchons un(e) Data Engineer expérimenté(e) pour renforcer notre équipe data et prendre un rôle clé dans la conception, l’industrialisation et la mise en production de nos pipelines et services de données. Le poste s’adresse à un profil autonome, passionné par les bonnes pratiques de développement , capable de challenger les architectures existantes et de proposer des solutions robustes et scalables . 🧩 Missions principales Concevoir, développer et optimiser des pipelines de données performants, scalables et résilients . Encadrer et accompagner techniquement les équipes sur les choix d’architecture et de stack technologique . Déployer et orchestrer des traitements distribués (PySpark, AWS Glue, Airflow). Concevoir et exposer des APIs de données (via AWS API Gateway / Lambda). Industrialiser les environnements via Terraform et des pipelines CI/CD (GitLab, Jenkins…). Garantir la fiabilité, la performance et la sécurité des flux et services de données. Mettre en place du monitoring et de l’alerting pour la supervision des traitements. Contribuer à la diffusion des bonnes pratiques (tests, code review, documentation, CI/CD). Participer à la formation et au mentoring des ingénieurs juniors. 📦 Livrables attendus Schémas et modélisation des structures de données . Pipelines industrialisés et interconnectés avec les assets produits. Mise à disposition de la data vers des systèmes externes (APIs, exports, injections). Documentation technique et dashboards de suivi. Solutions conformes aux exigences RGPD / Data Privacy / éco-conception . Mise en place du monitoring et alerting en production. Contribution à l’ usine logicielle (intégration continue, tests automatisés, déploiements). Présentation régulière des réalisations techniques aux équipes métiers et produit. 🧠 Compétences techniques requises (Must Have) Python (expert). PySpark et Pandas (traitement et transformation de données). AWS (Glue, Lambda, API Gateway, ECS, IAM). Terraform (infrastructure as code). CI/CD (GitLab, Jenkins ou équivalent). Observabilité et supervision (logs, metrics, alerting). Pratiques de code propre, testé et documenté . 🌱 Compétences appréciées (Nice to Have) Airflow pour l’orchestration des jobs. AWS SageMaker pour le déploiement ou l’entraînement de modèles IA. Sensibilité MLOps et DataOps . Connaissance des standards de l’éco-conception et de la sécurité des données . Expérience en mentorat technique ou lead technique data .

En tant que Data Engineer Databricks, nous vous proposons d’intégrer une équipe d’ingénieurs expérimentés et multi-compétentes. Au sein de nos clients issus de différents secteurs d'activité (Industrie, Services, Transport, Logistique, Banque, Assurances, Énergie), vous jouez un rôle clé dans la migration des données et des tâches de l'environnement Cloudera vers Databricks. Vous êtes également chargé d'automatiser le déploiement des jobs via le CI/CD. Pour réussir ces différents challenges, nous vous proposerons des actions de formation, des parrainages, des certifications sur les outils concernés et un dispositif d’évaluation personnel régulier.