Find your next tech and IT Job or contract PySpark

ACCROCHE SI TU ADORES CONSTRUIRE DES PIPELINES SOLIDES COMME LE ROC, CETTE ANNONCE EST POUR TOI... CE QUE TU RECHERCHES : Évoluer au sein d’une équipe dynamique Participer à des projets innovants d’envergure Relever des défis liés à l’ingénierie des données, aux flux et aux performances Donner un nouveau souffle à ta carrière Alors nous avons la mission idéale pour toi. Au sein d’un acteur majeur du secteur , tu participeras : Les pipelines de données, tu développeras La qualité, la fiabilité et la sécurité des données, tu garantiras L’intégration et la transformation des données, tu automatiseras Les architectures data (batch & temps réel), tu concevras La scalabilité et la performance des traitements, tu optimiseras Les outils de monitoring et de gestion des flux, tu mettras en place Ton équipe projet, tu accompagneras Aux rituels agiles et instances data, tu participeras QUI TU ES : Diplômé(e) de la formation qui va bien Surdoué(e) ou doté(e) d’une expérience de ans minimum en ingénierie de la donnée ou en développement data Expert(e) en Habile avec les outils AU-DELÀ DES COMPÉTENCES TECHNIQUES, TU ES / AS : Dynamique : tu n’aimes pas rester les deux pieds dans le même sabot Autonome : un guide du Routard te suffira Esprit de synthèse : tu sais aller à l’essentiel Capacité d’adaptation : tu es un vrai caméléon Sens de la communication : les mots n’ont pas de secret pour toi Force de proposition : tu es l’Aladdin de l’informatique Esprit d’équipe : un pour tous et tous pour un !

Contexte: Recherche Développeur(se) Senior Data compétent(e) et proactif(ve) pour un très grand projet de transformation IT en Espagne, dans le secteur manufacturier. Ce rôle est essentiel pour construire et optimiser le nouveau hub de données basé sur AWS, permettant un accès plus rapide aux données, une meilleure qualité et une livraison évolutive. Collaboration étroite avec l’Architecte Data, le Chef de Projet et les équipes de développement mondiales pour concevoir, mettre en œuvre et maintenir des pipelines de données robustes ainsi que des cadres de qualité. Responsabilités : • Développer et optimiser des pipelines de données évolutifs en utilisant les services AWS et des technologies open source. • Mettre en œuvre des modèles de traitement de données en temps réel et en batch . • Garantir la qualité des données via des tests automatisés et des cadres de surveillance. • Collaborer avec les architectes et les équipes métier pour traduire les besoins en solutions techniques . • Soutenir les pratiques CI/CD et l’ automatisation de l’infrastructure .

CITECH recrute ! 👌 ✨ Vous souhaitez mettre vos talents au service d’un groupe de renom dans le secteur de la culture et du loisir ? Nous avons LA mission qu’il vous faut ! Nous recherchons un(e) Data Engineer (H/F) pour rejoindre une équipe dynamique et internationale. 👈 Au sein de notre DSI parisienne et rattaché à la responsable DATA & BI, vous serez en charge d’analyser, calculer et interpréter des données complexes afin de soutenir la prise de décision business et améliorer la qualité des données. 🙌🔽 Vos principales missions seront les suivantes : 🔽🙌 🔸 Mise en œuvre des flux de données de la data plateforme 🔸 Compréhension de l'expression de besoin 🔸 Architecture logicielle de la solution 🔸 Développements, tests et déploiements dans les divers environnements jusqu'en production

🎯 Contexte et Environnement Au sein de la Direction Digital & Data , l’équipe Data Lab intervient sur les périmètres Data & Analytics dans le cadre de la transformation du système d’information du groupement. Le/la Tech Lead rejoindra la Data Factory (rassemblant les équipes IT et métiers), dont la mission est de concevoir et déployer des produits analytiques innovants à destination des magasins, de la logistique, des fonctions support et des consommateurs. Face à la montée en puissance des besoins, l’organisation évolue selon un modèle Agile structuré en Domaines et Squads , avec une forte ambition d’industrialisation et de valorisation du patrimoine de données.

- Collaborate with stakeholders to understand data needs and translate them into technical specifications. - Design, develop, and implement data warehousing and BI solutions. - Perform ETL processes using SQL, Python, PySpark, and tools such as AWS Glue. - Develop and maintain dashboards, reports, and visualizations with Power BI. - Ensure data integrity, quality, and security across platforms. - Analyze data to identify trends, patterns, and insights driving business decisions. - Support teams in leveraging data to build their own reports and dashboards. - Contribute to Data & BI documentation and manage related tools. - Implement tools to improve data governance and security.

🎯 Contexte du poste Nous recherchons un Data Engineer confirmé afin d’accompagner un projet de migration stratégique de notre plateforme Data. Le consultant interviendra au sein d’équipes techniques et métiers pour assurer la transition et l’optimisation des flux de données. 🛠️ Missions principales Concevoir, développer et maintenir des pipelines de données performants et scalables. Assurer la migration des traitements Talend vers Spark sur EMR (Amazon Elastic MapReduce). Mettre en place des modèles de données et des tables optimisées avec Apache Iceberg. Garantir la qualité, la fiabilité et la performance des flux de données. Collaborer avec les équipes Data, DevOps et métiers pour accompagner la transformation de la plateforme. 📌 Compétences techniques requises Talend : expertise dans les flux existants et leur migration. Spark (PySpark/Scala) sur EMR : maîtrise des traitements distribués et optimisation. Apache Iceberg : connaissance des formats de tables modernes (partitionnement, évolutivité, performance). DevOps (nice to have) : CI/CD, Docker, Kubernetes, Terraform, GitLab. Cloud AWS : maîtrise des services liés au Big Data (S3, EMR, Glue, etc.). 🌍 Soft skills et linguistique Anglais courant (fluent) : échanges réguliers avec des équipes internationales. Autonomie, capacité d’adaptation, esprit d’analyse. Bon relationnel et aptitude au travail en équipe agile. 🚀 Profil recherché Minimum 4/5 ans d’expérience en tant que Data Engineer. Expérience significative dans des projets de migration de flux Data. Capacité à intervenir dans des environnements complexes et à forte volumétrie de données.

Expertise technique GenAI • Développer les briques techniques nécessaires à l’exécution des agents GenIA (API, orchestrateurs, connecteurs, sécurité, monitoring, vectorisation…). • Garantir la robustesse, la scalabilité et la maintenabilité des composants sur Databricks. • Déployer les composants techniques en collaboration avec l’équipe Plateforme. Conception et développement d’agents GenIA • Participer à la définition fonctionnelle des agents avec le tech lead et l’architecte en lien avec le Product Owners et les métiers. • Développer les agents en intégrant les modèles IA via des frameworks comme LangChain. • Tester, valider et optimiser les performances des agents. Travail en équipe projet dans une Squad • Travailler sous l’animation d’un Scrum Master, en collaboration avec un Tech Lead et un Architecte. • Participer aux rituels agiles (daily, sprint planning, review, rétrospective). • Être force de proposition sur les choix techniques et les bonnes pratiques de développement.

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Data Scientist Python (H/F) à Lyon, France. Contexte : Description de l'équipe Concevoir et réaliser des audits de performance d’exploitation et proposer un programme d’amélioration continue Développer des processus d’analyse automatique des performances Développer des outils de maintenance préventive pour les équipements Anticiper l’impact des évolutions des systèmes et de leur environnement Equipe en charge de l'amélioration continue et de la valorisations des données afin d'améliorer leurs exploitations. Les missions attendues par le Data Scientist Python (H/F) : Activité principale Analyser le fonctionnement Modéliser le comportement nominal Construire des outils de supervision temps réel du fonctionnement et de détection automatique d’un état d’anomalie Encadrement de Data Scientist junior Revue de code / Evaluation des orientations techniques Activité secondaire Industrialiser les prototypes dans les outils de supervision Veille technologique sur les outils utilisés au sein du projet Partage et formation des pairs Aide à la conception de solutions permettant le traitement de volumes de données suffisamment sécurisés Stack technique de l'équipe Python 3 / Python Dash PySpark SQL / Postgresql Tableau software / PowerBI

Nous recherchons un AWS Data Engineer (niveau Tech Lead) pour rejoindre nos équipes dans le cadre d’un projet stratégique autour de la donnée au sein d’un environnement cloud à forte volumétrie. 🎯 Vos missions principales : Concevoir, développer et optimiser des pipelines de données robustes, scalables et sécurisés sur AWS. Intervenir sur l’ensemble du cycle de vie Data : BUILD (architecture, développement, intégration) et RUN (optimisation, monitoring, support). Définir et faire évoluer les bonnes pratiques d’ingénierie data au sein des équipes. Collaborer avec les équipes métiers pour comprendre les besoins et proposer des solutions performantes et industrialisées . Garantir la qualité, la fiabilité et la performance des traitements de données dans un contexte exigeant.

VOTRE QUOTIDIEN RESSEMBLERA A… Vous rejoignez notre client et serez en charge de : Configurer, structurer, déployer Azure Data Lake et DataBricks Développer et industrialiser des pipelines d’ingestion robustes sur Apache NiFi à partir des différentes sources, en tenant compte des contraintes techniques (mémoire, réseau…) Mettre en place et maintenir une instance Unity Catalog pour renforcer la gouvernance et permettre le Data self-service Environnement Technique : Azure Data Lake, Databricks, Apache NiFi, Unity Catalog, Python, Pyspark, SQL Le poste est basé en périphérie de Marignane (13) . Dans le cadre de vos fonctions, vous pourrez bénéficier de 1 jour de télétravail par semaine après votre intégration. Vous devez impérativement être véhiculé.e pour pouvoir accéder sur site.

Dans une logique d’amélioration continue de l’expérience client, un acteur majeur du retail souhaite mettre en œuvre un chatbot SAV intelligent basé sur des technologies d’ IA générative . Ce chatbot sera accessible via les canaux digitaux (site web, application mobile) et devra répondre de manière instantanée, précise et contextualisée aux demandes fréquentes liées au service après-vente : suivi de commande, garantie, retour produit, assistance à l’utilisation, etc. Nous recherchons un expert ou lead IA générative capable de : Réaliser un audit technique et fonctionnel Proposer une architecture agentique adaptée Développer un agent IA performant et scalable Mettre en production un projet basé sur LangChain , LangGraph , et des bases vectorielles Intégrer des outils de test (type RAGAS ) et de modélisation (type MCP ) Livrables attendus Audit technique Recommandations d’architecture Développement de l’agent IA Mise en production Documentation technique

Nous recherchons un Data Engineer pour une mission longue. Vous interviendrez dans un environnement cloud GCP moderne, en lien avec les équipes internes et les différents produits data. Ses principales missions incluront : -Conception et déploiement des pipelines data : construire, maintenir et optimiser des pipelines robustes, scalables et documentés. -Orchestration et automatisation : configurer et maintenir des workflows via Airflow et Kedro pour garantir l’intégration et la transformation continue des données. -Industrialisation et infrastructure : assurer le déploiement et la maintenance des environnements via Terraform et Terragrunt, dans le respect des bonnes pratiques CI/CD (GitLab). -Support aux équipes : accompagner les utilisateurs dans leurs usages et le requêtage des données (BigQuery, SQL, Python). -Collaboration et partage : participer aux instances de la communauté data engineering, échanger sur les bonnes pratiques, contribuer à la documentation technique. Environnement technique : Langages: Python, SQL, PySpark // Orchestration & Framework : Airflow, Kedro Cloud : Google Cloud Platform (GCP), BigQuery Infrastructure as Code : Terraform, Terragrunt Versioning & CI/CD : GitLab, GitLab CI/CD // Méthodologie : Agile (Scrum, Kanban)

CITECH recrute ! 👌 ✨ Si vous souhaitez apporter vos compétences dans la réalisation de différents projets, nous avons LA mission pour vous ! Nous recherchons en effet un(e) Data Engineer Azure & Databricks (H/F). 🏭 Entreprise reconnue dans le secteur de la sidérurgie, implantée dans de nombreuses villes en France, notre client est le plus important producteur d'acier au monde, et a pour objectif d'accélérer sa transformation digitale afin d'offrir toujours plus de solutions et de services innovants. Description du poste 🙌🔽 Vous aurez donc les missions principales suivantes : 🔽🙌 🔸 Configurer, structurer et mettre en œuvre l’environnement Azure Data Lake et Databricks afin de répondre aux besoins d’ingestion et de traitement des données. 🔸 Créer des pipelines d’ingestion robustes sous Apache NiFi , intégrant des sources industrielles variées et respectant les contraintes techniques de performance, de mémoire et de réseau. 🔸 Mettre en place et maintenir un Unity Catalog garantissant la gouvernance, la traçabilité et le Data self-service . 🔸 Veiller à la stabilité de l’environnement , à la qualité du code, à la performance des traitements et à la complétude de la documentation technique. 🔸 Promouvoir la solution auprès des utilisateurs, rédiger la documentation associée et contribuer activement au partage de connaissances au sein de l’équipe Data.

Missions principales : * Conception et définition de la plateforme Data : -Définir le plan fonctionnel de la plateforme Data en fonction des besoins -stratégiques et opérationnels de l'entreprise. -Conceptualiser et structurer les fonctionnalités de la plateforme pour répondre aux exigences métiers. * Industrialisation et optimisation des processus : -Optimiser les processus de collecte, gestion, transformation et restitution des données pour les rendre plus efficaces. -Garantir la performance et la scalabilité des solutions mises en œuvre. * Urbanisation des Data Lakes : -Concevoir un schéma d'architecture fonctionnelle pour l’urbanisation des Data Lakes existants. -Mettre en place un référentiel des schémas d'interface d’entrée et gérer le versionning des données. -Assurer la cohérence de la circulation de la donnée, de l'acquisition jusqu’à son utilisation. *Collaboration avec les équipes métiers et techniques : -Travailler en étroite collaboration avec les chefs de projets Data, les architectes techniques et les Data Engineers. -Collecter et classifier les besoins fonctionnels des métiers pour les traduire en solutions techniques. *Rédaction de la documentation fonctionnelle : -Élaborer et maintenir à jour la documentation technique et fonctionnelle de l’architecture Data. -Proposer et formaliser des nomenclatures et des règles de gestion adaptées. *Référent technique : -Jouer un rôle de conseil et d’appui sur la conception des flux de données et la structuration des objets (Data Lake, Dataware, Datamart). -Être un point de référence pour l’équipe Data et garantir l’application des bonnes pratiques dans le cadre de la conception des solutions. Compétences requises :

Pour l’un de nos clients grand compte, nous recherchons un Data Engineer Senior maîtrisant Python , Py Spark , les API , AWS , et ayant une forte expertise en modélisation des données . Le rôle implique la conception et la mise en œuvre de composants de la plateforme data, incluant : L’ingestion et le traitement des données La construction et l’amélioration d’un cadre technique commun : Monitoring CI/CD Tests automatisés Performance Résilience Qualité du code Bonnes pratiques de développement Activités principales Recueillir, analyser et challenger les besoins métiers Concevoir des solutions en accord avec les architectures définies Contribuer au développement en tant qu’expert / lead technique Écrire un code propre, réutilisable, fiable et conforme aux standards qualité Identifier et résoudre les problèmes (bugs, goulots d’étranglement, etc.) Fournir des solutions robustes et prêtes pour la production Mettre en place des outils de monitoring et d’alerte pour assurer la fiabilité des services en production Documenter les développements en anglais et partager les connaissances avec l’équipe Communiquer efficacement avec les différentes équipes projet

Contexte Équipe IT Data Management & BI – Squad Big Data & API. Le data lake “ESG” sert de plateforme de données pour des équipes IT et métiers. La mission peut évoluer vers d’autres squads Data selon les besoins. Missions Assurer le rôle de Data Engineer et développeur d’API au sein de la squad. Exploitation/production : supervision des traitements, corrections, optimisation des performances. Gestion de la dette technique : refactor, qualité, sécurité. Architecture : revue de l’existant et propositions d’évolutions . Développements projets : pipelines de données et APIs d’exposition.