Find your next tech and IT Job or contract Apache Spark

La mission consiste à contribuer à la conception, l'industrialisation, l'exploitation et l'évolution des plateformes et services Data. Le consultant interviendra aussi bien sur les projets DATA que sur les activités de RUN. Il devra être capable de travailler dans un environnement technique large, sans nécessairement être expert sur chaque technologie, mais avec une bonne culture Data / Big Data / DevOps / Cloud. Une forte capacité d'autonomie, de curiosité et de proposition est attendue afin d'accompagner les équipes dans leurs choix techniques et leur évolution. MISSIONS PRINCIPALESParticiper aux projets Data et aux activités de RUN. Concevoir et faire évoluer les solutions Data Engineering. Participer à l'industrialisation et à l'automatisation des traitements et infrastructures. Développer et maintenir les pipelines CI/CD. Participer à la gestion et à l'exploitation des environnements Docker / Kubernetes. Automatiser les opérations à l'aide d'Ansible et/ou Terraform. Intervenir sur les bases de données SQL Server, PostgreSQL et MongoDB. Participer à l'exploitation et à l'évolution des environnements Big Data. Contribuer aux sujets Cloud public AWS / GCP. Participer à la supervision et à l'observabilité des plateformes. Analyser les problématiques de production et contribuer à leur résolution. Proposer des améliorations techniques et opérationnelles. Challenger l'existant et orienter les choix techniques lorsque nécessaire. Collaborer avec les équipes Data, DevOps, infrastructure et projets.

🚀 Opportunité – Expert Hadoop / Cloudera CDP / Ansible (H/F)Dans le cadre du renforcement d'une plateforme Big Data stratégique d'un grand groupe bancaire, nous recherchons un Expert Hadoop / Cloudera CDP pour intervenir sur des projets d'évolution, d'industrialisation et de maintien en conditions opérationnelles d'une infrastructure critique. Vos missionsAdministrer, maintenir et optimiser des clusters Hadoop (Cloudera CDP). Assurer la disponibilité, la performance et la sécurité de la plateforme Big Data. Automatiser les déploiements, patchs et configurations avec Ansible et Terraform. Participer aux montées de version des composants Hadoop. Intervenir sur des incidents complexes et contribuer aux task forces techniques. Déployer de nouvelles fonctionnalités d'infrastructure. Collaborer avec l'éditeur et les équipes techniques internes. Produire et maintenir la documentation technique. Environnement techniqueHadoop / Cloudera CDP 7.1.x Apache Kafka Apache NiFi Spark Ansible Terraform / Terragrunt Shell scripting GitHub / AWX Profil recherchéSolide expérience d'administration de plateformes Hadoop / Cloudera. Très bonne maîtrise d'Ansible et de l'automatisation d'infrastructure. Expérience sur Kafka, NiFi et Spark. Bonne connaissance des environnements Linux et des pratiques DevOps. Capacité à intervenir sur des problématiques techniques complexes et à accompagner les évolutions d'une plateforme Big Data. Informations complémentaires📍 Localisation : Île-de-France 🏢 Mission en présentiel 📅 Démarrage : ASAP ⏳ Mission longue durée (12 mois renouvelables) 📩 Si cette opportunité vous intéresse, n'hésitez pas à me contacter en message privé ou à envoyer votre CV.

Bonjour, Nous recherchons pour notre client grand compte un Data Analyst confirmé : tests et data quality (text matching) Nous étudions - prioritairement - les candidatures qui nous sont adressées à freelance à insyco . fr avec les informations suivantes : Argumentaire écrit répondant de façon ciblée au besoin ci-dessous CV à jour en français Date de prochaine disponibilité Tarif journalier Merci d'indiquer la référence MDE/DATA/5530 dans l'objet de votre message Contexte de la prestation L'organisme de gestion collective distribue la majorité de ses droits d'auteur musicaux en fonction de la diffusion réelle des œuvres sur les plateformes de diffusion en ligne. Pour cela, il s'appuie sur un système développé en interne permettant de faire correspondre les données de déclarations d'exploitation transmises par les diffuseurs avec son référentiel d'œuvres. Ce rapprochement combine des codes internationaux de l'industrie musicale et des techniques de rapprochement texte à texte (titres, participants), dans un objectif constant d'amélioration du taux d'identification et de réduction de la marge d'erreur. L'équipe est composée d'un lead dev, de deux développeurs et d'un data analyst. Une expérience significative en analyse de données est attendue, avec l'aisance nécessaire pour appliquer des méthodologies de tests sur une application aux résultats par nature incertains. Activités principales Mesurer l'apport qualitatif des nouveaux développements Réaliser des campagnes de tests comparant deux versions du moteur d'identification et effectuer des analyses quantitatives et qualitatives des différences Analyser les remontées utilisateurs pour nourrir la roadmap produit En collaboration avec les experts métiers, comprendre leurs remontées et les analyser pour construire avec le Product Owner les évolutions de règles à opérer pour améliorer la performance Outiller les analyses Automatiser le travail d'analyse Enrichir les analyses avec des données provenant de sources internes ou externes ou via des algorithmes Liste des tâches Établir un protocole de tests permettant de mesurer l'impact des règles de rapprochement développées par l'équipe Piloter les campagnes de tests et produire une analyse quantitative des écarts permettant d'ajuster au mieux les critères de rapprochement Participer activement à l'automatisation des analyses de données pour accélérer le time to deliver Analyser les anomalies et remontées utilisateurs en collaboration avec les experts métiers Participer à la validation et à la non-régression des développements en lien avec le Product Owner et les développeurs Dans une démarche "shift-left", intervenir dès le cadrage pour aider à la rédaction des user stories à travers les critères d'acceptance et la stratégie de recette

En tant que Data Engineer, vous intégrerez une équipe pluridisciplinaire composée de de développeurs, de DevOps, de Scrum masters et de Product Owners, travaillant en méthodologie Agile : o Nos défis : Fiabiliser et industrialiser les flux de données du catalogue de contenus : métadonnées éditoriales, programmes, saisons, droits et disponibilités. Construire des pipelines performants, rejouables et scalables pour fournir des données fraîches et cohérentes. Méthode de travail : Agile / Scrum, intégration et déploiements continus, revue de code. o Environnement technique : Apache Spark, Apache Iceberg, Amazon S3, AWS, Python et/ou Scala, SQL, Git, CI/CD, monitoring et alerting.

Date de démarrage : 14/09/2026 Durée : 12 mois renouvelables ContexteDans le cadre du renforcement de sa plateforme Data, notre client recherche un Data Engineer expérimenté afin de concevoir, développer et maintenir des solutions de traitement de données à grande échelle. Intégré à une équipe Agile (Squad), vous interviendrez sur l'ensemble du cycle de vie des produits Data, depuis la conception de l'architecture jusqu'au maintien en conditions opérationnelles des pipelines de données. Vous évoluerez en étroite collaboration avec les Architectes, le Product Owner, les Business Analysts et les équipes de production afin de garantir la disponibilité, la qualité et la performance des données au service des métiers, dans un environnement exigeant, idéalement bancaire.

Contexte de la mission : Viveris vous propose un poste de Data Engineer au sein d'un acteur majeur du secteur de l'énergie, intervenant sur des plateformes de traitement de données à grande échelle. Dans un contexte de transformation du SI décisionnel, l'équipe mène des projets stratégiques de modernisation de la plateforme Big Data. Les principaux enjeux portent sur la migration des traitements vers Apache Spark, ainsi que sur la refonte de la plateforme de données dans le cloud avec Databricks à moyen terme. Dans ce cadre, vous interviendrez sur le développement et l'optimisation des pipelines de données, la fiabilisation des traitements et l'accompagnement de la transformation de l'écosystème Data. Vous devrez maîtriser les technologies Spark et Databricks, et justifier d'une expérience en modélisation de données, et transformation des traitements Data. Responsabilités : - Migration de traitements Informatica et PL/SQL vers Spark ; - Participation au projet stratégique de migration vers le cloud ; - Garantir la performance, la robustesse et la qualité des données ; - Documentation et partage de connaissances.

Au sein de la DSI de notre client, vous serez en charge du développement et de la maintenance des applications stratégiques du Groupe. Dans le cadre du projet DatOps, nous recherchons un Data Engineer GCP pour renforcer les équipes Data. En collaboration avec les équipes de production applicative et DevOps, vous participerez à la mise en œuvre des évolutions demandées par les métiers, au développement des pipelines de données et à l'évolution de la plateforme Data. Vous évoluerez dans un environnement Cloud moderne, Agile et international, avec des échanges réguliers avec les équipes basées à Porto.

Dans le cadre d'une mission de continuité opérationnelle, une entreprise recherche un Data Analyst afin de renforcer ses équipes sur un environnement Data & Cloud. Les informations disponibles à ce stade permettent d'identifier un environnement principalement orienté autour de la gestion, préparation, modélisation et analyse des données, ainsi que de la production de reportings et d'indicateurs. Le contexte fonctionnel précis et les enjeux détaillés de la mission sont encore en cours de consolidation. Des échanges complémentaires avec le client permettront de préciser le périmètre, les priorités et l'organisation de l'équipe. Missions principalesParticiper à la préparation, la transformation et la structuration des données. Réaliser des analyses de données et produire des indicateurs pertinents. Participer à la modélisation des données. Concevoir et maintenir des rapports et tableaux de bord. Contribuer à la gestion et à la qualité des données. Recueillir et analyser les besoins fonctionnels et techniques. Rédiger les spécifications fonctionnelles et techniques. Participer aux phases de mise en production. Contribuer au cadrage et au suivi des sujets projet. Participer aux comités de pilotage et au suivi des objectifs. Accompagner et former les utilisateurs sur les solutions mises en place. Collaborer avec les équipes métiers et techniques. Environnement techniqueOutils : Microsoft Power BI Microsoft Excel Microsoft Power Query Git Apache Airflow Langages et technologies : SQL Python DAX Pandas Scikit-learn Apache Spark JavaScript Frameworks / bibliothèques : Plotly TensorFlow Bases de données : Google Cloud BigQuery MariaDB MySQL Cloud : Google Cloud Platform (GCP)

Dans le cadre du renforcement d'une équipe dédiée à l'innovation et à l'industrialisation de solutions d'Intelligence Artificielle, nous recherchons un(e) Data Engineer / Développeur Fullstack Python Junior souhaitant évoluer sur des sujets mêlant Data Engineering, IA Générative et développement logiciel. Vous intégrerez une équipe à taille humaine intervenant sur des projets déjà en production autour du traitement documentaire, du Machine Learning et de l'IA générative. Vous participerez notamment à : Développer des applications et pipelines de traitement de données en Python. Concevoir et maintenir des traitements distribués autour des technologies Big Data. Participer au développement d'outils intégrant des modèles d'IA générative. Contribuer à l'amélioration continue des chaînes CI/CD ainsi qu'à l'automatisation des tests. Développer des interfaces et outils facilitant l'exploitation des solutions IA. Collaborer étroitement avec les équipes Data Engineering, Data Science et les métiers afin de transformer rapidement les besoins en solutions opérationnelles. Participer à la mise en production et à l'industrialisation des développements.

Data & AI Engineer (Data Engineering / AI Engineering) Qui sommes-nous ? Fondée par des experts techniques et portée par des passionnés de l'IT, Big APPS est une société de conseil spécialisée dans la Data, le Cloud, le DevOps et l'Intelligence Artificielle (IA). Nous accompagnons nos clients dans leurs projets de transformation digitale en concevant des plateformes de données performantes et des solutions innovantes basées sur l'IA. Nous intervenons sur des projets à forte valeur ajoutée en mettant en œuvre les technologies les plus récentes et les meilleures pratiques du marché. Dans le cadre de notre croissance, nous recherchons un(e) Data & AI Engineer pour renforcer nos équipes. Vos missions En tant que Data & AI Engineer, vous serez amené(e) à : Concevoir, développer et maintenir des plateformes de données robustes et évolutives. Développer et optimiser des pipelines de données (ETL/ELT). Concevoir des architectures Data sur Azure, AWS ou GCP. Préparer, transformer et valoriser les données pour les projets d'IA. Développer, intégrer et industrialiser des modèles de Machine Learning et d'IA générative. Participer au déploiement des modèles en production (MLOps). Collaborer avec les équipes métiers, Data Science et Cloud. Mettre en œuvre les bonnes pratiques DevOps, CI/CD et Infrastructure as Code. Garantir la qualité, la sécurité et la disponibilité des données. Que vous soyez Data Engineer, AI Engineer, Data Scientist ou déjà doté(e) d'une double compétence Data & IA, vous souhaitez intervenir sur des projets innovants mêlant Data Engineering, Machine Learning, IA Générative et Cloud ? Rejoignez Big APPS !