Trouvez votre prochaine offre d’emploi ou de mission freelance Apache

Nous recherchons un développeur Big Data senior avec une expertise sur Cloudera, Spark et Apache Iceberg pour intervenir sur une mission de longue durée. Le but de la mission est de participer sur un projet de création d'un Datalake opensource dans un contexte de création d'outils liés à de l'intelligence artificielle. La prestation s'effectuera au sein des équipes d'une vingtaine de personnes(data engineering, data architects). Anglais: Bon niveau requis car une partie des équipes est en Amérique et en Inde. Le datalake s'appuie sur l'offre Cloudera on premise. Dans ce contexte, la prestation consiste à intervenir sur le POC (Proof of concept) en étroite collaboration avec l'administrateur du datalake house et à mettre en oeuvre et à valider l'infrastructure des plateformes de données. Dans ce cadre, le prestataire contribuera et aura la responsabilité des sujets suivants: -Conception et développements du POC avec Cloudera, NoSQL, Mifi, Apache Iceberg, Kafka... -Mise en œuvre des pipelines pour l'ingestion et l'intégration des données à partir des divers sources tout en s'assurant de la qualité et la cohérence des données. -Processus ETL / ELT -Développement et Optimisation des sources ETL et ELT pour soutenir les besoins en datawarehouse -Optimisation de la performance des flux de données et des requetes -Travail en étroite collaboration avec l'administrateur

Dans le cadre d'un renfort d'équipe chez l'un de nos clients : Nous recherchons un consultant Data / BI / Dataviz avec une expertise sur "Apache Superset" Missions principales : Configuration de dashboards superset : Création de dashboards dynamiques et interactifs pour répondre aux besoins spécifiques de l'entreprise Intégration de données provenant de différentes sources Mise en forme des données pour une visualisation claire et efficace Développement de plugins : Création de plugins personnalisés pour étendre les fonctionnalités de Superset Intégration de nouvelles sources de données Automatisation des tâches de reporting Informations complémentaires : Type de contrat : Prestation de service Début de mission : Immédiat Lieu de travail : Castres / Full Remote

Developpeur Apache Camel et Flux Remote/Montpellier ASAP Solides compétences en Java et Spring Boot Missions principales : Concevoir, développer et maintenir des flux d’intégration en utilisant Apache Camel. Optimiser et améliorer les performances des systèmes d’intégration existants. Participer à la rédaction des spécifications techniques et à l'analyse des besoins. Tester, déployer et superviser les flux d'intégration en production. Assurer la maintenance corrective et évolutive des solutions d’intégration. Collaborer avec les équipes internes pour garantir la fluidité des échanges de données entre les systèmes. Compétences requises : Excellente maîtrise d’Apache Camel et des concepts d’Enterprise Integration Patterns (EIP). Solides compétences en Java et Spring Boot

Projet Vous intervenez sur un projet à très forte valeur ajoutée dans le secteur de l’Assurance . Poste et missions Vous intégrerez l’équipe Middleware, vous jouerez un rôle clé dans l’intégration d’une solution EventHub sur Kafka. Vous interviendrez en étroite collaboration avec les équipes de développement pour assurer la cohérence et la performance du projet. Au quotidien, vos missions seront les suivantes : · Concevoir et rédiger des dossiers de conception pour intégrer Kafka au sein du Système d’Information, en détaillant les architectures applicatives adaptées. · Industrialiser la plateforme EventHub afin de garantir sa résilience, son évolutivité et sa conformité aux normes internes. · Mettre en œuvre des processus d’industrialisation pour optimiser l’usage de l’EventHub par les équipes métiers et IT. · Assurer la gouvernance de l’EventHub en définissant les standards, les bonnes pratiques et les outils de suivi de performance. Environnement technique : Kafka, AWS (MSK), Confluent , CI/CD Méthodologie de travail : Agile, Scrum Le télétravail partiel est envisageable. (3 jours par semaine) Autonome, curieux, vous apportez votre expertise et vos capacités d’analyse à la réalisation de plusieurs projets pour l’évolution de l’entreprise.

Pour un démarrage sous un mois environ, nous recherchons un(e) intégrateur technique d'application freelance très expérimenté pour intégrer les application web chez notre client, en lien avec la production et les équipes de développement. Très Important : le profil recherché n'est pas un ingénieur de production qui gère des procédures d'intégration applicative mais un consultant habitué à être intercalé entre les équipes de développements et la production et qui prépare les documents d'installation. de plus il doit être expert et parfaitement autonome avec beaucoup d'expérience sur Tomcat / Apache. Pas de Devops dans le périmètre. Astreintes possibles soir et week-end - répartition selon l'équipe Livrables sont : - Dossier d'installation - Composants applicatifs -Configuration applicative Description détaillée - Capable de configurer/installer tomcat manuellement sur windows ou linux - Capable d'analyser les logs tomcat en cas d'erreur - Capable de configurer/installer manuellement un serveur httpd - Capable d'analyser les logs httpd en cas d'erreur - Savoir évoluer dans un environnement linux - Récupération des livrables de développement sur les outils de Gestion de configuration (SVN, GIT) - Installation des packages sur les plateformes de tests - Qualification des packages sur les plateformes de tests selon les normes en vigueur - Vérification de la conformité des applications vis à vis des contraintes de production - Rédaction et validation des documents d'installation et d'exploitation - Rédaction et exécution des plans de tests techniques - Assistance et support technique à la mise en production - Communication avec l'équipe projet - Reporting

En tant que Data Engineer, vous intégrerez une feature team pour participer aux différents projets de développement. Les missions : · Compréhension des besoins métiers · Maintenance et évolution de ces automates et micro-services · Développement de processus automatisés en utilisant la technologie Airflow en relation étroite avec les métiers · Travaille avec différents profils data du groupe (Data Scientist, data engineer, Data Architect, data analyst) · Contribuer au développement et à l’amélioration continue des outils data interne

Intitulé du poste : Développeur Java Middleware Lieu / Rythme : 2 jours sont à prévoir par semaine sur Valbonne Description du poste : Nous recherchons un Développeur Java Middleware talentueux et expérimenté pour rejoindre notre équipe technique. Le candidat idéal aura une solide expérience en développement Java (au moins 4 ans) et éventuellement une maîtrise des technologies middleware. Ce poste se concentre exclusivement sur le développement de connecteurs et l'intégration de systèmes sans partie front-end (web). Vous travaillerez avec une équipe d'experts pour optimiser et développer des solutions de connectivité essentielles. Responsabilités : Concevoir, développer et maintenir des connecteurs et services d'intégration en Java. Assurer l’intégration et la gestion des flux de données via des solutions middleware, en utilisant des technologies telles que Apache Camel pour orchestrer les flux. Travailler avec les systèmes de messagerie asynchrone et JMS (Java Message Service) pour la transmission de messages entre les applications. Configurer et gérer les files d’attente de messages avec IBM MQ et Kafka pour permettre une communication fiable et rapide entre différents systèmes. Développer des services d'intégration et des APIs avec Spring et Spring Boot, en suivant les bonnes pratiques et en veillant à une architecture modulaire et performante. Collaborer avec les équipes techniques pour analyser les besoins et élaborer des solutions middleware robustes et évolutives. Lieu / Rythme : 2 jours sont à prévoir par semaine sur Valbonne

Nous recherchons un Expert Big Data (Spark) pour rejoindre notre équipe et apporter son expertise dans le traitement et la manipulation de données massives. En tant que tel, vous aurez pour missions principales : Apporter votre expertise en Big Data, en particulier sur Spark D éfinir et évaluer des solutions techniques permettant de traiter de grands volumes de données, tout en garantissant des pipelines sécurisés et clairs. Intervenir auprès des architectes et urbanistes pour la préparation des dossiers techniques. Mettre en place et maintenir des solutions de stockage de données (SQL, NoSQL, etc.), en veillant à leur efficacité. Proposer des optimisations des requêtes SQL, PL/SQL pour garantir les meilleures performances applicatives. Piloter et encadrer les équipes à chaque étape du processus de traitement des données. Partager les meilleures pratiques avec les équipes et assurer un accompagnement technique transverse. Big Data : Spark, Hive, Indexima. Stockage : Oracle, CEPH S3 (parquet). Langages : Java, Python, PL/SQL, Shell. CI/CD : Ansible, Terraform, Jenkins, GIT. ETL : Informatica. Dataviz : Tableau Server. Ordonnanceur : Control-M.

📑 CDI (42-50K€) / Freelance / Portage Salarial - 🏠 10 jours de télétravail / mois - 📍 Lyon - 🛠 Expérience de 5 ans minimum 🌟 Envie d’un nouveau challenge... CELAD vous attend ! 🚀 Nous poursuivons notre développement et recherchons actuellement un(e) Développeur – Big Data | Spark pour intervenir chez un de nos clients. 💻💼 Contexte : vos missions tournent autour de 4 axes : - Fournir une expertise en Big Data pour simplifier la manipulation des données. - Concevoir des solutions techniques pour le traitement massif de données. - Implémenter des solutions de stockage de données (SQL, NoSQL, etc.). - Assurer la sécurité et la lisibilité des pipelines de données pour faciliter l'analyse et la transformation. Voici un aperçu détaillé de vos missions 🎯 : - Création, maintenance, optimisation et sécurisation des bases de données pour garantir leur intégrité et leur performance. - Détection, proposition et suivi des optimisations des requêtes SQL, PL/SQL afin d'assurer l'efficacité des applications métier en termes de traitement des données. - Fournir un soutien aux équipes de développement en identifiant et en recommandant des solutions SGBD adaptées aux besoins métier, tout en assurant leur performance et leur pertinence. - Effectuer une veille technologique sur les outils utilisés dans le cadre du projet, afin de maintenir la pertinence et la compétitivité des solutions mises en œuvre. - Partager et dispenser des formations sur les bonnes pratiques en matière de gestion des bases de données, contribuant ainsi à l'amélioration continue des processus et des compétences au sein de l'équipe.

Le bénéficiaire souhaite une prestation d’accompagnement dans le cadre de data engineering, point de référence aussi bien pour l’équipe de réalisation des projets (build) que pour les équipe de production (RUN). Les missions sont: - Maintien en condition opérationnelle des services opérés autour du streaming (Kafka, Kafka Connect, Flink) - Amélioration continue des services opérés - Implémentation des solutions définies avec le PO (services actuels ou dans le cloud IBM) - Maintien d'une veille technologique permanente - Mode Agile - Astreintes sur les services existants Environnement/ technologies: - Analyse et développement de « produits transverses posés sur étagère pour nos Métiers » - Java jusqu’à l’intégration avec les chaines CI/CD. Des développements JAVA peuvent être réalisés dans le contexte de besoins spécifiques. - Langages de programmation suivant : Java, Python (dans un contexte Big Data) - Plateformes de configuration et gestions des installations : (Ansible, …) - écosystème object storage et kubernetes : (API S3, Helm,…) - écosystème Hadoop (HDFS, Hive, ,…), ElasticSearch - écosystème transport de données : Kafka Connect, Kafka - Framework spring : Spring-Boot, Spring-Security… - Concepts NoSQL et maîtrise d’au moins une solution parmi celles-ci : MongoDB, PostGres. - Concepts de streaming : Flink - Openshift

Les missions s’articulent autour des axes suivants : Participer aux phases de Discovery ; Prendre part dans les analyses techniques et les études d’impacts en amont des développements ; Concevoir des solutions en respectant et en promouvant les bonnes pratiques de développements ; Fournir des estimations concernant les futures réalisations (dans le cadre de la méthode SCRUM) Réaliser les développements en suivant les bonnes pratiques de développement .; Effectuer des contrôles croisés afin d’assurer la qualité des développements réalisés par l’équipe ; Assurer le support de niveau 2 aux équipes d’homologation lors des phases de recette ; Assurer le support lors des mises en production de chacune des évolutions ; Assurer le maintien en condition opérationnelle des applications du périmètre. Participer aux activités du Chapter Back End (développement de librairies transverses, partage de connaissances, développement de poc avec impact sur la squad et le Chapter)

SquareOne intègre sur ses projets partenaires des Ingénieurs Data Spark / Scala pour renforcer des équipes Big data dans la modernisation de leurs plateformes big data / DevOps, initialement basées sur un legacy VM AIX, Linux, BDD Oracle / C++, SQL, Shell, vieillissantes. -> Scala / Spark / Java Spring. La Défense + TT / Projet long terme. Anglais impératif (échanges FR / EN avec des équipes support basées en Inde). Profil recherché : Data Engineer confirmé, autonome, Team player, ayant une expérience avec les technologies Spark, Scala, et autres technologies Big data. Une expérience dev Java et/ou Python est appréciée. CDI / Freelance - Selon profil.

Developpeur Apache Camel et Flux Montpellier ASAP Solides compétences en Java et Spring Boot Missions principales : Concevoir, développer et maintenir des flux d’intégration en utilisant Apache Camel. Optimiser et améliorer les performances des systèmes d’intégration existants. Participer à la rédaction des spécifications techniques et à l'analyse des besoins. Tester, déployer et superviser les flux d'intégration en production. Assurer la maintenance corrective et évolutive des solutions d’intégration. Collaborer avec les équipes internes pour garantir la fluidité des échanges de données entre les systèmes. Compétences requises : Excellente maîtrise d’Apache Camel et des concepts d’Enterprise Integration Patterns (EIP). Solides compétences en Java et Spring Boot

Spécialisé dans le secteur bancaire, l'entreprise recherche un Expert Data Engineer Kafka pour renforcer ses effectifs. . Le rôle consiste à mettre en œuvre des solutions de streaming de données à grande échelle et en temps réel pour répondre aux besoins des différents départements métiers et améliorer la prise de décision grâce à une infrastructure de données solide, évolutive et performante. Architecture et conception : Concevoir et développer des pipelines de données en streaming avec Apache Kafka pour gérer des volumes de données élevés en temps réel. Participer à la définition de l’architecture de la plateforme Kafka et de ses composants (brokers, zookeepers, clusters). Développement de flux de données : Créer, configurer, et maintenir des topics Kafka , des streams et des connecteurs Kafka pour assurer l’ingestion, la transformation et la livraison des données aux consommateurs en temps réel. Optimisation des performances : Surveiller et ajuster les configurations pour optimiser la latence et le débit des flux de données en streaming. Mettre en place des processus de mise à l’échelle et de gestion des performances pour maintenir un haut niveau de fiabilité. Sécurité et conformité : Mettre en œuvre des mesures de sécurité et de gouvernance des données pour protéger les flux de données Kafka en conformité avec les exigences internes et réglementaires (authentification, contrôle d’accès, chiffrement des données en transit). Innovation continue : Mener une veille technologique active sur les évolutions d'Apache Kafka et les nouvelles technologies de streaming, telles que Apache Flink , Kafka Streams , ksqlDB , afin d’améliorer continuellement l’écosystème de données. Maîtrise de Kafka : Expertise approfondie sur Apache Kafka , avec une expérience dans l’implémentation, l’optimisation et le maintien de clusters Kafka en environnement de production. Compétences en programmation : Compétences en Java , Scala , et/ou Python pour la création de flux de données et l’intégration de Kafka avec d’autres systèmes. Traitement des données en temps réel : Connaissance des frameworks de traitement en temps réel et streaming, tels que Apache Flink , Kafka Streams , et Spark Streaming . Architecture de données distribuées : Solide compréhension des architectures de données distribuées, de la gestion des clusters et de l’optimisation des performances des systèmes de streaming. Sécurité des données : Maîtrise des pratiques de sécurité des données, y compris le chiffrement, l'authentification (SASL, SSL) et le contrôle d’accès (ACL) dans les systèmes Kafka. Environnement cloud : Expérience avec les environnements cloud (AWS, GCP, Azure) et familiarité avec les services Kafka managés comme Confluent Cloud ou Amazon MSK . Compétences en DevOps : Connaissance des outils DevOps tels que Docker , Kubernetes , et Terraform pour le déploiement, l’orchestration, et la gestion des clusters Kafka.

Contribuez à des projets data complexes avec des technologies avancées. Quel sera votre rôle ? Nous recherchons un(e) Data Engineer Scala / Spark. Vous rejoignez l’équipe d’ingénierie data pour concevoir des pipelines de traitement de données à grande échelle. Au quotidien, vos missions seront les suivantes : Développer et optimiser des pipelines de données en utilisant Scala et Spark, dans un environnement distribué. Mettre en place des modèles de données complexes en SQL pour répondre aux besoins métier. Collaborer avec les data scientists pour garantir l’efficacité des flux de données et des modèles analytiques. Environnement technique : Scala, Apache Spark, SQL, Hadoop, Kafka

Bonjour, Nous recherchons un Développeur Apache Camel et Flux (H/F) pour rejoindre notre partenaire sur Montpellier en fullremote : contrat CDI/ freelance Missions principales : Concevoir, développer et maintenir des flux d’intégration en utilisant Apache Camel. Optimiser et améliorer les performances des systèmes d’intégration existants. Participer à la rédaction des spécifications techniques et à l'analyse des besoins. Tester, déployer et superviser les flux d'intégration en production. Assurer la maintenance corrective et évolutive des solutions d’intégration. Collaborer avec les équipes internes pour garantir la fluidité des échanges de données entre les systèmes. Compétences requises : Excellente maîtrise d’Apache Camel et des concepts d’Enterprise Intégration Patterns (EIP). Solides compétences en Java et Spring Boot