Trouvez votre prochaine offre d’emploi ou de mission freelance Apache Sqoop

💼 Poste : Bigdata Engineer Cloud 🏭 Secteurs stratégiques : Banque d’investissement 📍Localisation : Ile de France 🗓 Démarrage : ASAP Expérience souhaité : 0 - 3 ans Principales missions sont : Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket Création et maintenance des architectures Big Data pour les besoins interne de l’entreprise. • interaction avec REST APIs • Kafka • gestion des jobs et administration Ansible • Technologies Confluence /JIRA pour la gestion documentaire, Git /Bitbucket

Principales responsabilités : - Collecte de données provenant de sources externes - Exploitation des capacités du Datalake (GCP) - Implémentation de la chaîne de traitement - Développement en conformité avec les normes architecturales établies - Élaboration et documentation des user stories - Création de scripts de déploiement - Priorisation de la résolution des anomalies - Contribution à la mise en place de la chaîne de livraison continue - Automatisation des tests fonctionnels - Encadrement et supervision des travaux des ingénieurs de données de l'équipe Environnement technique : GCP, Spark, Kafka, Scala

POSTE ET MISSIONS Nous recherchons un développeur Java senior pour rejoindre notre équipe technique. La mission nécessite une solide expérience dans le développement Java, une connaissance approfondie de Spring Boot, Tomcat et des API. Il faut avoir de l’expérience dans l’automatisation des tests avec les collections Postman. Les développements devront être réalisés dans le respect des bonnes pratiques de développement et des règles de sécurité. La maîtrise de l'initiation de paiement serait un atout. Description : • Réaliser les API donnant accès aux services internes en respectant les exigences de performance et de sécurité • Définir les nouvelles APIs en collaboration avec les équipes métiers et d’architecture • Développer et maintenir les APIs (basé sur les techno type Java, Maven, RAML, Anypoint) • Créer les tests unitaires / intégrations associés à chaque API • Déployer les APIs sur les différents environnements

• Mettre en place l’outillage Datascience et MLOPS et identifier les patterns et normes pour un usage par 40 caisses régionales • Évaluer et adopter de nouvelles technologies et méthodologies pour améliorer les processus MLOps et l'efficacité de l'équipe • Diriger l'élaboration et la mise en œuvre des pipelines / solutions MLOps pour l'entraînement, le déploiement et la surveillance des modèles ML • Superviser et encadrer une équipe technique, en fournissant une orientation technique, en fixant des objectifs et en assurant la montée en compétence des équipes internes • Participer à l'exploration continue (étude d'opportunité, cadrage) et aider à estimer l'effort et la valeur délivrée par les choix de designs éligibles pour favoriser la priorisation par le Product Owner et le Pôle Utilisateur (évolutivité, testabilité, déployabilité...) • Collaborer avec les parties prenantes internes pour comprendre les besoins métier et fournir des solutions ML efficaces et évolutives • Décliner le cadre d’Architecture d’Entreprise(processus, normes, patterns …) et contribuer à son évolution • Faciliter la prise de décision de manière collaborative sur la meilleure architecture (conformité, sécurité, risques...), avec un juste équilibre entre le respect de la cible d'entreprise et la réponse pragmatique au besoin • Maitrise les objectifs visés par le cadre d'Architecture d’Entreprise et décrit des solutions qui s'y conforment et sont implémentables sous forme incrémentale dans les sprints • Suivre et facilite la visibilité de la conformité des solutions de son périmètre par rapport à la stratégie d'entreprise • Responsable de la documentation produit(s) en veillant à sa pertinence, fiabilité et sa cohérence avec les cadres de référence de l'architecture (processus, guides, patterns...).

En tant que Data Engineer, vous travaillerez en direct avec le Team Lead, les business analystes et le PO. Vous aurez à cœur de comprendre le business model. Les projets à adresser visent le développement et maintenance de modules de gestion des données de consommation (intégration, transformation et exposition), de contrats, et leur représentation à travers différentes interfaces. Vous interviendrez aussi bien sur de l'analyse de besoin, design, développement, support, maintenance corrective et évolutive. Vous travaillerez dans une équipe auto-organisée en mode agile avec un Product Owner et 3 BA (Business analystes). Les activités de cette équipe couvrent l'analyse, le développement, les tests, le déploiement et le support. Vos activités principales seront : · La montée en compétence sur les process, produits et applications existantes · La compréhension du business et la réalisation de développements en pair avec un responsable fonctionnel · L’analyse et spécifications des besoins et algorithmes · Implémenter les corrections et évolutions en couvrant tous les aspect conception, codage, sécurité, gestion des erreurs, évolutivité, scalabilité, revues de code, testing, intégration continue, ...- · Fournir des services aux utilisateurs avec le plus haut niveau de satisfaction. · Fournir des estimations de charge et délais · Soutenir l'amélioration continue des services. Identifier les goulots d'étranglement et les bugs et définir des solutions à ces problèmes · Rédiger et mettre à jour les documentations · Proposer des solutions innovantes répondant aux problématiques fonctionnelles et techniques. · Travailler en étroite collaboration avec les BA, les utilisateurs, architectes et autres équipes de développement. · Fournir une communication efficace et opportune aux différentes équipes concernées

Dans le cadre de cette prestation, les différentes activités à réaliser à chaque Incrément ou Release sont les suivantes : T1 : Élaborer l’architecture logiciel pour le projet et préparer les dossiers de conception et de justification T2 : Coordonner la conception au sein de l’équipe logiciel T3 : Piloter les développements et vérifier leur cohérence avec les principes d’architecture T4 : Garantir le respect des standards du domaine, de la politique de re-use T5 : S’assurer de la consistance et cohérence système et logiciel en liaison avec l’architecte système T6 : Garantir la testabilité de l’architecture. Participer à l’élaboration des plans de test et aux actions correctives nécessaires lors de leur exécution

Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Big Data (H/F) à Lyon, Auvergne-Rhône-Alpes, France. Contexte : Fonctionnement : sur site à Lyon + Télétravail à 50% Les missions attendues par le Développeur Big Data (H/F) : Description du profil : Ses missions tournent autour de 4 axes : o Apporter une expertise en Big Data pour faciliter la manipulation des données o Définir les solutions techniques permettant le traitement massif de données o Mettre en place des solutions de stockage de données o Veiller la sécurisation et la clarté des pipelines de données pour faciliter l’analyse et la transformation Il s’appuie si nécessaire sur les référents techniques des diverses briques si ces dernières sortent du cadre de sa mission. Il met en avant ses qualités pour mener à bien ses missions : o Autonomie, rigueur et force de proposition o Capacités d'analyse et de synthèse. o Esprit d’équipe 4 années d'expérience sont attendues sur le rôle au minimum. Activité principale : o Assure la création, la maintenance, l'optimisation et la sécurité des bases de données o Participe aux développements de flux de données permettant d’alimenter des bases de données o Assure la bonne exécution des traitements et identifie et corrige l’application en cas de problèmes Activité secondaire : o Veille technologique sur les outils utilisés au sein du projet o Partage et formation sur les guides de bonnes conduites Stack technique du projet : Hadoop, Spark, Spring, Java, Kafka, SQL, PostgreSQL, GIT, Ansible, Docker, Kubernetes, Tableau desktop, Power BI

Sur les environnements de préproduction : Contribution à la stratégie des tests, traçabilité de ces derniers au sein des outils de support de la qualification Dans le cadre de la préparation de la Mise en Production (MEP) et/ou de Mise en Service (MES) à venir : Contribution au plan de MEP/MES, Répétition des gestes de MEP/MES en respectant les modes opératoires prévus et le cadencement du plan de MEP/MES Rédaction des tâches de changements Exploitabilité de la solution et Validation d'Aptitude au Bon Fonctionnement (VABF) : Procédures standards : Arrêt / Marche des composants, fourniture des logs, etc... Continuité / Disponibilité des composants applicatifs définissant le service concerné Supervision de la plate-forme et des composants applicatifs Stratégie de Sauvegarde et de Restauration Journalisation / Archivage / RGPD Sur l'environnement de production : Réalisation de la MEP/MES et support à la Validation de Service Régulier (VSR) des projets Assurer le Maintien en Conditions Opérationnelles (MCO) dans un contexte des engagements de services définis avec les directions métiers : Gestion des incidents de production remontés par le service client, les directions métiers, nos filiales et les clients pro, le domaine Loterie ou la Direction des Opérations, Analyse et escalade en anomalie, voir problème lorsque nécessaire, Suivi des incidents pris en charge et anomalies créées Assurer de traitement de Demandes de Travaux (DMT) spécifiques

Bonjour, je recherche pour un de mes clients un ARCHITECTE KAFKA Dans le cadre de la création de l’équipe streaming basé sur la technologie KAFKA Confluent Cloud, En tant qu'Architecte Kafka sur Confluent, vous serez responsable de la conception et de l'implémentation des architectures de streaming de données à grande échelle en utilisant Apache Kafka et la plateforme Confluent. Vous travaillerez étroitement avec les équipes de développement et d'opérations pour assurer la scalabilité, la sécurité et l'efficacité des solutions de données. Responsabilités principales Concevoir des architectures de données résilientes et évolutives en utilisant Apache Kafka et Confluent. Collaborer avec les équipes IT et business pour définir les exigences techniques et les objectifs de performance. Élaborer des stratégies de déploiement de Kafka, incluant la configuration des clusters, le choix des machines, et la définition des paramètres de performance. Assurer l'intégration de Kafka avec diverses sources de données et plateformes de traitement en aval. Diriger les évaluations de sécurité et les audits de conformité pour les infrastructures Kafka. Fournir un soutien technique et une expertise lors de la résolution de problèmes complexes. Développer et maintenir la documentation technique, y compris les architectures de référence et les meilleures pratiques. Mentorat et formation des développeurs et des autres architectes dans l'utilisation optimale de Kafka et Confluent. Compétences et qualifications Expérience approfondie avec Apache Kafka et la plateforme Confluent. Expérience démontrée en architecture de solutions de données à grande échelle. Maîtrise des langages de programmation tels que Java, Scala ou Python. Connaissance approfondie des pratiques de sécurité des données et des architectures microservices. Excellentes compétences en communication, en présentation et en leadership. Expérience attendue Expérience dans le développement opérationnel de flux sous KAFKA Expérience significative sur la plateforme Confluent Expérience significative dans un environnement Agile/ Hybrid Expérience de management d’équipes de développeurs et de suivi du delivery Test unitaire/Compliance /Performance Documentation & procédures afin de facilité au support le Monitoring technico fonctionnel des interfaces/Jobs Expérience SAP (ECC & S4/HANA) serait apprécié Coordination avec l’équipe de DEV afin de délivrer un support N3. Outils : KAFKA toolset Programmation et scripting (Java, PL/SQL, SQL, Unix, etc) Job Scheduling / Ordonnanceur (OpCon) Database (SQL Server) Gestion de la demande et service incident (JIRA / SNOW)

💡 Contexte /Objectifs : L'entité a pour charge la maintenance, le support et l'évolution de l'outil concernant le pilotage financier de la banque, des directions centrales et de la facturation interne du groupe. Les outils sont basés sur les technologies Big Data pour le stockage, Talend et Spark/Scala pour les traitements, la suite MSBI SQL Server et cube SSAS pour l'analyse mutlidimensionnelle et enfin du Power BI pour la restitution. Le Bénéficiaire souhaite mettre en œuvre plusieurs évolutions de son socle technique. A ce titre, le Bénéficiaire souhaite bénéficier de l'expertise du Prestataire en termes de Data Engineering. Dans ce cadre la prestation consiste à contribuer à/au(x) : - Support de l'application (notamment lors des clôtures mensuelles) - La maintenance évolutive - La conception et l'implémentation de nouvelles fonctionnalités - La refonte technique - La migration de Talend vers Spark/scala Environnement anglophone 2 - Livrables attendus Les livrables attendus sont : - Optimisation des performances - Le support de l'application et la documentation - La livraison des evolutions - La livraison des nouvelles fonctions demandées dans le cadre des projets.

Développeur spark /scala dans le secteur de l'assurance ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;;;;; ;;;;;;; ;;;;;; ;;;;; ;;;;; ;;;;;; ;;;;;;

En tant qu'ingénieur de production, votre mission s’articule de manière non exhaustive autour des sujets suivants : Installer et configurer les applications Mettre en place, configurer la supervision et l’ordonnancement Mettre en place, superviser et gérer les sauvegardes Installer les packages applicatifs livrés par les TMA Automatiser/scripter les déploiements Participer à la rédaction des docs (DAT/DEX/doc techniques, MODOP, etc...) Participer aux réunions projets internes Participer aux réunions avec les TMA Participer à la prise en charge et traiter les incidents N2/N3, problèmes, change et demande de service Participer aux projets clients Assurer la sécurité du SI, Antivirus, Patch Management, ... L’Ingénierie de Production est en mesure d’intervenir au sein de l’équipe 'Run' ou 'Projet' pour répondre à des actions ponctuelles ou des expressions de besoins client allant de quelques jours à plusieurs semaine/mois. La mission peut nécessiter des astreintes ou opérations planifiées en HNO selon les besoins clients.

Technodym est a la recherche d'un DBA SQL SERVER pour son client basé à Orléans Fiche de poste : · Assurer le support et le conseil aux équipes de la Direction des SI, · Assurer un rôle de conseil et d’expertise technique auprès des Equipes Projets, · Mise en œuvre et administration des bases de données (MS SQL, DB2, Oracle, PostgreSQL, MariaDB), · Appliquer les règles et normes de fonctionnement des SGBD, · Contrôler que procédures et règles sont bien appliquées, · Préconiser et traiter les besoins de supervision et d’automatisation, · Industrialiser les tâches récurrentes, · Gérer les droits d’accès, · Analyser les problèmes de performance et participer aux campagnes de Benchmark, · Contrôler et maintenir les dispositifs de sauvegardes et restauration et assurer la continuité de service, · Suivre et traiter les demandes d’assistance à la mise en Service de projet, · Traiter les incidents et les problèmes, · Valider et mettre en œuvre des fonctions du SGBDR, telle que la réplication, · Qualifier et mettre en œuvre toute évolution technique du SGBD (Mise à jour mineur ou majeur d’un SGBDR, migration de base de données), · Rédiger et actualiser les notes, procédures, CR, · Adapter et maintenir les outils d’exploitation. L’environnement technique du client pour la réalisation de la prestation est le suivant : · MS SQL, SGBD, Oracle, DB2, PostgreSQL, MariaDB, Bases NoSQL, SolR Si vous êtes disponible et intéressé n'hésitez pas à m'envoyer votre CV

Quel poste proposons-nous ? Dans le cadre de notre développement en région PACA, nous recherchons un Ingénieur Chargé d’Applications / Intégrations (H/F) pour intervenir chez un client grand compte basé à 15 min d’Aix-en-Provence. Le collaborateur intégrera le service « Intégration et Exploitation des Applications » dans la Direction de l’Exploitation. Vos missions consisteront notamment à : Conception d’architecture technique en prenant en compte la résilience et redondance pour répondre à la disponibilité des services en production, Clusterisation Architecture technique orientée middleware et rédaction des DAT Déployer des applications en PREPRODUCTION et PRODUCTION au sein d’un périmètre sensible à haut niveau de sécurité. Concevoir et réaliser les changements complexes afin d'assurer la disponibilité et de la continuité de service du SI. Gérer des incidents N2 et ou N3. Assurer le maintien en conditions opérationnelles des applications. Veiller au maintien de la sécurité opérationnelle. Alimenter et faire respecter le référentiel de connaissance et de bonnes pratiques, MAJ du référentiel documentaire. Accessible : 2 jours de télétravail et 3 jours de présentiel – 1er moins intégration en présentiel

La Direction des Systèmes d’Information a pour missions de mettre au quotidien à disposition des 25 000 utilisateurs les données et les traitements nécessaires à leur activité, dans le respect des contrats de service; de garantir la sécurité et la pérennité des actifs informatiques du Groupe; d’accompagner le développement commercial du Groupe en France et à l’international ; d’élaborer de nouveaux systèmes d’information, de nouvelles infrastructures techniques et de maintenir les systèmes existants. Sur une architecture Big Data permettant de collecter les données de l’ensemble des Back Office dans un Datalake (cluster Hadoop), le projet consiste à exploiter ces données pour alimenter un Dataware communautaire stockée sur une base Exadata. Cette exploitation est réalisée par la conception de nouveaux traitements Spark/Scala manipulant les données raffinées du DataLake avec des règles métiers décisionnelles. Au sein de l'équipe projet Business Intelligence & Big Data, l'expert SPARK/SCALA aura les activités suivantes : - Conception détaillée, fonctionnelle et technique. - Développements SPARK / SCALA - Contribution à la formalisation des plans de tests, exécution des tests unitaires et d'un premier niveau de tests d'intégration. - Résolution des anomalies pendant les phases d’intégration fonctionnelle et de recette utilisateur. - Packaging et déploiement en pre-production et production. - Optimisation des traitements afin de garantir la qualité de service standards du DWG. - Mise en œuvre des solutions industrielles et de réentrance permettant une reprise optimum des traitements en cas d’incident en production. - Mise en service et accompagnement au déploiement. - Suivi des environnements.

La mission est le pilotage d’un projet stratégique en cours, projet de migration de la plateforme Cloudera CDH vers CDP. Dans ce cadre : Il faut avoir une expérience très significative en pilotage de projet. Connaitre les aspects batch et tps réel sur les outils Big Data, particulièrement Spark, HBASE et KAFKA, et API REST. Être capable de challenger le fournisseur de la nouvelle plateforme. Big Data 4 SPARK 3 HBASE 3 KAFKA 3 API REST 3 Le projet comporte 3 jours de TT et se situe dans le 94