Trouvez votre prochaine offre d’emploi ou de mission freelance Data Lake à Paris

Dans le cadre des projets développés au sein de l'équipe Assets et projets Data, nous recherchons un développeur Python dans l'écosystème GCP (Google) • Mettre en place la collecte et la mise à disposition des données au sein de l’entreprise. • Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent *** • Maîtriser l'utilisation avancée des données et réaliser des projets décisionnels, datamining, et data management • Assurer le développement et l'industrialisation des applications utilisant une grosse volumétrie • Analyser les besoins clients • Avoir une approche analytique, statistique ou encore en "Machine Learning" Concevoir et réaliser des solutions Big Data (Collecter, transformer, analyser et visualiser des données sur une large volumétrie avec un niveau de performance élevé) *** • Acheminement de la donnée • Mise à disposition de la donnée aux équipes utilisatrices • Mise en production de modèles statistiques Suivi de projet de développement • Développement job spark • Traitement et ingestion de plusieurs formats des données ; • Développement des scripts • Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données • Développement des moyens de restitution via génération de fichier et ou API & Dashboarding • Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers. • Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI). • Développer des API génériques d’ingestion et de traitement de données dans un environnement HDP. • Participer à la conception, mise en place et administration de solutions Big Data. Participation à l’installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka. • Normalisation et agrégation des données afin de produire les rapports sous forme de Business View.

Pour l'un de nos clients Grand Compte basé dans le 93 et dans le cadre d'une mission longue durée nous sommes à la recherche d'un Intégrateur/Ingénieur Cloud Azure. Profil recherché : Solide expertise en environnement Azure Cloud Maîtrise de l'infrastructure Big Data : Databricks (Unity Catalog, Génie), Azure Data Factory, Azure Data Lake Storage Gen2 Expérience dans la collecte, transformation et stockage des données en environnement Cloud Capacité à développer des scripts de traitement de données (brutes et enrichies) – Python, PySpark, SQL Compétences en gouvernance des données : traçabilité, sécurité (authentification, autorisation) Connaissances solides en cybersécurité Maîtrise des outils suivants : Terraform pour la gestion d'infrastructure Azure Key Vault pour la gestion des secrets GitLab pour la gestion du code Jenkins pour l’intégration continue Datadog pour la supervision PowerAutomate pour l’automatisation Blobfuse2 pour le montage entre VM Azure et Azure Blob Storage Power BI pour la visualisation de données SharePoint pour le dépôt documentaire Bonne connaissance des protocoles de communication : API REST, SFTP, HTTPS Sensibilité au cycle de vie des données (ILM / DLM) Approche DevOps et méthodologie agile Missions attendues: Apporter une expertise technique et méthodologique en cybersécurité et infrastructures Cloud (Azure) Concevoir, déployer et maintenir des infrastructures Cloud Azure sécurisées, performantes et optimisées financièrement Mettre en œuvre les processus de collecte, transformation et stockage de données dans le Cyberlake Améliorer en continu les flux de données alimentant le Cyberlake Participer à l’analyse et à la compréhension des besoins métiers en matière de stockage, reporting et analyse de données Contribuer à la conception et à l’architecture des solutions data & sécurité Développer et maintenir les scripts de traitement de données (brutes et enrichies) Concevoir des exports de données, tableaux de bord et reportings à destination des métiers Documenter, maintenir et partager les spécifications techniques des solutions déployées Participer aux démarches DevOps (intégration continue, automatisation, déploiement) Assurer l'intégration continue et la qualité des livrables dans un environnement CI/CD Travailler en étroite collaboration avec les chefs de projet, architectes, data scientists, éditeurs et équipes internes (Datalake) Collaborer avec les équipes MOA/MOE pour garantir l’alignement des solutions techniques avec les besoins fonctionnels Proposer des optimisations techniques et financières sur les ressources utilisées Produire les éléments nécessaires à la facturation client (traçabilité, métriques) Gérer et traiter les incidents techniques en lien avec les flux et traitements de données