背景 相较传统的重量级OLAP数据仓库,“数据湖”以其数据体量大.综合成本低.支持非结构化数据.查询灵活多变等特点,受到越来越多企业的青睐,逐渐成为了现代数据平台的核心和架构范式. 数据湖的核心功能,简单地可以分为数据存储与数据查询计算两个部分,在云端可以有多种的实现选择.在之前的文章中,我们曾介绍Azure上Azure Data Lake Storage (ADLS Gen1)和Azure Data Lake Analytics (ADLA)这一对可配合使用的服务.这对黄金搭档正是为数据湖而生…

相较传统的重量级OLAP数据仓库,“数据湖”以其数据体量大.综合成本低.支持非结构化数据.查询灵活多变等特点,受到越来越多企业的青睐,逐渐成为了现代数据平台的核心和架构范式. 作为微软Azure上最新一代的数据湖服务,Data Lake Storage Gen2的发布,将云上数据湖的能力和体验提升上了一个新的台阶.在前面的文章中,我们已分别介绍了其基本使用和大数据集群挂载的场景.作为本系列的下篇,让我们继续深度体验之旅. ADLS Gen2体验:数据湖共享 在企业中,一个庞大的数据湖往往需要被共…

相较传统的重量级OLAP数据仓库,“数据湖”以其数据体量大.综合成本低.支持非结构化数据.查询灵活多变等特点,受到越来越多企业的青睐,逐渐成为了现代数据平台的核心和架构范式. 作为微软Azure上最新一代的数据湖服务,Data Lake Storage Gen2的发布,将云上数据湖的能力和体验提升上了一个新的台阶.在前面的文章中,我们已分别介绍了其基本使用和大数据集群挂载的场景.作为本系列的下篇,让我们继续深度体验之旅. ADLS Gen2体验:数据湖共享 在企业中,一个庞大的数据湖往往需要被共…

DBFS使用dbutils实现存储服务的装载(mount.挂载),用户可以把Azure Data Lake Storage Gen2和Azure Blob Storage 账户装载到DBFS中.mount是data lake storage和 blob storage的指针,因此数据不会同步到本地. 一,创建Azure Data Lake Storage Gen2 从Azure Portal中搜索Storage Account,开始创建Data Lake V2 1,创建Data Lake V2的…

引言 相较传统的重量级OLAP数据仓库,“数据湖”以其数据体量大.综合成本低.支持非结构化数据.查询灵活多变等特点,受到越来越多企业的青睐,逐渐成为了现代数据平台的核心和架构范式. 因此数据湖相关服务成为了云计算的发展重点之一.Azure平台早年就曾发布第一代Data Lake Storage,随后微软将它与Azure Storage进行了大力整合,于今年初正式对外发布了其第二代产品:Azure Data Lake Storage Gen2 (下称ADLS Gen2).ADLS Gen2的口号是…

一,引言 Azure Data Lake Storage Gen2 是一组专用于大数据分析的功能,基于 Azure Blob Storage 构建的.Data Lake Storage Gen2 包含了 Gen1 和 Blob Storage 的存储功能.但是在实际项目中如何使用,如何读取数据?如何操作数据?我们可以先从官方概念中先了解什么是 Azure Data Lake 以下引用于官方的术语-------------------- Data Lake Storage Gen2 使 Azure…

问题描述 在使用Azure存储服务,为了有效的保护Storage的Access Keys.可以使用另一种授权方式访问资源(Shared Access Signature: 共享访问签名), 它的好处可以控制允许访问的IP,过期时间,权限 和 服务 等.Azure门户上提供了对Account级,Container级,Blob级的SAS生成服务. 那么使用代码如何来生成呢? 问题回答 以最常见的两种代码作为示例:.NET 和 Java .NET Blob SAS 将使用帐户访问密钥(Storage…

问题描述 在使用Azure的存储服务时候,如果上传的文件大于了100MB, 1GB的情况下,如何上传呢? 问题解答 使用Azure存储服务时,如果要上传文件到Azure Blob,有很多种工具可以实现.如:Azure 门户, Azure Storage Explorer, 命令行工具 az copy等. 如果使用SDK,通过自定义代码上传的时,需要主要大文件上传时候需要考虑的问题. Azure Blob支持两种上传方式:整体上传和分块上传. 整块上传:当上传到块 Blob 的文件小于等于 Sin…

问题描述 如何把开启NFS协议的Azure Blob挂载到Linux虚拟机中呢? [答案]:可以使用 NFS 3.0 协议从基于 Linux 的 Azure 虚拟机 (VM) 或在本地运行的 Linux 系统,在 Blob 存储中装载容器 操作步骤 参考官方文档(Mount Blob storage by using the Network File System (NFS) 3.0 protocol: https://docs.microsoft.com/en-us/azure/storage…

存储服务是除了计算服务之外最重要的云服务之一.说到云存储,大家可以想到很多产品,例如:AWS S3,Google Drive,百度云盘...而在Windows Azure中,存储服务却是在默默无闻的工作着,以至于除了虚拟机磁盘,大家都不知道Windows Azure的存储还能做些什么.的确,如果只是从Windows Azure的管理控制台来看,用户能针对Windows Azure存储所做的操作寥寥无几.也许,微软的初衷是将Windows Azure存储定位成面向开发人员的服务——Windows…