在前面的文章中介绍了如何创建Azure Blob Snapshot.那篇文章中创建的脚本思路是:遍历所有Storage Account,找到所有vhd文件,进行Snapshot的创建. 但这种方式不够严谨,有可能是已经删除了的VM,不需要再进行Snapshot的创建工作. 本文将采用获取Subscription下所有VM,如果这台虚拟机是运行状态,就去得到其OS Disk和Data Disk,对其进行创建Snapshot的工作. 具体的脚本如下: $vms = Get-AzureVM forea…

客户有这样的需求:每天需要对VM的数据进行备份,但如果备份的时间超过一定的天数,需要进行清除. 本文也是在前一篇Azure Blob Snapshot上的优化. "Azure blob Storage Snapshot"里,删除Snapshot的思路是遍历所有Storage Account,找到所有的vhd文件,看看是否有Snapshot,如果有判断是否超过14天,如果超过则删除,如果没有超过,则保留. 本文的思路是: 获取所有的虚拟机,判断虚拟机是否运行,如果运行,获取这台虚拟机上所…

用户虚拟机硬盘的备份是客户在部署云应用中是一个非常重要的部分. 目前有多种平台的备份方法: 捕获镜像:可以采用Capture的方式(powershell命令为Save-AzureVMImage)捕获虚拟机系统盘和数据盘.但这种方式占用空间太大,而且Capture的Image数量也是有数量限制的.所以不是优选的方案. 复制硬盘vhd文件:通过AzCopy的方式,把VM的vhd复制到部分的blob的container中.这种方式也是占用空间大.不适合大规模的备份,只适合灾备时的使用. 对Blob的v…

更多内容,关注公众号:来学云计算 场景: 某设备定时于每天23:00左右将一天的运行日志.devicelogtxt上传到Azure Blob,期待Blob文件上传后, 自动通过Azure Functions 解析文件并将文件内容写入到服务总线Service Bus的队列中. 上传的文件格式为: 步骤: 下载并安装VS Code: 下载VS Code 扩展:Azure Account/Funxtions/Nuget: 将VS Code Azure 调整成Azure-China: 在VS Code上…

笔者在<Azure 基础:Blob Storage>一文中介绍了 Azure Blob Storage 的基本概念,并通过 C# 代码展示了如何进行基本的操作.最近笔者需要在 Linux 系统中做类似的事情,于是决定使用 Azure 提供的 Azure Storage SDK for Python 来操作 Blob Storage.这样今后无论在 Windows 上还是 Linux上,都用 Python 就可以了.对 Azure Blob Storage 概念还不太熟悉的同学请先参考前文. 安…

本文假设已经存在了一个 Azure Storage Account,需要进行文件的上传,下载,复制,删除等操作.为了方便查看 PowerShell 代码执行的结果,本文使用了 MS 发布的一个 Azure Storage 客户端工具:Microsoft Azure Storage Explorer,文中简称为 Storage Explorer. 安装 PowerShell Azure 模块 操作 Azure 的模块是不随 PowerShell 一起安装的,使用前需要单独的安装. PowerShe…

公司在Azure的Iaas虚拟机上部署有好几台MySQL数据库,至于没有选择Azure Database for MySQL,是因为预算有限(钱不够啊!说多了也是泪,坑的还是DBA自己).选择了Iaas的话,DBA就必须考虑离线备份(offline backup),以预防灾难性故障出现.我们选择将历史数据库备份文件用AzCopy同步到Azure存储账户的Blob存储上面.下面简单的介绍.总结一下如何使用AzCopy将XtraBackup备份上传到Azure存储账号的Blob存储上.   Linu…

问题描述 如何把开启NFS协议的Azure Blob挂载到Linux虚拟机中呢? [答案]:可以使用 NFS 3.0 协议从基于 Linux 的 Azure 虚拟机 (VM) 或在本地运行的 Linux 系统,在 Blob 存储中装载容器 操作步骤 参考官方文档(Mount Blob storage by using the Network File System (NFS) 3.0 protocol: https://docs.microsoft.com/en-us/azure/storage…

我们将开始深入了解如何使用Azure机器学习的基本功能,帮助您开始迈向Azure机器学习的数据科学家之路. Azure ML Studio (Azure Machine Learning Studio / Azure ML Studio)是使用Azure机器学习云实现预测分析解决方案的主要工具.Azure机器学习是基于云计算和自容式的强大预测分析解决方案,具有完整的开发.测试和生产环节快速创建的独立闭环. Azure ML Studio提供交互式和可视化的工具轻松构建.测试和迭代预测分析模型.您…

Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure Table storage 基本用法>一文中,介绍了 Table Storage 的基本用法,本文将通过 C# 代码介绍 Blob Storage 的主要使用方法. 文章来源:葡萄城产品技术社区 Blob Storage 是什么? Azure Blob Storage 是用来存放大量的像文本.图片.视频等非结构化数据的存储服务.我…

<Windows Azure Platform 系列文章目录> 相关内容 Windows Azure Platform (二十二) Windows Azure Storage Service存储服务之Blob详解(上) Windows Azure Platform (二十三) Windows Azure Storage Service存储服务之Blob详解(中) Windows Azure Platform (二十四) Windows Azure Storage Service存储服务之Blo…

可以通过多种方式来对Azure Blob进行操作.在此我们介绍通过VS的客户端及代码两种方式来操作Blob. 一.通过VS来操作Blob. 1.首先下载publish settings 文件:打开“https://manage.windowsazure.cn/publishsettings/index”,登陆China Azure,下载publish Settings文件到本地. 2.      打开Visual Studio, 选择 View -> Server Explorer 3.    …

今天推荐的是一个系列文章,让读者阅读完成后可以对Azure Blob Storage的开发有一个全面的了解,可谓是从入门到精通. Azure在最初的版本里面就提供了非结构化数据的存储服务,也即Blob Storage.其是Azure中非常重要和基础的一项服务,支撑着很多其他服务的运行(比如虚拟机等).前不久Azure出现故障,就是Blob Storage导致的. Robin Shahan(女程序猿)发表了一个系列文章,全面的介绍Azure Blob Storage的开发.这个系列文章分为10个部…

目录: 连接hadoop配置语法 配置hadoop连接 Pushdown配置 Create external tables for Azure blob storage 连接hadoop配置语法: global configuration settings for PolyBase Hadoop and Azure blob storage connectivity, Syntax: sp_configure:  List all of the configuration options 配置与…

基于 HDP2.4安装(五):集群及组件安装 创建的hadoop集群,修改默认配置,将hbase 存储配置为 Azure Blob Storage 目录: 简述 配置 验证 FAQ 简述: hadoop-azure 提供hadoop 与 azure blob storage 集成支持,需要部署 hadoop-azure.jar 程序包,在HDP2.4 安装包中已默认提供,如下图: 配置成功后,读写的数据都存储在 Azure Blob Storage account 支持配置多个 Azure Bl…

 发布于 2014-02-10 作者 陈 忠岳 持续集成 (CI) 的历史源远流长, 其宗旨在于软件团队在敏捷环境中不断将他们的工作整合为持续构建.管理 CI 进程的工具已存在一段时间.过去几年中,鉴于 CI 管理进程变得更复杂而CI 的优势日趋明显,CI 工具变得越来越受欢迎.CI 工具可以结合现有的 SCM 版本控制工具一起使用,以管理当前复杂的构建.测试和部署进程,这些进程往往SCM 的工具和进程本身无法完全覆盖. Jenkins 是广受欢迎的开源 CI 工具,其具有多个安装和扩展版本…

在我们收到的请求中,有一个频繁出现的请求是提供一种能在 Windows Azure Blob 存储与其本地文件系统之间轻松上传或下载文件的方法.一年半前, 我们很高兴地发布了 AzCopy, Windows Azure 存储客户借助这款命令行实用程序就可以实现上述操作.该实用程序旨在简化数据传输任务,使您可以轻松将数据传入或传出 Windows Azure 存储帐户.客户可以将其作为独立工具使用,也可以把它添加到现有应用程序中.您可以随时从 aka.ms/AzCopy 下载最新版本. 此命令与您…

这几天Nasuni公司出了一份报告,分析了各个云厂商的云存储的性能,包括Amazon S3,Azure Blob Storage, Google Drive, HP以及Rackspace.其中性能上Azure排名第一,在各种大小的文件读写上性能都很优秀,有兴趣可以参考他们完整的白皮书:http://www6.nasuni.com/the-state-of-cloud-storage-in-2013-nasuni-industry-report.html 今天我们来看一下Azure Blob St…

问题 如何在ASP.NET Core中使用Azure Blob存储 解 创建一个类库并添加NuGet包 - WindowsAzure.Storage 添加一个类来封装设置, publicclass AzureBlobSetings { public AzureBlobSetings(string storageAccount, string storageKey, string containerName) { if (string.IsNullOrEmpty(storageAccount))…

什么是Azure Blob Stoage Azure Blob Stoage 是微软Azure的对象存储服务.国内的云一般叫OSS,是一种用来存储非结构化数据的服务,比如音频,视频,图片,文本等等.用户可以通过http在全球任意地方访问这些资源.这些资源可以公开访问,也可以私有访问.看到这些描述立马就想到这这个服务可以用来做静态文件服务. 如果你有免费账户那么可以使用5G的免费额度,用来存一些图片跟JavaScript等小文件也足够了. Azure Blob Stoage的存储结构. 创建存储账…

一,引言 上一篇将 Azure Blob 存储的时候,有使用到一个 .NET  Core Web 项目,通过代码的方式进行操作 Azure Blob 的数据,接着上一篇的内容,今天继续看一下代码,具体看看 Azure.Storage 中的类,方法. --------------------我是分割线-------------------- Azure Blob Storage 存储系列: 1,Azure Storage 系列(一)入门简介 2,Azure Storage 系列(二) .NET C…

一,引言 上一篇文章有介绍到什么是 SeverLess ,ServerLess 都有哪些特点,以及多云环境下 ServerLess 都有哪些解决方案.在这众多解决方案中就包括 Function App(Azure 下的ServerLess),今天我们结合之前所讲的 Azure Functions 以及 Azure Blob Storage 的相关知识,从实践出发,再次回顾之前的知识点,以下是构想的基础资源架构图 --------------------Azure Functions 系列----…

<Windows Azure Platform 系列文章目录> 注:本章内容和之前的[New Portal]Windows Azure Virtual Machine (12) 在本地制作操作系统VHD并上传至Azure (2) 类似,建议读者先预习相关的内容. Update 2015-09-01 发现一个新的命令.可以不需要导入PublishSetting文件. 如果你使用的是国内由世纪互联运维的Azure China,请在PowerShell输入命令: Add-AzureAccount -…

<Windows Azure Platform 系列文章目录> 我们在使用Azure的时候,常常有这样的需求: -我需要将企业内网的主机连接到微软Azure公有云平台 -我需要保证企业内部的网络与微软Azure公有云平台建立VPN连接 通过Azure Virtual Network中的Point-To-Site VPN,就可以实现将企业内网的一台主机(VPN客户端)与Azure Virtual Network中的网络进行连接 -这里的Point指的就是企业内网的一台主机(VPN客户端) -这里…

Blob的概念: Blob是一种为存储二进制数据提供的存储机制,每个Storage Account可以有多个Container,Container中可以存放二进制文件 可以通过REST API来访问,如下: http://accountName.blob.core.windows.net/<containerName>/<blobName> Blob也支持Root Container的概念 访问路径如下 http://accountName.blob.core.windows.ne…

当集群使用Azure Blog Storage时,prestoDB无法获取返回结果,在此记录下 如下,hive里面的两个表,一个使用的是本地的hdfs,一个是使用 azure blob storage, presto 能访问到hive里面的所有表结构,能查询本地hdfs的hive表,如下: 在返回查询数据时,本地hdfs 存储正常 存储在azure blob storage上的数据返回异常,如下: 问题待解决中....... 收集资料: http://stackoverflow.com/ques…

Running the sample Please follow the steps below. Step 1: Open the CSAzureServeFilesFromBlobStorage.sln as Administrator. Expand the CSAzureServeFilesFromBlobStorage application and set CSAzureServeFilesFromBlobStorage azure application as the startu…

创建 Azure 云服务 Azure 云服务包括执行应用程序所需操作的角色.当你将云服务发布到 Azure 时,每个角色将在云中的虚拟机上运行.有关如何开发 Azure 云服务的详细信息. 创建 Azure 云服务 以管理员身份启动 Visual Studio. 在菜单栏上,依次选择“文件”.“新建”.“项目”. 在“已安装的模板”中显示的 Visual C# 和 Visual Basic 项目模板中,选择已更新的“云”模板类型.选择“Azure 云服务”.在 .NET Framework 列表…

创建和使用RMAN存储脚本:1.连接恢复目录(可以不连接到目标库):C:\Users\Administrator>rman target sys/rusky@rusky catalog=rcat/rcat@rusky; 恢复管理器: Release 11.2.0.1.0 - Production on 星期六 3月 7 23:38:00 2015 Copyright (c) 1982, 2009, Oracle and/or its affiliates. All rights reserved…

在此动手实践中,我们将在Azure机器学习Studio中一步步地开发预测分析模型,首先我们从UCI机器学习库的链接下载普查收入数据集的样本并开始动手实践: http://archive.ics.uci.edu/ml/datasets/Census+Income. 然后我们在此数据集上开发和训练预测分析模型,并将预测分析模型作为web服务发布至云端给其他程序调用,整个过程大致包含下几个步骤: 下载.处理和上传收入普查的数据集: 创建一个新的Azure机器学习实验: 训练和评价一个预测模型: 从公共…