一,引言 前两天遇到了Azure Blob Storage 需要迁移到另外的一个 Azure Blob Storage 中.手动下载.上传已经无法满足了,得另寻一种方式了 AzCopy.Azure 为我们提供了 AzCopy,它其实是一个命令行实用工具,可用于向/从存储账户复制 Blob 或文件. 使用 AzCopy 可在文件系统和存储帐户之间或在存储帐户之间复制数据. AzCopy 可以用来将数据从本地复制到存储帐户.好的,废话不多说了.那么我们就正式开始今天讲解的内容了. 二,正文 1,设置…

<Windows Azure Platform 系列文章目录> 之前有一个业务需求,客户想知道Azure Storage是否有日志功能,可以检查某个Azure Blob文件在某个时间点被删除. 后来问了相关的同事,其实在Azure ARM Portal里面,可以开启诊断功能,监控具体的操作日志.这里写个Blog记录一下. 1.我们登录Azure ARM Portal: https://portal.azure.cn 2.选择某一个存储账户.图略 3.在存储账户的属性里,选择监视,诊断.如下图:…

<Windows Azure Platform 系列文章目录> Update 2016-09-28 想要在Azure云端,使用AzCopy工具,从Azure China 上海数据中心存储账户,把文件拷贝到另一个数据中心的存储账户里,速度达到600MB/S 请按照以下方法: 1.在微软云端,创建1台至少8Core的虚拟机.注意AzCopy在执行时是多线程的,Azure云端的虚拟机配置越高,则AzCopy性能越好 2.安装AzCopy 3.在执行AzCopy的时候,加参数 /SyncCopy 请注…

在众多海外VPS服务商中,老蒋个人认为Linode提供的VPS方案和性价比还是比较高的,尤其目前基础1GB方案仅需10美元每月且全部是SSD固态硬盘,无论是流量还是硬盘大小,基本上可以满足我们大部分用户的需求.按照这样的配置架构方案,即便其他便宜的商家也基本上无法企及,且Linode提供24小时的在线客服,任何技术问题,都可以在几分钟之内得到解答. 老蒋在之前的文章中,已经分享了不少Linode相关的文章/教程,鉴于Linode官方自带面板的强大型,还有很多技巧和应用还需要慢慢分享给大家使用.今…

利用数据卷容器来备份.恢复.迁移数据卷 可以利用数据卷对其中的数据进行进行备份.恢复和迁移. 备份 首先使用 --volumes-from 标记来创建一个加载 dbdata 容器卷的容器,并从主机挂载当前目录到容器的 /backup 目录.命令如下: $ sudo docker run --volumes-from dbdata -v $(pwd):/backup ubuntu tar cvf /backup/backup.tar /dbdata 容器启动后,使用了 tar 命令来将 dbdat…

管理回源设置_管理文件_开发指南_对象存储 OSS-阿里云 https://help.aliyun.com/document_detail/31865.html 通过回源设置,对于获取数据的请求以多种方式进行回源读取,满足您对于数据热迁移.特定请求重定向等需求. 通过规则的方式,对每条到OSS的Get请求的URL进行匹配,然后按照特定的方式进行回源.最多配置5条规则,顺序匹配,直到匹配到有效规则.回源类型分为镜像方式和重定向的方式. 镜像方式 如果配置了镜像回写,则对一个不存在的文件进行Get操…

最近在做一个基于Azure云的物联网分析项目: .netcore采集程序向Azure事件中心(EventHubs)发送数据,通过Azure EventHubs Capture转储到Azure BlogStorage,供数据科学团队分析. 为什么使用Azure事件中心? Azure事件中心是一种Azure上完全托管的实时数据摄取服务, 每秒可流式传输来自website.app.device任何源的数百万个事件.提供的统一流式处理平台和时间保留缓冲区,将事件生成者和事件使用者分开. 事件生成者: 可…

上一篇我们介绍了获取Azure的监控指标和监控数据: http://www.cnblogs.com/teld/p/5113376.html 本篇我们继续:监控虚拟机的自定义性能计数器. 随着我们应用规模的扩张,几十上百的虚拟机运行在Azure上面,实时监控应用的运行情况是我们智能化运维的需要.因此,我们在应用的核心组件上添加了性能计数器,实时将运行数据记录到性能计数器上. 监控实时抓取虚拟机中性能计数器的数据. 在Google中搜一下Azure Monitor extension,找到几个有用的…

<Windows Azure Platform 系列文章目录> 熟悉Azure平台的读者都知道,Azure Blob有三层架构.如下图:(注意blob.core.chinacloudapi.net是Azure China的Service Endpoint) 1.Blob Name: 存储账号名称 2.Container Name,容器名称.概念上类似于文件夹 3.Blob Name:文件名称 Azure Storage Block Blob概念上类似网盘,用户可以把文件.图片.照片直接保存到A…

一,引言 今天我们开始介绍 Storage 中的最后一个类型的存储----- File Storage(文件存储),Azure File Storage 在云端提供完全托管的文件共享,这些共享项可通过行业标准的服务器消息块 (SMB) 协议进行访问. Azure 文件共享可由云或者 Windows.Linux 和 macOS 的本地部署同时装载. 此外,可以使用 Azure 文件同步将 Azure 文件共享缓存在 Windows Server 上,以加快访问速度(与在数据使用位置进行访问的速度相…

Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure Blob Storage 基本用法>中介绍了 Blob Storage 的基本用法,本文将介绍 File Storage 的主要使用方法. 文章来源:葡萄城产品技术社区 File Storage 是什么? Azure File Storage 是一个通过 Server Message Block (SMB) 协议提供云端文件共享的…

<Windows Azure Platform 系列文章目录> 相关内容 Windows Azure Platform (二十二) Windows Azure Storage Service存储服务之Blob详解(上) Windows Azure Platform (二十三) Windows Azure Storage Service存储服务之Blob详解(中) Windows Azure Platform (二十四) Windows Azure Storage Service存储服务之Blo…

<Windows Azure Platform 系列文章目录> 最近想了想,还是有必要把Windows Azure Table Storage 给说清楚. 1.概念 Windows Azure Table是存储在云端的非关系型数据表,主要存储结构化数据,简单理解上来是类似SQL Server的一张单表,包含了列名和行数据,但是无法执行关系型运算(e.g. inner join).在某些场景,比如只纪录系统运行日志.用户操作日志等场景下,比较适合使用Table Storage. 使用Table…

<Windows Azure Platform 系列文章目录> 细心的用户会发现,微软在国外和国内的数据中心建设都是成对的,比如香港数据中心(Asia East)和新加坡的数据中心(South East Asia).这是因为微软充分考虑了异地冗余的能力.在两对数据中心之间,比如香港和新加坡,会有专线连接,这个专线是内网数据中心之前数据同步专用的. 一般情况下,主节点和备用节点的对应关系如下: Primary Secondary North Central US South Central US…

当我们想要把应用搬到云端的时候,首先要关注的便是数据的安全性.当然所有的云服务厂商都会对用户数据承诺一个非常高的安全性,但万一出现意外呢?我们是不是还要有适当的应对方案?比如今年的3月8日晚间,Azure 某个区域中的存储几乎全部不能访问,持续达两个多小时.当时最担心的是:用户的数据万一丢掉怎么办?同时,我们是不是可以根据云服务提供的数据服务的特点来优化程序的性能呢?基于如此种种的原因,我们需要了解云端数据服务的一些特性的详情,这将对我们很有帮助.本文将和大家一起探讨 Azure Storage…

在 azure 上创建的虚机默认会分配两个磁盘,分别是系统盘和一个临时磁盘.如果我们要在系统中安装使用 mysql 等软件,需要再创建并挂载单独的数据盘用来保存数据库文件.这是因为临时磁盘被定义为:用于临时数据处理的操作.特点是性能好(SSD),但是空间有限且存放在上面的数据没有保障(在一些情况下数据会被清空).因此临时磁盘绝对不能用来存放重要数据.同时应用程序的数据最好也不要放在系统盘中,以便于迁移.备份和扩容.本文将介绍如何为 Azure 中的 Ubuntu 虚机添加数据磁盘,并完成相应的配…

网上azure的资料较少,尤其是API,全是英文的,中文资料更是少之又少.这次由于公司项目需要使用Azure,所以对Azure的一些学习心得做下笔记,文中不正确地方请大家指正. Azure Blob 存储是用于存储大量非结构化对象数据(例如文本或二进制数据)的服务,这些数据可通过 HTTP 或 HTTPS 从世界各地进行访问. 可以使用 Blob 存储向外公开数据,或者私下存储应用程序数据. Blob 存储的常见用途包括: 直接向浏览器提供图像或文档 存储文件以供分布式访问 对视频和音频进行流式…

Windows Azure Storage由三个重要部分或者说三种存储数据服务组成,它们是:Windows Azure Blob.Windows Azure Table和Windows Azure Queue.在本文中将给大家介绍Windows Azure Storage中的这三种存储服务.Visual Studio环境下配置和使用开发存储和Windows Azure Storage应用场景. Windows Azure 存储服务的构成 Windows Azure Storage由三个重要部分构…

前言 Python可以利用shutil库进行对文件夹,文件的迁移.而在本次的实践当中,难点在于目标文件夹的名称和数据源文件夹的名称,需要利用 工作单位提供的中间数据去进行对比连接起来. 例如:目标源的文件夹叫做,“1.台协办”.而数据源的文件夹叫做“103_广东省台协办委员会”.而他们中间的数据叫“103台协办”. 通过目标源的文字部分,连接中间数据,再用中间数据的数字编码部分,连接数据源的文件夹名称. 思路:通过生成器生成三个列表,将需要的数据进行拆分,然后去对比每个数据.最后将符合要求的文件…

一,引言 今天作为新的Azure 资源介绍的开篇,我们来学习一个新的服务,Azure Storage.众所周知,我们实际在开发过程中,会需要存储一些比如说日志,图片,等等,各种类型的数据.比如说存储图片,文件,我们经常的做法都是如下: 1,指定上传的日志文件/图片到云服务器磁盘上的某个虚拟路径 2,购买阿里云的对象存储服务 OSS来存储 关于上面提到的第二点,如果我们的项目上的时候Azure,我们怎么去存储海量的图片,文件,视频等,各种类型的数据.它就是上面提到的 Azure Storage 1…

一,引言 上一篇文章,我们介绍到在实际项目中系统会产生大量的日志文件,用户上传的头像等等,同时也介绍到可以使用Azure Blob Storage 来存储项目中的一些日志文件,用户头像,用户视频等等.这个时候,有人就会问到,那我大概明白Blob可以存放什么类型的数据了,这个时候就有人问一些问题了 1,什么是Blob? 答 Azure Blob 存储是非结构化的,它可以保存的数据类型是没有任何限制的.如,pdf文档,json文件,视频,txt文件等.我们常见的类型的文件,它统统可以进行存储.但是…

Azure GitHub wiki 同步发布 传送门 Azure Functions 通过 Functions(一个事件驱动型无服务器计算平台,还可以解决复杂的业务流程问题)更加高效地进行开发.在本地构建和调试,而无需额外的设置,在云中大规模部署和操作,并使用触发器和绑定集成服务. --Azure Functions Azure Storage Azure 存储平台是适用于新式数据存储方案的 Microsoft 云存储解决方案. 核心存储服务为数据对象.适用于 Azure 虚拟机(Vm)的磁盘存…

Hadoop 中利用 mapreduce 读写 mysql 数据   有时候我们在项目中会遇到输入结果集很大,但是输出结果很小,比如一些 pv.uv 数据,然后为了实时查询的需求,或者一些 OLAP 的需求,我们需要 mapreduce 与 mysql 进行数据的交互,而这些特性正是 hbase 或者 hive 目前亟待改进的地方. 好了言归正传,简单的说说背景.原理以及需要注意的地方: 1.为了方便 MapReduce 直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBI…

Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure File Storage 基本用法>中介绍了 File Storage 的基本用法,本文将介绍 Queue Storage 的主要使用方法. 文章来源:葡萄城产品技术社区 Queue Storage 是什么? Azure Queue Storage 是一个存储大量消息的存储服务,这些消息可以在任何地方通过 HTTP/HTTPS 访…

Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table. 笔者在<Azure Table storage 基本用法>一文中,介绍了 Table Storage 的基本用法,本文将通过 C# 代码介绍 Blob Storage 的主要使用方法. 文章来源:葡萄城产品技术社区 Blob Storage 是什么? Azure Blob Storage 是用来存放大量的像文本.图片.视频等非结构化数据的存储服务.我…

Azure Storage 是微软 Azure 云提供的云端存储解决方案,当前支持的存储类型有 Blob.Queue.File 和 Table,其中的 Table 就是本文的主角 Azure Table storage. Azure Table storage 是一个在云端存储结构化 NoSQL 数据的服务,它不仅存取速度快,而且效费比高.MSDN 上的说法是:成本显著低于传统 SQL! 笔者最近在项目中用 Table storage 实现了一个日志表,在此和大家分享一下 Table stora…

<Windows Azure Platform 系列文章目录> Update:2015-04-15 如果读者使用的是国内由世纪互联运维的Azure China服务,请参考笔者的文档:Azure China (9) 在Azure China配置CDN服务 来配置相应的CDN服务. 熟悉Microsoft Azure的读者都知道,Azure在以前的Silverlight Management Portal中,已经提供CDN服务.但是自从改版成HTML5的Management Portal之后,CD…

<Windows Azure Platform 系列文章目录> 请读者在参考本文之前,预习相关背景知识:Windows Azure Storage (1) Windows Azure Storage Service存储服务 最近被一些客户问到,什么场景下需要用到Azure Block Blob和Azure Page Blob?这里我简单总结一下. 一.Azure Block Blob (1)Azure Block Blob概念类似网盘,可以直接存放图片.文件.照片等二进制文件,并且可以直接被客…

<Windows Azure Platform 系列文章目录> Update 2016-4-14.在Azure VM配置FTP和IIS,请参考: http://blogs.iis.net/davidso/azurefile Update 2015-12-28,如果读者使用的是国内世纪互联运维的Azure China,请使用以下Azure 脚本: Azure PowerShell执行: Select-AzureSubscription -SubscriptionName 'Internal Bi…

var appInsights=window.appInsights||function(config){ function r(config){t[config]=function(){var i=arguments;t.queue.push(function(){t[config].apply(t,i)})}}var t={config:config},u=document,e=window,o="script",s=u.createElement(o),i,f;for(s.src…