Error outputs can obviously be used to improve reliability, but they also have an important part to play in terms of scalability as well The capability to recover rows is perhaps the most useful course of action. The less work you perform, the greate…

The hardware we rely on is changing rapidly as ever-faster chips are replaced by ever-increasing numbers of cores. As a result, concurrency and parallelism, niche features today, will soon be a basic requirement for most software. Application develop…

Roy T. Fielding的2000年在他的博士论文中提出REpresentational State Transfer这一软件架构风格,相比"表述性状态转移"等等类似的拗口的中文翻译,其简写REST更耳熟能详.Roy T. Fielding何许人也?那要说起来可是三天三夜都说不完.总之呀,这大爷(1965年生的)是个scientist(-ist结尾的都表示很牛逼,-or结尾的次之,-er结尾的最次). 言归正传.既然REST是一种架构风格,那么他就应该是这样的:①这个架构风格包含…

本文将对Ceph的基本情况进行概要介绍,以期读者能够在不涉及技术细节的情况下对Ceph建立一个初步印象. 1. 什么是Ceph? Ceph的官方网站Ceph.com上用如下这句话简明扼要地定义了Ceph: "Ceph is a unified, distributed storage system designed for excellent performance, reliability and scalability." 也即,Ceph是一种为优秀的性能.可靠性和可扩展性而设计的…

2013年暑期买到这本书,距离其第一版已经有14年之久,而最早发布在互联网上的文章更是早在1997年.在我阅读的时候,很多事迹已经沉积为历史,很多预言已经成为现实.而这本书的意义却丝毫没有因此淡化,反而更加支持了书里的立论. <大教堂与集市>作者 Eric Raymond, 第一次知道此人还是在天津大学的操作系统原理课程上.大教堂与集市,分别代表两种软件开发模式,大教堂代表着封闭的决策权集中的方式,集市代表开放的,平等透明,共享互动的开源软件开发方式. 本篇博文,主要就一些点展开一些讨论,评价…

http://www.onjava.com/pub/a/onjava/2001/05/30/optimization.htmlComparing the performance of LinkedLists and ArrayLists (and Vectors) (Page last updated May 2001, Added 2001-06-18, Author Jack Shirazi, Publisher OnJava). Tips: ArrayList is faster than…

本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为 http://www.cnblogs.com/shishanyuan  .该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,课程地址为 https://www.shiyanlou.com/courses/237 [注]该系列所使用到安装包.测试数据和代码均可在百度网盘下载,具体地址为 http://pan.baidu.c…

prefaces: ceph installation(quick)1,preflight(ins ceph-deploy repo tools)2,ceph storage cluster quick start3,block device quick start4,ceph file system quick start5,ceph object storage quick start (1,preflight) Ceph is a distributed object store and…

Preface: CEPH: THE FUTURE OF STORAGE(未来存储) Ceph was made possible by a global community of passionate storage engineers and researchers(存储工程师及研究员); Ceph is a unified,distributed object store(分布式对象存储) and file system(FS文件系统) designed to provide excell…

Ceph : performance, reliability and scalability storage solution Contents 1 Introduction 1.1 Testing case 2 Installation 2.1 First node 2.2 Other nodes 3 Deploy 3.1 Cluster 3.2 Monitor 3.2.1 Add the first monitor 3.2.2 Add a monitor 3.2.3 Remove a mo…

ceph简介 ceph是业界目前人气最高的开源存储项目之一,关于其定义在官网是这样的:"Ceph is a unified, distributed storage system designed for excellent performance, reliability and scalability." 翻译一下就是:Ceph是一种为优秀的性能.可靠性和可扩展性而设计的统一的.分布式的存储系统.这里面有两个重点,一是分布式的,关于这点我的理解是指其无中心解构和无理论上限系统规模,…

Message Queue 是一种非同步的从一个服务到另一个服务的交流形式, 被用于无服务器架构和微服务架构中. Messages 被储存在一个队列中直到被处理了或被删除. 每个Messages只会被唯一的Consumer处理一次. Message Queue can be used to decouple heavyweight processing, to buffer or batch work, and to smooth spiky workloads. Message Queue B…

序:这是一篇发表在2003年6月刊的MSDN Magazine的文章,现在已经不能在线阅读,只提供chm下载.讲的是异步请求处理那些事,正是我上一篇博文涉及的东西(BTW,事实上这篇杂志阐述了那么搞然并卵),期间有搜索到这篇文章,很受裨益.担心MS哪么时候不再提供下载以及本地保管不便,所以现在誊上来,作为备份,方便日后回顾. Fritz Onion This article assumes you're familiar with C#, ASP.NET, and MultithreadingL…

MapReduce C++ Library for single-machine, multicore applications Distributed and scalable computing disciplines have recognized that immutable data, lock free access, and isolated data processing is not only inevitable across a number of machines, bu…

转自:http://www.cnblogs.com/LeftNotEasy/archive/2012/02/18/why-yarn.html 前言: 有一段时间没有写博客了(发现这是我博客最常见的开头,不过这次间隔真的好长),前段时间事情比较多,所以耽搁得也很多. 现在准备计划写一个新的专题,叫做<hadoop杂记>,里面的文章有深有浅,文章不是按入门-中级-高级的顺序组织的,如果想看看从入门到深入的书,比较推荐<the definitive guide of hadoop>. 今…

最近偶尔接触到云计算,开始对云计算感兴趣,希望能够早日加入这个计算机领域的第三次革命中去. 估计这次革命要持续二十年,也就是这辈子一直干云计算都没问题. 先了解一下Ceph吧.本博文主要是根据文献[1]做了点笔记,不涉及代码. 1.什么是Ceph? 官网上这么介绍Ceph: “Ceph is a unified, distributed storage system designed for excellent performance, reliability and scalability.”…

14.6 InnoDB Table Management 14.6.1 Creating InnoDB Tables 14.6.2 Moving or Copying InnoDB Tables to Another Machine 14.6.3 Grouping DML Operations with Transactions 14.6.4 Converting Tables from MyISAM to InnoDB 14.6.5 AUTO_INCREMENT Handling in Inn…

搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包.因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下 创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app). Hadoop搭建环境: 虚拟机操作系统: CentOS6.6 64位,单核,1…

转载.节选于https://dev.mysql.com/doc/refman/8.0/en/innodb-tables.html 1.InnoDB Architecture The following diagram shows in-memory and on-disk structures that comprise the InnoDB storage engine architecture. This section covers topics related to InnoDB tab…

本文是典型分布式系统分析系列的第四篇,主要介绍 Dynamo,一个在 Amazon 公司内部使用的去中心化的.高可用的分布式 key-value 存储系统. 在典型分布式系统分析系列的第一篇 MapReduce 中提出了本系列主要关心的问题: 系统在性能.可扩展性.可用性.一致性之间的衡量,特别是CAP 系统的水平扩展是如何实现的,是如何分片的 系统的元数据服务器的性能.可用性 系统的副本控制协议,是中心化还是去中心化 对于中心化副本控制协议,中心是如何选举的 系统还用到了哪些协议.理论.算法…

Pooled Threads Improve Scalability With New Thread Pool APIs Robert Saccone Portions of this article are based on a prerelease version of Windows Server 2008. Details contained herein are subject to change. Code download available at: VistaThreadPool…

May 10, 2018 By Suhita Goswami No Comments Categories: Data Ingestion Flume Kafka Use Case Traditional messaging models fall into two categories: Shared Message Queues and Publish-Subscribe models. Both models have their own pros and cons. Neither co…

  Software Scalability with MapReduce Craig Henderson First published online April 2010 The architecture of a software system is the structure and design of the components that work together in unison to perform the goal of the system as a whole. On…

可以执行 SSIS Package ,证明用 SSIS Package 的账户是可以执行成功的.SQL Server Agent 默认指定账号是 Network Service. 那么可以尝试一下将 SQL Server Agent 和 SQL Server Integration Service 的启动账户都设置成同一个账户,这个账户一般也配置成本机的管理员账户.配置管理器中找到这两个账户 右键属性,然后将它们的启动账户都配置成管理员账户试试      …

有些Task组件执行完成之后,会产生输出结果,称作Execution Value,例如,Execute SQL Task在执行完成之后,会返回受影响的数据行数.Task组件的Execution Value可以通过属性ExecValueVariable来获取. 属性ExecValueVariable指定存储Execution Value的变量名,属性的默认值是none,表示task的输出结果不会被存储到变量:创建一个变量,并将变量名赋值给该属性,表示在Task执行完成之后,SSIS将Task的输出…

最近在为公司财务开发一个邮件通知时遇到了一个技术问题.原来我设计SSIS的是每天将ERP系统支付数据导出到财务支付平台后 Email 通知财务,然后财务到支付平台上进行支付操作.由于那个时候开发时间很紧张,对于不懂 SSIS 的我,当时设计是不管导了多少数据,只要执行完就立即 Email 通知财务.虽然这是我们 IT 和财务达成的一致,但某一天财务忽略了这个Email ,于是就开始给 IT 提意见了.他们希望仅在有支付数据的时候才收到邮件. 其实我当时这样设计还有另一层目的,就是避免 SSIS…

介绍 如果你已经开发完一个不错的SSIS包并且能够在你的本地完美的运行,每个任务都亮起绿色的通过标志.这时为了能够让这个包处理能够在指定时间运行,你需要将其发布到一个服务器上,并做好相关配置.作为开发人员可能我们不能直接在生产环境去做这个事情,这需要我们有一个开发或者测试环境来完成整个部署测试,因为DBA有时候不会允许你去直接访问生产环境. 本篇将介绍几种从本地到服务器的部署包的方法.SQLServer 2012中引入的项目部署模型不再重复记述了,因为SSIS2012的报部署模型也是用来相似的方…

不同于SQL Server中NULL表示值是未知的(Unknown Value),没有数据类型,但是,在SSIS中,NULL是有数据类型的,要获取某一个NULL值,必须指定数据类型,例如,变量 Int32的“NULL值”是 NULL(DT_I4),默认值是0.对于变量和参数,不允许有NULL值,因此,NULL值是指默认值,如果变量或参数的值未被显式设置时,SSIS使用默认值.对于Data Flow组件,SSIS保持源数据的NULL值. 一,Variable和Parameter的默认值 在SSIS…

在进行ETL开发时,数据类型(Data Type)是最基础的,但也容易被忽略,楼主使用的SQL Server 版本是2012,用此博文记录,常用的SSIS数据类型和TSQL数据类型的映射.SSIS的数据类型,是指数据流组件使用的数据类型和变量的数据类型(Data Flow 和 Variable). 当数据进入Package的data flow task中时,SSIS 通过数据源组件从数据源抽取(extract)数据,获取元数据类型,并转换成SSIS支持的数据类型,SSIS的数据类型主要分为三类:…

查看一个Package的历史Message 数据,发现 DataFlow Task 经常出错,错误信息的Description是: Description: "While reading current row from host, a premature end-of-message was encountered--an incoming data stream was interrupted when the server expected to see more data. The ho…