1.1 源代码学习环境 1.1.1 基础软件的下载 JDK-http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html Ant-http://ant.apache.org/bindownload.cgi Cygwin-http://www.cygwin.com/ Eclipse-http://www.eclipse.org/downloads/ 1.1.2 Windows环境 D:\had…

强化学习入门最经典的数据估计就是那个大名鼎鼎的  reinforcement learning: An Introduction 了,  最近在看这本书,第一章中给出了一个例子用来说明什么是强化学习,那就是tic-and-toc游戏, 感觉这个名很不Chinese,感觉要是用中文来说应该叫三子棋啥的才形象. 这个例子就是下面,在一个3*3的格子里面双方轮流各执一色棋进行对弈,哪一方先把自方的棋子连成一条线则算赢,包括横竖一线,两个对角线斜连一条线. 上图,则是  X 方赢,即: reinforc…

本文是董西成的Hadoop技术内幕一书的读书章节总结. 第八章 Task运行过程分析 所有Task需要周期性地向TaskTracker汇报最新进度和计数器值,而这正是由Reporter组件实现的,其中Reporter汇报的信息中包含两个部分:任务执行进度以及任务计数器值.任务执行进度hadoop采用简单的线性模型计算每个阶段的进度值,对于Map Task而言,作为一个大阶段不再分解,一般实用RecordReader中的getProgress()方法划定执行进度:对于Reduce Task而言,可…

这是我收集的两本关于Hadoop的书,高清PDF版,在此和大家分享: 1.<Hadoop技术内幕:深入理解MapReduce架构设计与实现原理>董西成 著  机械工业出版社2013年5月出版 2.<Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理>蔡斌.陈湘萍 著  机械工业出版社2013年4月出版 百度网盘下载地址: http://pan.baidu.com/s/1sjNmkFj…

问题1:改写DistributedShell程序,使得每个container运行在不同节点上(目前是随机的,可能运行在任意节点上). 问题2:改写DistributedShell程序,使得某个用户指定的命令可以在集群的每个节点上仅执行一次. 参考 http://tech.ddvip.com/2014-04/1396616894209607.html http://mail-archives.apache.org/mod_mbox/hadoop-common-user/201304.mbox/%3…

Hadoop核心 1.HDFS:高容错性.高伸缩性……,允许用户将Hadoop部署在廉价的硬件上,构建分布式系统 2.MapReduce:分布式计算框架,允许用户在不了解分布式系统底层细节的情况下,开发并行.分步的应用程序.充分利用大规模的计算资源,解决传统高性能单机无法解决的大数据用户 应用:分析海量数据 优势: 1.方便.可运行在一般商业机器构成的大型集群上||亚马逊弹性计算云Amazon EC2……云计算服务上 2.弹性:通过增加集群结点,可线性地扩展,以处理更大的数据集:在集群负载下降时…

首先了解到Android系统架构是由四层构成:其中第一层是Linux内核,他的作用是负责Linux的驱动程序以及内存.进程.电源等管理操作:第二层是C/C++代码库,也就是Linux下.so的文件:第三层是Android SDK API,它是由Java编写的:第四层是应用程序,在这层运行系统所有Android应用程序. 为了实现让Android可以是别平台上的各种硬件设备,就用到了Linux内核,主角就是Linux驱动.系统移植有移植CPU架构和移植Linux驱动,其中移植Linux驱动最为重要…

P3-P4: 目前遇见的问题很简单:硬盘容量不断提升,1TB的已成为主流,然而数据传输速度从1990年的4.4MB/s仅上升到当前约100MB/s 读取一个1TB的硬盘数据需要耗时至少2.5个小时.写入数据则会消耗更多时间.解决方法是从多个硬盘上读取,试想,若当前有100个盘,每个盘存储1%数据,则并行读取仅需2minutes则可读取完所有的数据. 与此同时,并行读写数据带来了几个问题: 1.某个硬件故障 - 采用数据备份机制 2.分析任务需要所有节点共同完成,结果正确性  - MapReduc…

1.契约 - 接口 (客户端和服务端都要认识Message) namespace WCFService { [ServiceContract(Namespace = "http://wintellect.com/ProcessOrder")] public interface IOrderContract { [OperationContract(Action="urn:SubmitOrder")] void SubmitOrder(Message order);…

chapter 1 Old Major's dream. paragraph 1      //Mr Jones is the mastor of the Manor Farm.That night  he was drunk and made his way up to bed.     有一天夜里,曼娜农场的主人琼斯喝的伶仃大醉,踉跄着爬上床,而他的夫人早已鼾声如雷了. paragraph 2     // Old Major had had a strange dream on the p…