发布于 2014-12-24 作者 陈 忠岳 在前几期为各位介绍了大数据应用主题以及开发运营主题的各类镜像后,这次我们精选了 VM Depot 站点中分布式计算相关主题的虚拟机镜像和大家一起分享.这些技术框架全部来自国内优秀的开源社区,相信熟悉这个领域的朋友不会对此感到陌生. 当然,首先需要指出的是,这些镜像都已在 VM Depot上架,您可以通过 VM Depot 强大的搜索工具找到并立即部署. MetaQ MetaQ 是来自淘宝的JAVA 消息中间件.它类似 Apache-Kafka…

 发布于 2014-04-25 作者 云 浪生 使用 VM Depot 中的镜像在 Azure 上创建.开发.部署网站与应用不仅方便快捷而且省时省力!感谢开源社区的大力支持,我们的VM Depot 吸引了一批源自中国本土的内容管理,论坛以及博客镜像,诸如ThinkPHP, OneThink, FreeCMS, 师说CMS, NodeClub 以及 Typecho 等等. ThinkPHP ThinkPHP 是一个免费开源的,快速.简单的面向对象的轻量级PHP开发框架 ,是为了敏捷WEB应用开…

 发布于 2014-06-23 作者 刘 天栋 继上周企业管理软件和电子商务镜像的加盟之后,我们看到又有一批内容管理解决方案(CMS),学习管理解决方案(LMS)以及平台管理工具 (如 Open NMS, phpMyAdmin) 加入 VM Depot.您会发现其中很多都是 Azure 官方支持的解决方案.不过,更多的则是新增的内容.作为 VM Depot 社区成员的一项福利,您可以方便的试用各种不同的软件,对比它们的性能,从而找到最佳的解决方案. 为了使您有个大致的了解,让我为您简单介绍下…

 发布于 2014-06-30 作者 刘 天栋 对于架设可协同作业的网站平台, Windows  Azure有着得天独厚的优势.这不仅在于其强大的扩展性和安全性,更重要的是 Azure 平台对各类网站,内容管理以及项目协同管理方案的支持与开放.各类开源技术,均可以稳健的运行在这个强大的平台上,并且不断延伸扩展. 在这一周的博文中,我想向大家介绍 VM Depot 中已经包含的各类相关解决方案.和往常一样,让我来为您交流点评其中的几个经典镜像,希望您能有所收获. //社交媒体与内容管理平台//…

 新一批电子商务解决方案和企业管理应用加入 VM Depot 中国站点. //电子商务平台助力您建设网店// 大约有 6 个最近更新的电子商务程序包已经登陆 VM Depot. 这不仅囊括了全球知名的 Magento.OFBiz 等程序包,同时也涵盖了一些流行的本地解决方案,如 phpB2B.天狼星等等.其中应用不仅可以实现常规的 B2C 网店,更有针对行业的解决方案,比如酒店预订系统等等. 值得一提的是,如果您对在灵活且可扩展的平台上运营网店感兴趣,Magento 虚拟机可能会对您快速上手…

 发布于 2014-03-24 作者 陈 忠岳 今天我很高兴地向大家宣布,来自微软开放技术(上海)有限公司的首个产品 VM Depot 正式在中国发布!VM Depot是为Windows Azure打造且由社区用户推动的开源虚拟机镜像站.在 VM Depot 上,开发者社区可以创建.部署及分享他们喜爱的Linux配置,创建定制化的开源堆栈,并在开放灵活的 Windows Azure 平台上,基于开放的API与他人共同合作创建全新的云计算架构.预览版的VM Depot中包含了超过700个现成的…

 发布于 2014-04-07 作者 陈 忠岳 VM Depot 登陆中国之际,我非常高兴地告诉大家,一批各位耳熟能详的中国本地开源镜像已同时上线!得益于开源社区的大力支持,Ubuntu 麒麟13.10,PHPWind 9.0, Tengine 2.0 以及最新版本的Tair 等开源镜像都已纷纷加入我们的 VM Depot! Ubuntu Kylin 优麒麟 Ubuntu麒麟是Ubuntu唯一官方认可的中文衍生版本,其宗旨是采用平台国际化与应用本地化融合的设计理念,通过定制本地化的桌面用户环…

 发布于 2014-05-09 作者 陈 忠岳 想要尝试 VM Depot 上数以百计的各类开源虚拟机,却因为复杂的命令行操作而感到烦恼?微软开放技术想您所想,及时推出 VM Depot 最新功能! 现在您可以直接使用 Windows Azure 的管理门户,即刻部署虚拟机.Windows Azure 本身作为一个开放的平台,兼容并蓄,海纳百川.而 VM Depot 这项直接部署的新功能就犹如一个快速通道,让您更为方便.快捷的尝试各种选择以最大程度的实现 Azure 这个开放的云平台为您带来…

 发布于 2014-07-08 作者 陈 忠岳 对于 Azure 的社区管理虚拟机资源库--VM Depot--的用户来说,网站的搜索功能已得到极大的改善.这一搜索能力的增强,可以帮助用户更容易地找到 Azure 可用的开源 Linux 虚拟机. 搜索发现 基本搜索功能没有改变.您仍然可以在 VM Depot 的搜索框内输入内容,然后按下回车.查询结果将显示说明.标题.标记或其他常用字段中包含该搜索词的所有虚拟机. 排序结果 通过可用的排序选项,您可以将最感兴趣的镜像调整到列表顶部,如下表所…

 发布于 2014-08-13 作者 陈 忠岳 随着越来越多中国本地镜像源源不断地加入,  VM Depot 中国站点也在日益壮大(http://msopentech.com/?p=865871).同时,我们也看到中国本地开发者与全球开源软件社区之间的互动也日益增长.最近,由Bitnami 提供的 143 个镜像更新至 Ubuntu 14.04 LTS,并发布到 VM Depot 中国站点. Ubuntu 14.04 对于大量应用场景来说,其性能,可用性,以及安全性都有提升.其中包括云端部署…

大数据时代之hadoop(一):hadoop安装 大数据时代之hadoop(二):hadoop脚本解析 大数据时代之hadoop(三):hadoop数据流(生命周期) 大数据时代之hadoop(四):hadoop 分布式文件系统(HDFS) hadoop的核心分为两块,一是分布式存储系统-hdfs,这个我已经在上一章节大致讲了一下,还有一个就是hadoop的计算框架-mapreduce. mapreduce事实上就是一个移动式的基于key-value形式的分布式计算框架. 其计算分为两个阶段,m…

CI框架主题切换的功能 本人接触到这个框架不就,属于菜鸟 , 公司现在用CI框架做项目 ,老大要做一个主题切换的功能,说明功能的要求我的脑子里瞬间有几个想法. 脑子里最简单的就是设置全局变量 如 :    从数据库里面查找出数据然后使用   后面同事说这样用麻烦 , 这样的话没个方法都要先查下 ,然后替换 world , 因为world 是整个模板的文件  ,改world 意味着该文件夹,从而达到切换的目的      第二个方法 同事CI开发的经验比我老道 ,建议我使用父类建个变量赋值的方法 如…

50个极好的bootstrap 后台框架主题下载 http://sudasuta.com/bootstrap-admin-templates.html 越来越多的设计师和前端工程师开始用bootstrap来作为网页项目的框架,在这一次的免费设计资源中,我们收集了一些bootstrap的主题希望大家会喜欢! Bootstrap是Twitter推出的一个用于前端开发的开源工具包.它由Twitter的设计师Mark Otto和Jacob Thornton合作开发,是一个CSS/HTML框架.目前,Bo…

50个极好的bootstrap 后台框架主题下载 http://sudasuta.com/bootstrap-admin-templates.html 越来越多的设计师和前端工程师开始用bootstrap来作为网页项目的框架,在这一次的免费设计资源中,我们收集了一些bootstrap的主题希望大家会喜欢! Bootstrap是Twitter推出的一个用于前端开发的开源工具包.它由Twitter的设计师Mark Otto和Jacob Thornton合作开发,是一个CSS/HTML框架.目前,Bo…

一.MapReduce概述 二.MapReduce编程模型简述 三.combiner & partitioner 四.MapReduce词频统计案例         4.1 项目简介         4.2 项目依赖         4.3 WordCountMapper         4.4 WordCountReducer         4.4 WordCountApp         4.5 提交到服务器运行 五.词频统计案例进阶之Combiner 六.词频统计案例进阶之Partiti…

一.MapReduce概述 Hadoop MapReduce是一个分布式计算框架,用于编写批处理应用程序.编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集. MapReduce作业通过将输入的数据集拆分为独立的块,这些块由map以并行的方式处理,框架对map的输出进行排序,然后输入到reduce中.MapReduce框架专门用于<key,value>键值对处理,它将作业的输入视为一组<key,value>对,并生成一组<key,value>对作为输出.…

一.MapReduce概述 Hadoop MapReduce 是一个分布式计算框架,用于编写批处理应用程序.编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集. MapReduce 作业通过将输入的数据集拆分为独立的块,这些块由 map 以并行的方式处理,框架对 map 的输出进行排序,然后输入到 reduce 中.MapReduce 框架专门用于 <key,value> 键值对处理,它将作业的输入视为一组 <key,value> 对,并生成一组 <key…

计算框架: MapReduce:主要用于离线计算 Storm:流式计算框架,更适合做实时计算 stack:内存计算框架,快速计算 MapReduce设计理念: --何为分布式计算 --移动计算,而不是移动数据 4个步骤: 1.Splitting 2.Mapping:Map步骤有可能有多个Map task线程并发同时执行 3.Shuffing:合并和排序 4.Reducing Hadoop计算框架Shuffler 在mapper和reducer中间的一个步骤 可以把mapper的输出按照某种key…

(hadoop安装方法:http://blog.csdn.net/wangjia55/article/details/53160679这里不再累述) hadoop是针对大数据设计的一个计算架构.如果你有几百TB的数据需要检索,你在控制终端敲下命令,计算机会向几百分布式台云服务器同时发布命令,使他们开始运行.并且把结果返回给你 hadoop分为大概念, HDFS(分布式文件系统)+MapReduce(分布式计算模型) HDFS 优点 适合大文件的存储,并且由备份策略,有比较好的容错和恢复机制,支持…

Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统.最核心的模块包括Hadoop Common.HDFS与MapReduce. HDFS HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持.采用Java语言开发,可以部署在多种普通的廉价机器上,以集群处理数量积达到大型主机处理性能. HDFS 架构原理 HDFS采用master/slave架构.一个HDFS集群包含一个单独的NameNod…

hadoop最主要的2个基本的内容要了解.上次了解了一下HDFS,本章节主要是了解了MapReduce的一些基本原理. MapReduce文件系统:它是一种编程模型,用于大规模数据集(大于1TB)的并行运算.MapReduce将分为两个部分:Map(映射)和Reduce(归约). 当你向mapreduce框架提交一个计算作业,它会首先把计算作业分成若干个map任务,然后分配到不同的节点上去执行,每一个map任务处理输入数据中的一部分,当map任务完成后,它会生成一些中间文件,这些中间文件将会作为…

什么是Gearman? Gearman提供了一个通用的应用程序框架,用于将工作转移到更适合于工作的其他机器或流程.它允许你并行工作,负载平衡处理,并在语言间调用函数.它可用于从高可用性网站到传输数据库复制事件的各种应用程序.换句话说,它是分布式处理交流的神经系统.关于Gearman的一些优点: 开源它是免费的!(在这个词的两个意思中)Gearman有一个活跃的开源社区,如果你需要帮助或者想贡献,很容易参与进来.担心授权?Gearman是BSD. 多语言 - 有一些语言的接口,这个列表正在增长.您…

Apache Spark是一个开源分布式运算框架,最初是由加州大学柏克莱分校AMPLab所开发. Hadoop MapReduce的每一步完成必须将数据序列化写到分布式文件系统导致效率大幅降低.Spark尽可能地在内存上存储中间结果, 极大地提高了计算速度. MapReduce是一路计算的优秀解决方案, 但对于多路计算的问题必须将所有作业都转换为MapReduce模式并串行执行. Spark扩展了MapReduce模型,允许开发者使用有向无环图(DAG)开发复杂的多步数据管道.并且支持跨有向无环…

Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率.资源统一管理和数据共享等方面带来了巨大好处. YARN是在MRv1基础上演化而来的,它克服了MRv1中的各种局限性. 扩展性差:在 MRv1 中,JobTracker 同时兼备了资源管理和作业控制两个功能,这成为系统的一个最大瓶颈,严重制约了 Hado…

一.概念 MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算.概念"Map(映射)"和"Reduce(归约)",是它们的主要思想.它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上. 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组. 大规模数据处理时, MapReduce 在三个层面上的基本构…

一.mr介绍 1.MapReduce设计理念是移动计算而不是移动数据,就是把分析计算的程序,分别拷贝一份到不同的机器上,而不是移动数据. 2.计算框架有很多,不是谁替换谁的问题,是谁更适合的问题.mr离线计算框架 适合离线计算;storm流式计算框架 适合实时计算;sprak内存计算框架 适合快速得到结果的计算. 二.mr原理 1.mr第一个部分是把hdfs的数据切成一个个split片段,第二部分是map部分,第三个部分从map执行结束到reduce执行之前都是shullf部分,第四部分就是re…

Spark涉及的几个概念:RDD:Resilient Distributed Dataset(弹性分布数据集).DAG:Direct Acyclic Graph(有向无环图).SparkContext.Transformations.Actions. 1 Spark简介 1.1 什么是spark Spark:基于内存计算的大数据并行计算框架,用于构建大型的.低延迟的数据分析应用程序. Spark特点: 运行速度快:使用先进的DAG(有向无环图)执行引擎,以支持循环数据流与内存计算,基于内存的执行…

由于预处理的数据都存储在cassandra里面,所以想要用spark进行数据分析的话,需要读取cassandra数据,并把分析结果也一并存回到cassandra:因此需要研究一下spark如何读写cassandra. 话说这个单词敲起来好累,说是spark,其实就是看你开发语言是否有对应的driver了. 因为cassandra是datastax主打的,所以该公司也提供了spark的对应的driver了,见这里. 我就参考它的demo,使用scala语言来测试一把. 1.执行代码 //Cassa…

概述:Android操作系统是一个安全便捷的Linux系统,遵循Linux系统机制,允许多进程.为了进程间的数据共享和交互共用,设计"权限"这个名词,声明权限代表可使用此权限,未声明则一般不能使用.共用有系统级别的数据,也有进程间的数据,可以用在Sqlite,可以用在Android四大控件:Activity.Service.BroadCast Receiver.ContentProvider,支持自定义权限,详见:Android自定义权限和使用权限. 安全和许可Security and…

Posted on 四月 21, 2015 by 陈阳 近日, 易软天创与微软开放技术合作,在虚拟镜像中国站点vmdepot.msopentech.cn上成功部署易软天创的集成管理环境,为希望快速基于微软Azure云平台体验易软天创开源管理方案的朋友们提供了方便.该集成环境内置了禅道项目管理软件.蝉知企业门户系统和然之协同管理系统三个产品,可以作为一个集成环境来体验开源一体化管理解决方案.现在,让我们一道来看看这三个有中国风的开源项目吧: 禅道是第一款国产的开源项目管理软件.它集产品管理.项目管…